GPT-6 Astra y Qwen: la crítica que cuestiona el experimento

El experimento que promete más de lo que demuestra

GPT-6 Astra elevó el puntaje de Qwen3.5-0.8B en el benchmark MATH-500 de 7,9% a 48,1% editando apenas el 0,016% de sus pesos, sin gradientes y sin entrenamiento. Ese es el titular que circuló. El problema es el «cómo»: un análisis técnico publicado en honnibal.dev sostiene que el resumen de ese trabajo es engañoso, porque presenta como una única capacidad lo que en realidad son varias técnicas aplicadas en experimentos separados.

La analogía que usa el autor es la de un mago de escenario: cambia el truco en cada función —una vez con un objeto preparado, otra con un pase de manos, otra con una elección forzada— y el público, que asume que hay una sola técnica, cree que cada versión refuta la hipótesis anterior. Con el experimento de Astra, dice, pasa lo mismo.

¿Qué dice exactamente la crítica?

El resumen del trabajo afirma que, «solo mirando los pesos crudos», GPT-6 Astra puede decir para qué fue entrenada una red y, «sin ninguna retroalimentación del entorno», escribir desde cero redes pequeñas que superan a otras entrenadas con PPO durante 100 millones de pasos. La crítica desarma ambas frases.

De los ocho experimentos que lista el análisis, solo tres usan el modo «pesos crudos en contexto, sin herramientas y sin ejecutar la red»: identificar el juego para el que se entrenó un MLP de 17.000 pesos, identificar la forma que genera un MLP de difusión de 24.000 pesos, y arreglar una política de auto de 172.000 pesos.

Todos los experimentos con un modelo de lenguaje real usan Python. Y el resultado estrella —el de Qwen— además ejecuta el modelo sobre hasta 50 lotes de problemas de práctica. Es decir: no es «solo mirar los pesos».

• El experimento de los juegos MinAtar arranca con pesos en cero: no hay nada que leer, la red se escribe a mano sin herramientas.
• El de Go 9x9 usa Python y ejecuta la red entre 0 y 50 pasadas.
• El intento de detectar un Gemma 3 adulador falló al mirar solo los pesos; funcionó recién cuando se le mostraron patrones de atención.
• El experimento equivalente sobre Gemma 3 para matemáticas también falló.

¿Qué hizo realmente el experimento con Qwen3.5?

El trabajo es de Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, del MIT CSAIL, y se publicó el 2 de noviembre en un blog que el equipo tituló «Sparks of Weight-Space Programming», según el medio turco ShiftDelete.

Astra trabajó en una sesión de Python con hasta 50 lotes de evaluación. Identificó una «dirección numérica» en las matrices de salida de los MLP de las capas 15 y 19 que provocaba respuestas repetitivas, y la restó de 131.072 pesos, el 0,016% del total. Antes de la edición, el 93% de las respuestas de Qwen3.5-0.8B en MATH-500 chocaba con el límite de 32.768 tokens; después, ese porcentaje bajó a 33,1%, según la nota de Shenchao TechFlow.

Los números del antes y después: MATH-500 de 7,9% a 48,1%, GSM8K de 13,8% a 67,1% e IFEval de 21,0% a 62,3%. El proceso completo tomó 20,3 horas, con 158 turnos de conversación y 80 ejecuciones de Python, de acuerdo con VentureBeat, recogido por ShiftDelete. El modelo editado quedó publicado en Hugging Face y un rebuild desde los logs publicados dio 51,0% en MATH-500, según Takehi.

El propio equipo aclara que Astra no le enseñó matemáticas nuevas a Qwen: removió un obstáculo que le impedía usar lo que ya tenía. La prueba está en Gemma 3 270M, que casi no entra en bucles —solo el 8,5% de sus respuestas llegaba al límite de tokens— y donde la edición no mejoró nada.

Lo que muestra el resultado de Qwen, dice la crítica, es que Astra puede ser instruido para idear y ejecutar tareas que un ingeniero humano de machine learning podría hacer. Los ingenieros escriben código que analiza y modifica pesos todo el tiempo; descubrir cómo hacerlo de forma productiva no es poca cosa, y modelos de hace uno o dos años habrían fallado en todas estas tareas. El problema no es el resultado, sino haber metido las dos familias de experimentos en el mismo trabajo, porque eso implica una capacidad única que no existe.

¿Por qué la distinción importa más allá del tecnicismo?

Si una sola técnica pudiera tanto escribir pesos desde cero para un juego como mejorar un modelo grande en una tarea de muestra, estaríamos ante una capacidad profunda. La crítica sostiene que no hay tal técnica: hay un modelo usando herramientas.

Los resultados tampoco son uniformes. Según la tabla del análisis, la red que Astra escribió para MinAtar superó a un agente entrenado con PPO en Breakout (517 contra 25), pero perdió en Seaquest (53 contra 89) y en Asterix (53 contra 55).

El debate se enmarca en algo más grande. El investigador de interpretabilidad Neel Nanda señaló, según ShiftDelete, que el trabajo se ve mejor como Astra siendo «sorprendentemente capaz de hacer investigación de interpretabilidad mecanística al estilo clásico» y no como algo sobrenatural. Del otro lado, Shenchao TechFlow recuerda que OpenAI retrasó el lanzamiento de GPT-6.1 Astra por motivos de seguridad, que su científico jefe Jakub Pachocki advirtió sobre el riesgo de «auto-mejora recursiva» y que Maxime Fournes, de PauseAI, calificó la dirección de investigación como «extremadamente imprudente». El mismo medio ubica el antecedente técnico en ROME (NeurIPS 2022) y MEMIT (ICLR 2023), que editaban hechos puntuales en los pesos, un paso bastante más acotado que cambiar un patrón de comportamiento.

¿Qué significa esto para tu startup?

• Pide réplica independiente antes de comprar el titular. Hasta ahora ningún equipo externo reprodujo el resultado, según CryptoBriefing. El contra-test sobre Gemma 3 es el molde de lo que deberías exigir: si un método funciona, funciona también donde la falla es distinta. Si no, estás ante un caso particular.
• Separa «quitar un obstáculo» de «agregar capacidad». Si tu modelo falla por bucles o respuestas repetitivas, un parche quirúrgico de pesos puede ser mucho más barato que un fine-tuning completo. Si lo que le falta es conocimiento nuevo, este enfoque no lo resuelve. Mide antes y después con tu propio benchmark, como hizo el equipo con MATH-500 y GSM8K.
• Cuenta el costo real antes de ilusionarte con el ahorro. El caso exitoso tomó 20,3 horas de trabajo de agente, 158 turnos y 80 ejecuciones de Python para un modelo de 800 millones de parámetros. Trasladar eso a un modelo de decenas de miles de millones de parámetros sigue siendo una pregunta abierta.
• Registra cada edición. Si un tercero —o un agente— puede reescribir los pesos de tu modelo, necesitas trazabilidad de qué cambió y verificación de que el resto del comportamiento no se rompió. CryptoBriefing lo plantea como uno de los puntos sin resolver: auditar cambios, rastrear qué ediciones se hicieron y confirmar que el modelo sigue comportándose como se espera.

Conclusión

El hallazgo es real y notable; el titular, no. Lo que hay es un modelo capaz de hacer investigación de interpretabilidad al estilo clásico sobre redes ajenas, no un sistema que lee y reescribe cerebros con una sola técnica. Para un founder, la lección es de método: cuando aparece un resultado espectacular sin réplica independiente y con un resumen que unifica técnicas distintas, la pregunta correcta no es «¿cómo lo aplico?» sino «¿qué se probó exactamente?». Esa pregunta, aplicada a cada vendor que te promete magia con modelos, te va a ahorrar más presupuesto que cualquier benchmark.

Fuentes

• The 'Astra can read and write weights to improve Qwen' post is misleading (fuente original)
• GPT-6 Astra Edits Qwen Weights Directly, Lifting Math Scores 6x
• GPT-6 Astra reportedly boosts Qwen3.5-0.8B math up to sixfold by editing its weights directly
• MIT researchers use GPT-6 Astra to enhance Qwen's mathematical ability by 6x