MIT: GPT-6 Astra edita los pesos de Qwen y sube 6x

MIT CSAIL editó los pesos de una IA sin entrenarla: el experimento que divide a la comunidad

El 2 de noviembre, un equipo de MIT CSAIL publicó un experimento en el que GPT-6 Astra editó 131.072 pesos de Qwen3.5-0.8B —el 0,016% del total— y llevó su puntaje en el benchmark de matemáticas MATH-500 de 7,9% a 48,1%, sin descenso de gradiente ni datos de entrenamiento, según la documentación del equipo recogida por note.com. Para un founder que paga facturas de GPU, la pregunta relevante no es si el paper es revolucionario: es si el costo de arreglar un modelo puede dejar de ser un proyecto de semanas y convertirse en una jornada de trabajo de otro modelo.

¿Qué es el weight-space programming?

La idea es simple de enunciar y difícil de creer: un LLM de frontera lee los pesos crudos de otra red neuronal como si fueran texto, infiere qué hace cada bloque y los reescribe con Python. Sin backpropagation, sin optimizador, sin dataset.

El equipo —Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab— le dio a Astra tres cosas: un set de problemas de matemáticas, un entorno de Python con permiso de lectura y escritura sobre los pesos, y un presupuesto acotado de inferencias (hasta 50 forward passes). El proceso completo tomó 20,3 horas, con 158 diálogos, 80 ejecuciones de Python y 50 evaluaciones del modelo, según el detalle publicado por Shenchao TechFlow en KuCoin.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

El diagnóstico fue quirúrgico: Qwen3.5-0.8B no fallaba por falta de conocimiento matemático, sino porque entraba en un bucle de repetición. El 93% de sus respuestas en MATH-500 chocaban contra el límite de 32.768 tokens. Astra identificó una dirección de repetición en las matrices MLP de las capas 15 y 19, seleccionó las 64 columnas que más la escribían y las restó con un coeficiente de 6.

El resultado: el límite de tokens se alcanzó en el 33,1% de los casos, y además de MATH-500, GSM8K pasó de 13,8% a 67,1% e IFEval —seguimiento de instrucciones— de 21,0% a 62,3%, según note.com.

¿Por qué la comunidad está dividida?

Porque el titular promete más de lo que el experimento prueba. La propia newsletter de Latent Space que cubrió el caso reconoció que algunas afirmaciones se presentaron de forma demasiado favorable y que eso le restó fuerza a los hallazgos más sólidos.

Los reparos son concretos:

Es reparación, no aprendizaje. El mismo procedimiento aplicado a Gemma 3 270M, un modelo que no tiene el bucle de repetición, movió el puntaje apenas de 6,8% a 7,0%-7,7% (note.com). El equipo lo admite: la técnica remueve obstáculos, no construye caminos nuevos.
El salto puede ser un artefacto. Una reconstrucción en Zhihu de los logs mostró que 576 de 579 respuestas reparadas habían chocado antes contra el límite de tokens por looping, y que la ganancia real en problemas held-out fue de 10,6% a 60,4% en 1.152 casos: razonamiento que ya existía y ahora puede terminar.
Faltan baselines competentes. Críticos citados por la newsletter sostienen que ajustar pesos directamente contra un benchmark es esencialmente sin sentido y que el resultado se parece más a arreglar un bug de decodificación que a auto-mejora recursiva.

Del otro lado, la newsletter reporta reproducciones: Hugging Face lo replicó con ML Intern, su harness open source de investigación, y la réplica de Alex Krentsel encontró un salto de capacidad entre generaciones de modelos, con redes de Breakout que puntuaron hasta 22 veces por encima de un baseline entrenado con RL. Simon Willison reportó haber reproducido la lectura de pesos con Qwen 3.8 27B en su laptop tras más de 45 minutos.

¿Qué significa esto para tu startup?

Primero, una advertencia: esto no es una herramienta lista para producción. Requiere un modelo de frontera caro, 20 horas de proceso y falla en modelos que no tienen el defecto. Nadie debería replanificar su roadmap de IA por este paper.

Dicho eso, hay dos cosas que sí puedes hacer con esta información:

Diagnostica antes de reentrenar. Si un modelo pequeño en producción da respuestas pobres, la causa puede no ser falta de conocimiento sino un bucle de decodificación. Antes de pagar por un fine-tuning, revisa qué porcentaje de tus respuestas choca contra el límite de tokens. Si el número es alto, el problema es de infraestructura, no de datos.
Mira la técnica como auditoría, no como entrenamiento. El caso más sólido del paper no es el salto en benchmarks, sino la capacidad de leer pesos y detectar estructuras anómalas. Para equipos con modelos propios o de terceros, la lectura de pesos abre una vía de auditoría de seguridad que hoy no existe a ese costo.

El contexto histórico ayuda a calibrar: la edición de pesos no es nueva. ROME (NeurIPS 2022) y MEMIT (ICLR 2023) ya permitían insertar o modificar hechos puntuales en los pesos de un modelo. La diferencia que reclama el equipo de MIT es el salto de editar un dato a cambiar un patrón de comportamiento, según el análisis de KuCoin.

Y hay una capa de riesgo que los propios autores reconocen: no demostraron auto-mejora recursiva ni que los efectos se acumulen. Maxime Fournes, de PauseAI, calificó la línea de investigación como una dirección extremadamente imprudente, según KuCoin. El contexto no es menor: Jakub Pachocki, científico jefe de OpenAI, advirtió que los tests internos de la compañía sugieren que el progreso en IA podría llevar a auto-mejora recursiva, y que ningún sistema de revisión interno de ningún laboratorio alcanza para ese escenario.

Una replicación independiente publicada en GitHub llevó la misma técnica al terreno de las fórmulas de beneficios sociales de Estados Unidos: tres de las cuatro redes escritas por el modelo reprodujeron la fórmula exacta, con un error máximo del orden de 10⁻¹³ dólares sobre decenas de miles de puntos de prueba, frente a errores de varios dólares en las redes entrenadas de la forma tradicional.

El resto del radar: modelos abiertos, agentes y precios

La newsletter de Latent Space, que cubre el ciclo del 2 al 3 de noviembre, trae otras señales útiles para founders. La edición también destaca AI Engineer Shanghai y una entrevista sobre la historia de Latent Space.

Revolut convirtió los modelos abiertos en su opción por defecto para programar con cerca de 2.000 ingenieros, citando un costo 10 veces menor y un lead time 70% más rápido.
Tencent Hy4 reporta 75,2 en APEX-Agents frente a 72,1/72,9 de DeepSeek V4.1 Flash-1017, con un precio de API de US$0,834/US$2,501 por millón de tokens de entrada/salida, y planea liberar los pesos.
LongCat-2.5 tiene 1,6T de parámetros totales y unos 48B activos, con precio de US$0,30/US$1,20.
vLLM v0.33.0 llega con 927 commits y ganancias de decodificación de 1,5-2× en GB300.
En agentes, Skill++ subió el routing completo de skills de 36,4% a 76,3% con 731 skills solo reescribiendo los metadatos; y en Amp, renombrar un argumento de format a kind elevó las elecciones correctas de 53% a 79%.
fal levantó US$1.650 millones entre Serie E y F, y Traversal recaudó US$120 millones a una valoración de US$1.000 millones para SRE con IA.

La presión de precios es el telón de fondo. Según TechRepublic, OpenAI lista GPT-5.5 a US$5/US$30 por millón de tokens y Anthropic lista Claude Sonnet 4.6 a US$3/US$15, mientras DeepSeek lista V4 Flash a US$0,14/US$0,28. Y según el informe State of Open Source AI v1.1 de Mozilla recogido por Tech Times, los modelos open-weight procesaron la mayoría del tráfico de desarrolladores en OpenRouter en agosto de 2026 pero capturaron solo el 4% de los ingresos de la capa de modelos; la Linux Foundation estimó ese desequilibrio en unos US$24.800 millones de ahorro anual no realizado.

Conclusión

El weight-space programming es, por ahora, una demostración de laboratorio con un titular más grande que su evidencia. Lo que sí queda claro es la dirección: el costo de mantener y ajustar modelos está dejando de ser un problema de datos y GPU para volverse un problema de diagnóstico. Para un founder, la lectura práctica es doble: no reentrenes por reflejo cuando el problema puede ser de decodificación, y sigue de cerca la brecha de precios entre modelos abiertos y cerrados, porque ahí es donde tu margen se decide antes que en cualquier benchmark.