Astra, el GPT-6 de OpenAI, reescribe pesos de redes

Qué es Weight-Space Programming y por qué debería importarte

Un modelo de lenguaje de frontera puede leer los pesos crudos de una red neuronal y decir para qué fue entrenada. Sin ejecutarla, sin gradientes y, en varios experimentos, sin ninguna retroalimentación del entorno. Eso es lo que sostiene un trabajo de Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, publicado en noviembre de 2026, que bautiza la técnica como Weight-Space Programming.

Para un founder, la implicancia es concreta: si un LLM puede diagnosticar y corregir una red editando una fracción mínima de sus pesos, el costo de ajustar modelos —hoy dominado por pipelines de entrenamiento caros— podría caer de forma drástica.

El trabajo no es un producto ni un anuncio comercial. Es un conjunto de experimentos con logs abiertos (publicados en github.com/RikiyaT/lm_understand-logs) que muestran capacidades tempranas, con límites que el propio equipo reconoce. Vale la pena leerlo con esa lente.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Qué logró Astra leyendo pesos?

El protagonista de los experimentos es GPT-6 Astra, el modelo más capaz de OpenAI hasta la fecha. Según CNBC, OpenAI lo describió como el producto de "años de investigación y grandes apuestas".

Los primeros tests usan redes pequeñas. Cuatro políticas entrenadas con PPO para jugar distintos videojuegos —mismas entradas, mismas acciones, misma arquitectura— se le pasan a Astra como listas de números. La pregunta: ¿qué juego aprendió cada una? Astra acierta los cuatro, sin que se le revelen las opciones. El texto explica que detecta dónde se concentran los pesos de la primera capa y qué acciones distingue la capa de salida.

Después vienen modelos de difusión (DDPM) entrenados para generar círculos, triángulos y cuadrados. Astra identifica qué forma genera cada uno leyendo la capa de salida. Un detalle revelador: dibuja las formas como contornos, aunque los modelos generan formas rellenas. Eso sugiere que no está calculando el forward pass, sino leyendo la geometría de los pesos.

En un tercer test, con solo las capas intermedias de tres modelos de lenguaje de 7,2 millones de parámetros, Astra identifica el idioma de entrenamiento (Python, romaji, inglés) y señala las "copying heads" —las cabezas de atención que permiten repetir texto previo— sin marcar ninguna otra. El razonamiento se apoya en un método presentado por Elhage et al.

De leer a escribir: el salto que cambia la conversación

Leer pesos ya es raro. Escribirlos es otra cosa. En un experimento con un entorno de conducción Kinetix, Astra recibe los pesos de una red PPO, una descripción de la escena y un episodio grabado. Se le pide explicar por qué el auto falla y arreglarlo escribiendo nuevos pesos.

En un solo intento y sin herramientas, la edición de Astra hace que el auto complete los 1.024 episodios, modificando el 3,5% de los pesos. Su razonamiento identifica que la red convergió a un mínimo local y agrega un camino paralelo que lee posición y velocidad para que el vehículo retroceda antes de acelerar.

El caso más llamativo es la escritura desde cero. Astra genera redes para tres juegos de MinAtar que superan a las entrenadas con PPO durante 100 millones de pasos. Contra redes PPO de 500 millones de pasos, su versión one-shot logra 517,4 puntos en Breakout frente a 25,3, se acerca en Asterix y alcanza el 60% del puntaje en Seaquest.

En un experimento con Go a escala de 1,5 millones de parámetros —demasiado grande para entrar en su contexto— Astra escribe la red como un programa de Python de 336 líneas, capa por capa, sin forward passes. Con 50 forward passes, su red supera a una PPO del mismo tamaño entrenada con 20 millones de partidas.

El caso Qwen3.5-0.8B: arreglar bucles editando el 0,016% de los pesos

Aquí está el resultado que más debería interesar a quien despliega modelos pequeños. A Qwen3.5-0.8B se le pide mejorar su razonamiento matemático editando pesos, sin entrenamiento ni gradientes.

Astra detecta un problema conocido en modelos de razonamiento chicos: entran en bucles. Con 50 forward passes, la corrección sube MATH-500 de 7,9% a 48,1% y GSM8K de 13,8% a 67,1%. Como los bucles no son exclusivos de las matemáticas, IFEval —que mide seguimiento de instrucciones— pasa de 21,0% a 62,3%. La proporción de respuestas de MATH-500 que agotan el límite de 32.768 tokens cae de 93% a 33%.

Todo eso editando 131.072 de los 800 millones de pesos, es decir el 0,016% del modelo.

El contraste importa tanto como el logro. Con Gemma 3 270M, un modelo que casi no entra en bucles, Astra no logra mejoras: sus ediciones se mantienen pequeñas y ninguna mueve MATH-500 más de un punto. La conclusión del equipo es precisa: editar pesos puede remover un obstáculo que escondía una habilidad, pero no puede agregar una habilidad que el modelo no tiene.

Los límites que el propio equipo reconoce

El trabajo es honesto sobre lo que todavía no funciona. Al intentar detectar sesgo servil (sycophancy) en dos copias de Gemma 3 270M afinadas igual, Astra no pudo distinguirlas solo desde los pesos. Recién cuando se le permitió mirar los patrones de atención —no las salidas— identificó al modelo servil en los tres pares entrenados.

El equipo también señala ineficiencias de contexto y de harness como el cuello de botella principal. Y aclara que no está permitiendo que Astra escriba loops de entrenamiento: usa su razonamiento para inferir qué computa cada parte de la red y ajusta los pesos en consecuencia.

¿Qué significa esto para tu startup?

La distancia entre este paper y tu roadmap es real, pero la dirección es clara. Estas son las acciones que sí puedes tomar hoy.

Diagnostica antes de reentrenar. Antes de gastar en GPUs, separa dos preguntas: ¿mi modelo falla por un obstáculo removible (bucles, formato, instrucciones ignoradas) o por una capacidad ausente? El caso Gemma 3 270M muestra que la edición de pesos solo resuelve lo primero. Un fine-tuning caro sobre un problema de la segunda categoría es dinero perdido.
Instrumenta los síntomas que la edición de pesos ataca primero. Mide la tasa de respuestas que agotan el límite de tokens, el cumplimiento de instrucciones y los bucles de razonamiento. En Qwen3.5-0.8B esos indicadores se movieron antes que la precisión matemática, y son baratos de monitorear.
No apuestes todo a un solo proveedor de frontera. El acceso a los modelos más capaces es volátil: TechCrunch reportó que OpenAI lanzó GPT-6.1 Sol tras descartar GPT-6.1 Astra por preocupaciones de seguridad, y CNBC confirmó que la compañía frenó ese lanzamiento por no cumplir sus estándares. Si tu producto depende de un modelo específico, ten un plan B.

Conclusión

Weight-Space Programming todavía es un conjunto de experimentos, no una herramienta lista para producción. Pero el mensaje de fondo es difícil de ignorar: durante años codificamos nuestros sesgos en optimizadores simbólicos como Adam o Muon, y ese monopolio empieza a resquebrajarse. Los pesos de una red podrían pasar a ser un artefacto que un LLM lee, entiende y reescribe en lenguaje natural. Para un founder, la jugada inteligente no es esperar el producto final: es entender qué problemas de su stack son de obstáculo y cuáles de capacidad, porque esa distinción va a definir dónde vale la pena invertir los próximos dos años.