MIT: una IA mejora a otra editando el 0,016% de sus pesos

Un modelo que ‘opera’ a otro sin entrenarlo

Un modelo de lenguaje de 800 millones de parámetros pasó de resolver el 7,9% de los problemas de MATH-500 a resolver el 48,1%. No hubo reentrenamiento, ni GPU, ni optimizador. Solo una IA más capaz abriendo la ‘cabeza’ de otra y recortando una fracción mínima de sus números internos: el 0,016% de sus pesos.

El hallazgo viene del MIT CSAIL y lo firman Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, que publicaron el trabajo en un blog post titulado Sparks of Weight-Space Programming el 2 de noviembre, según recoge ShiftDelete. El nombre que le dieron al método es Weight-Space Programming (programación de pesos).

Para un founder que construye con IA, la pregunta relevante no es si esto es espectacular en un paper. Es si cambia la economía de afinar un modelo propio. Y la respuesta corta es: todavía no, pero apunta a un lugar muy concreto.

¿Y esto cómo se aplica en tu negocio?

Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Qué es exactamente el Weight-Space Programming?

Todo modelo neuronal es, en el fondo, una pila enorme de números llamados pesos. Durante el entrenamiento, un algoritmo los ajusta millones de veces hasta que la red hace bien su tarea. Nadie los mira a mano porque, para un humano, son una hoja de cálculo de decimales sin patrón visible.

Lo que probó el equipo del MIT es que un modelo frontera —usaron GPT-6 Astra, de OpenAI— puede leer esa hoja de cálculo, deducir qué hace la red, encontrar qué está roto y reescribir los números directamente. Sin descenso de gradiente y sin entrenamiento, como resume ShiftDelete.

La analogía que usó VentureBeat y que recoge KuCoin es la de una edición genética para redes neuronales: en lugar de que el modelo ‘practique’ matemáticas durante semanas, se abre el cerebro, se localiza la conexión mal cableada y se reconecta.

Los números: de 7,9% a 48,1% en MATH-500

El experimento central usó Qwen3.5-0.8B, el modelo abierto y pequeño de Alibaba, como ‘paciente’. Astra recibió tres cosas: un set de ejercicios de matemáticas, un entorno de Python capaz de leer y escribir los pesos del modelo, y un número limitado de llamadas de inferencia.

El diagnóstico fue específico. Qwen3.5-0.8B tiene una debilidad conocida: su propia ficha de modelo advierte que tiende a entrar en bucles de razonamiento. Antes de la edición, el 93% de sus respuestas en MATH-500 chocaban con el límite de 32.768 tokens por repetirse, según KuCoin. Astra rastreó el problema hasta una dirección numérica escrita por los MLP en las capas 15 y 19, y la restó de 64 columnas de salida: 131.072 pesos en total.

El resultado, según los datos que recoge ShiftDelete:

MATH-500: de 7,9% a 48,1%
GSM8K: de 13,8% a 67,1%
IFEval (seguimiento de instrucciones): de 21,0% a 62,3%

El salto en seguimiento de instrucciones fue inesperado: el problema de los bucles no era exclusivo de las preguntas de matemáticas. Tras la edición, el porcentaje de respuestas que chocaban con el límite de tokens cayó del 93% al 33,1%, según KuCoin.

El proceso no fue instantáneo ni barato en tiempo: la mejor corrida tomó 20,3 horas, 158 turnos de conversación y 80 ejecuciones de Python, según el reporte de VentureBeat que cita ShiftDelete. El modelo editado quedó publicado en Hugging Face, y una reconstrucción a partir de los logs publicados marcó 51,0% en MATH-500, según Takehi.

¿Por qué funciona? Quita obstáculos, no añade conocimiento

Este es el punto que más importa y el que más se malinterpreta. Astra no le enseñó matemáticas a Qwen. Le quitó un estorbo que le impedía usar las matemáticas que ya tenía dentro.

La prueba está en el experimento de control. El equipo repitió el mismo procedimiento con Gemma 3 270M, el modelo pequeño de Google, que casi no sufre de bucles: solo el 8,5% de sus respuestas llegaban al límite de tokens, según KuCoin. Ahí Astra no logró mejorar la puntuación en matemáticas, con variaciones de menos de un punto porcentual.

La conclusión que da el propio equipo es clara: la programación de pesos hoy sirve para remover barreras, no para construir caminos nuevos. Es una herramienta de reparación, no de ampliación de capacidades.

Astra también falló en otra tarea: no pudo detectar un modelo ‘sycophantic’ (que siempre da la razón al usuario) mirando solo sus pesos. Solo lo logró cuando se le permitió observar los patrones de atención. El investigador de interpretabilidad Neel Nanda resumió el trabajo, según ShiftDelete, como un modelo ‘sorprendentemente capaz de hacer investigación clásica de interpretabilidad mecanicista, más que algo escalofriante’.

¿Qué significa esto para tu startup?

La distancia entre este experimento y tu stack de producción es grande, pero hay tres lecturas útiles.

1. Revisa si tu problema es un cuello de botella, no una falta de capacidad. Muchos equipos asumen que necesitan un modelo más grande cuando en realidad tienen un modelo mal configurado. El caso de Qwen es el ejemplo perfecto: el conocimiento matemático ya estaba ahí, bloqueado por un bucle de razonamiento. Antes de saltar a un modelo más caro, prueba prompts estructurados, límites de tokens más altos o técnicas de control de repetición. Es gratis y a veces resuelve el 80% del problema.

2. El costo de afinar un modelo podría caer, pero aún no. La promesa de la programación de pesos es editar capacidades concretas sin infraestructura de entrenamiento. Para un laboratorio o una startup en LATAM o España sin acceso a clústeres de GPU, eso sería enorme. Pero hoy el método exige un modelo frontera como Astra, 20 horas de cómputo de razonamiento y no está replicado por terceros. No es una vía de producción todavía.

3. La auditoría de modelos se vuelve un servicio. Si una IA puede leer los pesos de otra, también puede revisar si un modelo tiene backdoors o comportamientos ocultos sin ejecutarlo. Eso abre una categoría de producto para quien sepa interpretabilidad: compliance de IA para empresas que despliegan modelos de terceros.

Los límites y el debate sobre la autorreparación

El propio MIT pone los frenos. El trabajo no está revisado por pares y forma parte de investigación preliminar, como señala Xataka. Los modelos actuales todavía no pueden meter los pesos de una red completa en su contexto, y la técnica solo se probó en casos pequeños o muy acotados.

El antecedente académico ayuda a dimensionar el salto. Ya existían métodos como ROME (NeurIPS 2022) y MEMIT (ICLR 2023) para insertar o modificar hechos concretos en los pesos de un modelo, recuerda KuCoin. La diferencia es que Astra modificó capacidades generales —razonamiento matemático y seguimiento de instrucciones—, no un dato puntual.

Y ahí aparece la pregunta incómoda: si una IA puede arreglar a otra por dentro, ¿puede arreglarse a sí misma? El equipo del MIT aclaró que no demostró autorreparación recursiva ni que los efectos se acumulen de forma sostenible. Pero el debate ya está abierto: el científico jefe de OpenAI, Jakub Pachocki, advirtió que sus pruebas internas sugieren que el progreso de la IA podría llevar a una ‘autorreparación recursiva’, y Maxime Fournes, de PauseAI, calificó la línea de investigación como ‘una dirección extremadamente temeraria’, según KuCoin.

Conclusión

El Weight-Space Programming no reemplaza al entrenamiento. Es, por ahora, una herramienta de precisión para quitar obstáculos en modelos pequeños, con resultados espectaculares en el caso de Qwen3.5-0.8B y nulos en Gemma 3 270M. La lección para un founder es doble: primero, diagnostica antes de escalar, porque muchas veces el problema no es la capacidad del modelo sino un cuello de botella; segundo, sigue esta línea de cerca, porque si el costo de editar modelos cae, la ventaja competitiva de tener GPUs deja de ser la única que importa.