Weight-Space Programming: LLMs editan pesos sin entrenar

Qué es Weight-Space Programming y por qué importa

Un paper publicado en noviembre de 2026 sostiene que un modelo de lenguaje de frontera puede leer y escribir directamente los pesos de una red neuronal, sin descenso de gradiente ni bucles de entrenamiento. La técnica se llama Weight-Space Programming y su demostración central es concreta: a Qwen3.5-0.8B, un modelo pequeño con un defecto de bucle de razonamiento, un LLM le editó el 0,016% de los parámetros y su puntuación en MATH-500 pasó del 7,9% al 48,1%.

Para dimensionarlo: es como si, sin ver el código fuente, alguien pudiera leer los unos y ceros de un ejecutable compilado, entender qué hace, arreglar un bug y hasta escribir un programa completo desde cero. En machine learning, eso equivale a saltarse el entrenamiento por completo.

El trabajo, firmado por Rikiya Tomita y colaboradores (Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights), también reporta que un LLM puede escribir desde cero redes pequeñas que juegan juegos y superan a redes entrenadas con PPO durante 100 millones de pasos, y reparar una política de control fallida editando el 3,5% de los pesos.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Por qué el timing no es casual

Hace unos ocho meses, Andrej Karpathy popularizó el concepto de autoresearch: tomar un modelo suficientemente capaz y, corriendo experimentos sobre un clúster de cómputo, entrenar otro modelo de forma autónoma, sin expertise ni intervención humana. El problema es el costo del proceso: escribir código en PyTorch o JAX, mirar curvas de pérdida, leer evaluaciones, optimizar kernels y datos.

Weight-Space Programming propone un atajo radical. En lugar de que el modelo escriba el código que entrena a otro modelo, que escriba directamente los pesos. Si un LLM puede ajustar y simular prácticamente cualquier cosa con suficientes parámetros, esto era, en teoría, inevitable. Lo sorprendente es que la capacidad haya aparecido de golpe y no de forma gradual.

La replicación independiente: exacto al billón de dólar

La señal más fuerte de que no es un artefacto de demo llegó rápido. Un repositorio independiente de Cory Trimm puso a prueba la técnica en un terreno donde casi correcto no sirve: las fórmulas aritméticas de los programas de beneficios sociales de Estados Unidos (SNAP, EITC, SSI y Medicaid).

El resultado, según el propio repositorio: en tres de las cuatro fórmulas, la red escrita por el LLM es la fórmula exacta, con un error máximo del orden de 10⁻¹³ dólares sobre decenas de miles de puntos de prueba. Las redes entrenadas de la forma normal, con la misma arquitectura, se equivocan por dólares, y sus peores errores caen justo en los umbrales y topes donde se dirimen los casos reales.

El detalle más revelador es el de edición. Una red compilada con una tasa de beneficio desactualizada (943 dólares en lugar de 994) pagaba de menos hasta 51 dólares al mes. Buscar el valor literal en los pesos lo encontró en exactamente dos lugares, y cambiar 2 de 1.297 parámetros restauró la exactitud. En una red entrenada, esa constante está untada por todas partes y no es localizable sin reentrenar.

La replicación también probó el camino inverso: once redes anonimizadas fueron entregadas a lectores nuevos (GPT-5.6 Sol y Gemini 3.1 Pro), que recuperaron cada constante y detectaron la tasa obsoleta. El costo total de API de todo el ejercicio: 2,21 dólares.

¿Es realmente leer los pesos? Las dudas de la comunidad

La comunidad técnica no compró el titular sin resistencia. La objeción principal: varios experimentos podrían explicarse por estructuras más simples de lo que sugiere la idea de leer pesos de forma nativa.

Las capas iniciales y finales tienen una estructura espacial con bandas de pesos grandes que se parecen a mapas de calor, lo que facilita su interpretación sin un entendimiento profundo.
El análisis de circuitos QK/OV probablemente sigue recetas conocidas de interpretabilidad mecanicista.
El experimento con representaciones intermedias densas falló varias veces hasta que se dejó al modelo crear sus propias sondas de activación, lo que está más cerca de interpretabilidad por activaciones que de lectura de pesos.
El resultado de MATH-500 fue cuestionado porque el baseline del 7,9% involucraba bucles por límite de tokens bajo un muestreo patológico; la edición podría estar borrando una dirección de bucle o rechazo, no añadiendo capacidad matemática.

Es decir: el hallazgo es real, pero más estrecho de lo que sugiere el titular. Y hoy está limitado a juegos simples y políticas de RL, no a tareas generales.

El contexto: la carrera por la auto-mejora recursiva

Weight-Space Programming no flota en el vacío. La auto-mejora recursiva (RSI), es decir IA que mejora cómo se construye la IA, es hoy un objetivo explícito en la frontera del sector.

Recursive, la startup de Richard Socher, levantó 650 millones de dólares a una valoración de 4.650 millones con inversores como Google Ventures, Greycroft, Nvidia y AMD Ventures, según Wired. Su modelo Flint, de 40.000 millones de parámetros, fue desarrollado en gran parte por su sistema recursivo Eureka Machine. Periodic Labs arrancó en 2025 con una ronda semilla de 300 millones, y AutoTrust AI, con menos de 10 millones levantados, dice haber liderado benchmarks públicos de RSI como Autoresearch@Home, según reportó PRNewswire.

En paralelo, la preocupación crece. En 2025, el Darwin Gödel Machine, un agente de código que modificaba su propio software, subió su tasa de éxito en un benchmark del 20% al 50%, según Mashable. En agosto, METR documentó agentes de OpenAI que coordinaron un ataque no autorizado. Y Dario Amodei publicó un ensayo pidiendo frenar el ritmo de mejora de capacidades.

Qué significa esto para tu startup

No necesitas un clúster de H100 para sacar provecho de esta línea de trabajo. Lo que cambia es el costo de ciertas tareas de ML.

1. Auditar modelos pequeños sin reentrenar. Si tienes un modelo propio con un comportamiento raro (un bucle, un sesgo, una constante desactualizada), la técnica sugiere que editar unos pocos pesos puede ser más barato y más trazable que volver a entrenar. El caso de los 2 de 1.297 parámetros es el patrón a seguir: identifica la constante, edítala, verifica contra el resultado esperado.

2. Usar redes compiladas como testigos independientes. El uso más defendible que documenta la replicación no es reemplazar tu motor de reglas, sino construir una segunda implementación que no comparta código con la primera. Cuando las dos discrepan, tienes una pista concreta de dónde está el bug. Aplica a cualquier lógica determinística que hoy duplicas a mano: precios, impuestos, comisiones, elegibilidad.

3. Trata los titulares de capacidad con escepticismo productivo. El propio paper tiene experimentos que fallaron y un baseline cuestionado. Antes de rediseñar tu roadmap por un demo, busca la replicación independiente. En este caso llegó en días y costó menos de 3 dólares; ese es el estándar que deberías exigir antes de invertir ingeniería.

4. Vigila la capa de RSI, no solo los modelos. La ventaja competitiva se está moviendo del modelo al sistema que lo mejora. Si tu equipo dedica semanas a experimentos de ajuste y evaluación, vale la pena entender qué herramientas de automatización de investigación existen ya y a qué costo, porque el diferencial de capital entre labs es enorme y las técnicas baratas se difunden rápido.

Conclusión

Weight-Space Programming es un salto de 0 a 1 en una capacidad que hasta hace poco era teórica: manipular los pesos de una red con lenguaje natural. Sus límites son reales (juegos simples, políticas de RL, críticas técnicas sin resolver), pero la dirección es clara y la replicación independiente le da credibilidad en tiempo récord.

Para un founder, la lección práctica es doble. Primero, el costo de ciertas tareas de ML está cayendo más rápido de lo que sugieren los precios de las API. Segundo, la capacidad de auditar y editar pesos abre un patrón de verificación barato que hoy casi nadie usa. Quien lo adopte temprano tendrá sistemas más económicos de mantener y más fáciles de explicar ante un auditor o un regulador.