Goodfire: el 90% de las neuronas de la IA ya se entiende

Qué acaba de proponer Nick Cammarata

Casi el 90% de las neuronas de un modelo de lenguaje grande tendría hoy una función clara y única. Eso es lo que sostiene Nick Cammarata, investigador de interpretabilidad mecanicista en la startup Goodfire, en un ensayo titulado Las redes neuronales ya son transparentes publicado el 15 de octubre. Si el dato se confirma, cambia una de las premisas más incómodas de la industria: que los modelos de IA son cajas negras que ni sus creadores entienden del todo.

La interpretabilidad mecanicista es la disciplina que intenta mapear qué hace cada neurona y cada circuito dentro de un modelo, en lugar de limitarse a observar qué responde. La idea de que un modelo pueda auditarse por dentro es la base de casi cualquier estrategia seria de seguridad y alineación de IA.

¿Qué dice el ensayo y por qué contradice al consenso?

Hasta ahora la explicación dominante era la superposición (superposition): cuando una red agota neuronas, empaqueta conceptos distintos en la misma célula porque rara vez se estorban entre sí. El resultado parecía un nudo, y por eso muchos laboratorios entrenan un segundo modelo —como un sparse autoencoder— para separar los conceptos y estudiar ese modelo en lugar del original.

Cammarata fue una de las personas que ayudó a construir esa visión: coescribió el paper Zoom In junto a Chris Olah y en 2023 lideró un proyecto de interpretabilidad automatizada en OpenAI. Ahora revisa sus propias conclusiones. Su tesis es que las neuronas no mezclan conceptos al azar, sino que responden a patrones compartidos. El famoso ejemplo de la neurona que se activaba con caras de gatos y con frontales de coches no sería superposición: sería un detector de formas en V, que también responde a hocicos de zorro o llamas y se apaga ante formas redondas como la letra O.

A ese fenómeno lo llama generalización recursiva. Una neurona que reconoce la secuencia de letras "iy" puede pasar a responder a "diy" y terminar activándose con "do it yourself", que ni siquiera contiene "iy". La agrupación no es arbitraria: refleja las relaciones que la propia red construyó al aprender.

De 2% a 90% en tres años: los números que sostienen la tesis

El contraste es lo más llamativo del trabajo. En 2023, el proyecto de Cammarata en OpenAI encontraba que solo entre el 1,7% y el 2% de las neuronas eran legibles con las herramientas de la época. Los análisis recientes, hechos con métodos agénticos automatizados, reportan que cerca del 90% de las neuronas de Qwen3-32B cumple una función principal y un 7% adicional cubre dos roles relacionados. Solo un 2% a 4% queda sin explicar, según los hallazgos preliminares recogidos por CryptoBriefing y The Decoder.

Goodfire afirma ver resultados similares en modelos de hasta billones de parámetros. La clave metodológica es que el trabajo lo hicieron mayormente agentes de IA que analizan neuronas en masa, no humanos revisando célula por célula. Cammarata toma prestada la "Bitter Lesson" de Rich Sutton para concluir que, también en interpretabilidad, la investigación simple a escala masiva le gana a los métodos ingeniosos de descomposición.

¿Por qué esto importa para la seguridad de la IA?

Si un modelo es legible, se puede ver directamente si está engañando o comportándose de forma peligrosa. Hoy, fuera del monitoreo de cadenas de razonamiento —cada vez menos fiables—, hay pocas formas de detectarlo. Cammarata sostiene que el engaño no tiene por qué esconderse de los propios circuitos del modelo: si los humanos se vuelven un "lector" más de la red, pueden verlo también.

La reacción del sector fue inmediata y dividida. Sam Altman, su antiguo jefe en OpenAI, celebró el trabajo públicamente. Un empleado de OpenAI que publica como Roon lo describió como un posible momento histórico para la ciencia. En el otro extremo, Neel Nanda, que lidera el equipo de interpretabilidad en Google DeepMind, advierte contra el entusiasmo excesivo: considera que la superposición sigue siendo real, duda que los hallazgos en modelos pequeños de imagen se trasladen a los grandes y cree que el análisis por neuronas tendrá fallos serios. El paper técnico que acompaña al ensayo todavía no se publicó.

Vale la pena recordar que Goodfire tiene un interés comercial evidente en la tesis. La compañía, con sede en San Francisco y liderada por Eric Ho, lanzó Silico, una herramienta que permite inspeccionar y ajustar los parámetros de un modelo durante el entrenamiento. MIT Technology Review, que la cubrió en abril, señala que Silico busca llevar técnicas que antes solo tenían los grandes laboratorios a empresas más pequeñas y equipos de investigación. El propio medio eligió la interpretabilidad mecanicista como una de sus 10 tecnologías disruptivas de 2026.

Qué significa esto para tu startup

Aunque el debate siga abierto, hay consecuencias prácticas que un founder puede empezar a usar hoy.

• Si construyes sobre modelos open source, prueba herramientas de interpretabilidad antes de escalar. Silico y técnicas similares permiten ver qué neuronas empujan comportamientos indeseados —alucinaciones, sesgos, respuestas erráticas— y ajustarlas. Para un equipo sin investigadores dedicados, esto puede reemplazar meses de prueba y error.
• No trates la IA como una caja negra en tus decisiones de producto. Si tu modelo responde mal en un caso concreto, la pregunta útil ya no es solo "qué prompt cambio", sino "qué parte del modelo está causando esto". Ese cambio de enfoque es el que Goodfire intenta vender como ingeniería de precisión en lugar de alquimia.
• Documenta tus supuestos de seguridad. Si tu producto opera en salud, finanzas o cualquier área regulada, la capacidad de auditar por dentro un modelo es un argumento de confianza frente a clientes y reguladores. Herramientas como las que describe MIT Technology Review apuntan justamente a ese mercado.

El punto de fondo es que la interpretabilidad dejó de ser un tema exclusivo de laboratorios de frontera. Si la tesis de Cammarata resiste la replicación independiente, la ventaja competitiva no estará en tener el modelo más grande, sino en entender mejor el que ya tienes.

Fuentes

• Xataka: El miedo a la IA nace de nuestra incapacidad para entender cómo funciona
• MIT Technology Review: This startup's new mechanistic interpretability tool lets you debug LLMs
• The Decoder: Is AI interpretability close to a breakthrough?
• CryptoBriefing: Former OpenAI researcher Nick Cammarata says most AI neurons are now interpretable