Goodfire: 90% de las neuronas de la IA ya se entiende

Goodfire: el 90% de las neuronas de un modelo de IA ya se entiende

En auditorías preliminares del modelo abierto Qwen3-32B, el laboratorio Goodfire estima que cerca del 90% de los polos de neurona cumple una sola función principal, que un 7% adicional tiene dos tareas relacionadas y que apenas un 2% a 4% sigue sin explicación. El dato aparece en Neural Networks Are Already Clean, un ensayo de Nick Cammarata, investigador de la compañía, que sostiene que la polisemanticidad de las redes neuronales fue en gran medida un error de lectura.

Para un founder que hoy construye sobre modelos que no puede auditar, la implicancia es directa: si el interior del modelo es legible, corregir un comportamiento indeseado deja de ser un ejercicio de prueba y error y se vuelve una intervención puntual sobre componentes concretos.

¿Qué era la polisemanticidad y por qué se creía que era un problema?

Una neurona polisemántica es, en teoría, una que hace varias cosas sin relación entre sí. El ejemplo canónico es la neurona 4e:55 de InceptionV1, el modelo de visión temprano que la comunidad usó como organismo de estudio: parecía responder a la vez a caras de gatos y a frentes de autos.

La explicación dominante fue la superposición: cuando una red se queda sin neuronas, deja de agrupar cosas relacionadas y empieza a plegar cosas no relacionadas, simplemente porque no interfieren entre sí. Si eso fuera cierto, el modo en que una neurona agrupa conceptos diría muy poco, y estudiar la red directamente sería inútil. La salida práctica era entrenar un segundo modelo —un autoencoder disperso, por ejemplo— que aproximara la red \"desplegada\" y estudiar ese sustituto.

Cammarata ayudó a proponer esa idea. Ahora dice que estaba equivocado.

La neurona de gatos y autos era una neurona de formas en V

Al volver sobre la imagen que había visto cientos de veces, el autor encontró algo simple: 4e:55 no detecta gatos ni autos, detecta formas en V. Sus conexiones apuntan a llamas con forma de V, chorros de agua de un barco de bomberos y caras de zorro; su polo negativo responde a formas redondas, como una O.

El segundo ejemplo canónico, el circuito de superposición que el propio Cammarata encontró en 2019 y que se publicó en Zoom In (Distill, 2020), también era otra cosa: no era un auto escondido entre neuronas de perros, sino pose compartida entre autos y perros. Según el ensayo, InceptionV1 tiene más de cien neuronas de pose generalizada, cada una un detector limpio, y nadie las había notado.

Parte del error vino de la herramienta. La visualización de features se optimiza por descenso de gradiente, que toma el camino más fácil, y en InceptionV1 ese camino suele terminar en perros porque hay muchos perros en los datos de entrenamiento.

¿Qué cambió para que los modelos actuales sean interpretables?

Tres cosas, según el ensayo.

• Arquitectura. La última capa de InceptionV1 parecía incoherente por problemas de diseño que hacían desbordar las capas profundas. Con mejoras ordinarias —sin cambiar el tamaño del modelo ni los datos—, 99-100% de las neuronas de esa última capa son fácilmente interpretables. El autor entrenó versiones del modelo en un rango de 300× en tamaño y encontró que es legible en todas las escalas.
• Herramientas. Los benchmarks de 2023 eran duros: Towards Monosemanticity, de Anthropic, le dio a la neurona mediana un 0 sobre 14 en su rúbrica, y el proyecto de interpretabilidad automatizada que Cammarata inició en OpenAI encontró alrededor del 1,7% de neuronas interpretables. Esos modelos explicadores no podían ejecutar el ciclo de conjetura y prueba, y las métricas premiaban explicaciones que simularan activaciones por encima de las correctas.
• Escala. Los modelos grandes tienden a aprender neuronas más estrechas, más fáciles de reconocer. El ensayo reporta resultados similares en modelos de hasta billones de parámetros, como Kimi K3, que un paper técnico complementario detallará.

El mecanismo que reemplaza a la superposición se llama generalización recursiva: una neurona crece y saca ramas, como un árbol. Una neurona que detectaba \"iy\" pasó a detectar \"diy\" y después \"do it yourself\", que no contiene \"iy\". Hay algo que aprender de cómo se agruparon las cosas; de dos ítems en superposición, en cambio, no hay nada que aprender.

¿Qué significa esto para tu startup?

Si construyes sobre modelos abiertos, la interpretabilidad dejó de ser un tema de laboratorio. MIT Technology Review la eligió entre las 10 tecnologías disruptivas de 2026 y, según ese medio, Goodfire lanzó en abril de 2026 Silico, una herramienta que permite entrar en las neuronas de un modelo abierto y ajustar sus parámetros durante el entrenamiento.

Dos acciones concretas:

• Audita antes de reentrenar. Según MIT Technology Review, al potenciar neuronas asociadas a la transparencia, un modelo que recomendaba no divulgar un comportamiento engañoso cambió su respuesta de \"no\" a \"sí\" en 9 de cada 10 casos. En otro caso, la compañía reportó una reducción a la mitad de las alucinaciones. Antes de gastar presupuesto en un reentrenamiento completo, prueba una intervención puntual sobre los componentes internos que empujan el comportamiento que quieres corregir.
• Trata cada comportamiento indeseado como una hipótesis testeable. El ensayo describe el proceso como un crucigrama: cada neurona que entiendes restringe a las demás. Documenta qué neuronas se activan en tus casos de fallo, qué las empuja a negativo y qué pasa cuando las subes o bajas. Es más barato que contratar un equipo de investigación en interpretabilidad, que es justamente el argumento que MIT Technology Review atribuye a esta categoría de herramientas.

El contexto de mercado acompaña. Goodfire cerró una Serie B de US$150M con una valoración de US$1,250M, anunciada en febrero de 2026 y liderada por B Capital, menos de un año después de su Serie A, según el comunicado difundido por PRNewswire. La compañía acumula más de US$200M en financiamiento total, según Pulse 2.0. Entre sus casos de uso, aplicó técnicas de interpretabilidad a un modelo epigenético de Prima Mente y detectó una clase nueva de biomarcadores de Alzheimer.

Conviene mantener el escepticismo. Leonard Bereska, investigador de la Universidad de Ámsterdam, dijo a MIT Technology Review que Goodfire \"está agregando precisión a la alquimia\" y que llamarlo ingeniería lo hace sonar más principista de lo que es. El propio ensayo se presenta como una hipótesis de trabajo, no como un resultado cerrado.

Conclusión

La tesis de Cammarata es incómoda para el relato dominante: durante años, buena parte del campo asumió que había que desenredar la red antes de poder estudiarla, y construyó una industria de descomposición alrededor de esa premisa. Si la red ya es legible, el trabajo se parece menos a la arqueología y más a la ingeniería de software: mirar, medir, intervenir y verificar.

Para un equipo pequeño en LATAM o España, eso abre una puerta concreta. No necesitas un laboratorio de frontera para diagnosticar por qué tu modelo alucina en un caso puntual o por qué adopta un tono que no querías. Necesitas acceso a un modelo abierto, una hipótesis y la disciplina de probarla. La escala ayuda, pero el ensayo argumenta que la comprensión se acumula: cada neurona que entiendes hace más fácil entender la siguiente.

Fuentes

• Neural Networks Are Already Clean — Goodfire (fuente original)
• AI Lab Goodfire Raises $150M at $1.25B Valuation — Yahoo Finance
• This startup's new mechanistic interpretability tool lets you debug LLMs — MIT Technology Review
• Goodfire: $150 Million Series B At $1.25 Billion Valuation — Pulse 2.0