El 90% de las neuronas de la IA ya se puede interpretar

Qué pasó: un ensayo que reabre el debate sobre la opacidad de la IA

Casi el 90% de las neuronas de un modelo de lenguaje grande ya cumplen una única función identificable. Eso sostiene Nick Cammarata, investigador de la startup de interpretabilidad Goodfire y ex OpenAI, en un ensayo de unas 26.000 palabras publicado el 15 de octubre de 2026, según CryptoBriefing.

El contraste con el pasado es el punto. En 2023, un proyecto en el que participó el propio Cammarata encontró que apenas entre el 1,7% y el 2% de las neuronas eran legibles con las herramientas disponibles entonces. Los análisis recientes sobre modelos como Qwen3-32B muestran que cerca del 90% de las neuronas tiene una función primaria, un 7% cubre dos roles relacionados y solo entre el 2% y el 4% sigue sin explicación.

La recepción fue mixta: hay investigadores que lo leen como un avance para la alineación de la IA y otros que advierten contra exagerar sus implicancias, según el repaso de MIT Technology Review. En el lado escéptico está Chris Potts, de Stanford, que dirige un equipo dedicado a interpretar el comportamiento de los modelos de lenguaje y duda de que el trabajo resuelva los problemas estructurales de la disciplina.

¿Por qué la opacidad de un modelo se convierte en riesgo operativo?

Durante el entrenamiento, las redes neuronales desarrollan estructuras difíciles —y a veces imposibles— de interpretar para los humanos. Los investigadores comparan ese crecimiento con el de un jardín orgánico y no con el de un puente de ingeniería: crece, pero no necesariamente en la dirección prevista.

El caso más citado es de 2020. Cammarata y su equipo analizaron Inception v1, un modelo de reconocimiento de imágenes, y encontraron neuronas que respondían al mismo tiempo a estímulos visuales distintos, como imágenes de automóviles y de gatos. Esa multifuncionalidad no había sido diseñada de forma explícita.

La consecuencia práctica es incómoda: si no puedes explicar por qué una neurona hace lo que hace, tampoco puedes predecir qué hará el sistema en un escenario que no vio durante el entrenamiento. Cuando ese sistema es un agente autónomo que gestiona flujos de trabajo, accede a datos sensibles o toma decisiones sin supervisión humana directa, la opacidad deja de ser un tema académico y pasa a ser exposición operativa concreta.

Por eso la interpretabilidad dejó de ser una prioridad secundaria frente a la mejora del rendimiento. Trazabilidad, gobernanza y cumplimiento regulatorio son ahora requisitos de negocio: los marcos emergentes, como el AI Act europeo, empiezan a traducir esa exposición en responsabilidad legal y reputacional.

El mercado ya vende control: pasaportes de agente y kill switches

La respuesta de la industria llegó antes que el consenso científico. ServiceNow presentó AI Passport, una capa de autoridad que da a las empresas control en tiempo de ejecución sobre lo que cada agente y cada servidor MCP (Model Context Protocol) puede hacer dentro de un flujo multiagente, según Help Net Security.

El mecanismo es una credencial firmada criptográficamente que el agente consulta en runtime para verificar su alcance autorizado. Si el agente se sale de ese alcance, se aplican respuestas graduadas: redirigir, restringir o reconectar con contexto, incluida la capacidad de kill switch a velocidad de máquina. NVIDIA es socio de diseño y lanzamiento, con un runtime seguro de código abierto (NVIDIA OpenShell) y el framework de seguridad Sentry.

Los números que acompañan el anuncio explican la urgencia. El 2026 Banking AI Maturity Index de ServiceNow revela que el 100% de los bancos reporta usar IA, pero solo el 24% tiene una gobernanza a la altura. Y LTM ya opera 1.500 agentes de IA desplegados en la organización, cada uno con un ID de empleado y un manager asignado para rendir cuentas.

¿Cuántos agentes sobrevivirán a su propia gobernanza?

Gartner proyecta que el 40% de las empresas degradará o retirará sus agentes autónomos hacia 2027, y no porque la tecnología falle, sino porque falló su gobernanza, según recoge Unite.AI. La analista Shiva Varma lo atribuye a la "gobernanza binaria": tratar a los agentes como totalmente bloqueados o totalmente confiables, sin nada en el medio.

El problema de fondo es que un agente no es un modelo suelto. Es un stack: modelo base, servidores MCP que lo conectan a datos y sistemas externos, plugins que extienden sus capacidades y archivos de instrucciones que definen su comportamiento. Cada pieza es software con su propia cadena de suministro.

La investigación de JFrog Security Research documentó en mcp-run-python una vulnerabilidad de Server-Side Request Forgery (CVE-2026-25904) y una falta de aislamiento (CVE-2026-25905) que pueden derivar en la toma de control completa del MCP, según Unite.AI. Traducción para un founder: el riesgo no vive solo en el modelo, vive en cada componente que le diste a tu agente sin revisar.

¿Qué significa esto para tu startup?

Si ya tienes agentes corriendo en producción —o estás a punto de hacerlo—, el debate sobre interpretabilidad te toca de forma indirecta pero real: si cambian los supuestos sobre qué pasa dentro de un modelo, cambian también el diseño de tus evaluaciones y de tu monitoreo.

Cuatro movimientos concretos que puedes ejecutar esta semana:

• Haz inventario antes de gobernar. La mayoría de los equipos no sabe cuántos agentes tiene corriendo, y menos aún qué servidores MCP, plugins o archivos de instrucciones los alimentan. Sin inventario no hay evaluación de riesgo posible.
• Trata cada componente como software, no como configuración. Un servidor MCP o un archivo de instrucciones descargado de una fuente comunitaria tiene los mismos riesgos de cadena de suministro que cualquier dependencia open source. Aplica el mismo escaneo y control de procedencia.
• Clasifica por nivel de autonomía y calibra los controles. Un agente que solo redacta borradores no necesita lo mismo que uno que mueve dinero o borra registros. Los de alta autonomía requieren control en runtime, no solo aprobación previa.
• Define tu kill switch y tus logs antes de escalar. Decide dónde quedan las trazas de cada acción del agente y quién puede revocarle permisos. Si aprobar un componente nuevo tarda dos semanas, tu equipo lo va a evitar y aparecerá shadow AI.

El punto de partida no es comprar la herramienta más sofisticada, sino poder responder una pregunta simple: ¿qué hizo tu agente ayer y quién lo autorizó? Si la respuesta tarda más de unos minutos, tienes deuda de gobernanza acumulándose.

Conclusión

El ensayo de Cammarata es una buena noticia científica con una advertencia operativa: que las redes sean más legibles de lo que se creía no significa que tu despliegue esté bajo control. La interpretabilidad avanza en el laboratorio; la gobernanza de agentes, en cambio, se resuelve en tu infraestructura y con tus decisiones de arquitectura.

Para un founder, la lectura útil es esta: la gobernanza dejó de ser un freno a la velocidad y se convirtió en la condición para escalar. Las empresas que retiren agentes hacia 2027 no lo harán por falta de capacidad técnica, sino por haberlos desplegado sin saber qué hacían. La ventana para evitarlo está abierta ahora, mientras tus agentes todavía son pocos.

Fuentes

• Agentes de IA autónomos sin control: el riesgo operativo que redefine la gobernanza (fuente original)
• Former OpenAI researcher Nick Cammarata says most AI neurons are now interpretable
• ServiceNow gives AI agents a passport, and limits on what they can do
• One Policy, Thousands of Agents: Why Enterprise AI Governance Breaks at Scale
• "We were looking at it wrong": The explosive claim that's upended the AI world