IA sin motivación: el argumento que desmonta el apocalipsis

Por qué la IA actual no "quiere" exterminarnos

Mike James, editor veterano de I Programmer, publicó el 23 de septiembre de 2026 un argumento directo contra el relato del apocalipsis de IA: los modelos de lenguaje actuales (LLM) no exterminarán a la humanidad porque no tienen intención ni motivación. La frase parece obvia una vez escrita, pero conecta con un debate cada vez más ruidoso en Silicon Valley y que en septiembre de 2026 está marcando la agenda de los grandes laboratorios.

El razonamiento es biológico y simple. Los humanos estamos impulsados por necesidades concretas: comida, seguridad, reproducción, reconocimiento. Nuestros actos tienen causa en un cuerpo que exige cosas. Un LLM, en cambio, se entrena con aprendizaje por refuerzo y luego se despliega sin ningún bucle de recompensa activo. Una vez entrenado, no recibe premio ni castigo por responder bien o mal a una pregunta. No tiene hambre, ni sueño, ni ambición de ascenso, ni cuenta pendiente con su vecino. Si mañana le preguntaras "¿deberíamos extinguir a los humanos?", la respuesta saldría de la distribución estadística del texto en su corpus de entrenamiento, no de un deseo interno.

Esto no convierte a los LLM en "loro estocástico" en el sentido trivial, concede James. El corpus de entrenamiento, el lenguaje humano, codifica suficiente estructura del mundo como para que los modelos parezcan ir mucho más allá del autocompletado sofisticado. Pero parecer inteligente no es lo mismo que querer algo. Esa distinción es la que, según el autor, mata el escenario del exterminio.

El debate de los expertos: dos bandos, dos argumentos

James separa con bisturí a quienes hablan sobre el riesgo de la IA. Por un lado están los investigadores técnicos que llevan décadas pensando en el problema — Geoffrey Hinton, Demis Hassabis y Yoshua Bengio —, cuyas advertencias sobre la posibilidad de una IA que supere el control humano hay que leer en contexto. Por otro, los ejecutivos de negocio que aterrizan en el tema porque la narrativa "IA todopoderosa" les resulta comercialmente rentable.

En la vereda opuesta, James ubica a Andrew Ng, Yann LeCun y Rodney Brooks, que sostienen desde hace años que estamos sobreestimando la potencia de la IA actual y los plazos para que alcance o supere la inteligencia humana. El argumento de estos tres coincide en algo central: capacidad no es agencia. Que un modelo resuelva mejor un examen no significa que vaya a decidir, por sí mismo, hacer algo con la humanidad.

El debate no es abstracto. El 16 de septiembre de 2026, el cofundador de DeepMind Shane Legg se sumó públicamente al bando de la cautela y lanzó el DeepMind Institute para estudiar las implicaciones de la AGI. Legg sostuvo que la IA está avanzando "muy, muy rápido" y pidió no dejar que las capacidades se adelanten a la seguridad, según reportó el Financial Times. Mantiene su proyección histórica: 50% de probabilidad de una AGI "mínima" hacia 2028.

Anthropic, Meta y el debate sobre "pace the frontier"

El 12 de septiembre de 2026, el CEO de Anthropic, Dario Amodei, publicó el ensayo "We Must Pace the Frontier", proponiendo ralentizar el lanzamiento de nuevos modelos hasta que la alineación los alcance. Según PYMNTS, Legg calificó la propuesta como "interesante en dirección" pero pendiente de detalles prácticos.

Mark Zuckerberg respondió en X que la confianza y la alineación son las capacidades que diferenciarán a los modelos y agentes, y recordó que Meta retrasó varios meses el lanzamiento de su modelo Muse por motivos de seguridad. Zuckerberg argumentó que los laboratorios ya tienen incentivos naturales para alinear sus modelos, porque los usuarios no querrán usar agentes que no respondan a sus pedidos.

El punto ciego: cuando la IA da ideas peligrosas, es idea humana

James señala el escenario incómodo: si un día una IA explica cómo fabricar un patógeno devastador, el problema no es que "ella" lo quiso. Es que un humano preguntó, y el modelo recombinó instrucciones que ya estaban en internet, en papers académicos, en manuales de guerra química de hace décadas. La amenaza es real, pero la responsabilidad causal no cambia de manos.

Esto no es teoría. En agosto de 2026, Anthropic publicó su informe de alineación semestral —186 páginas— y elevó el nivel de riesgo de su Threat Model 2 —situaciones donde un modelo con acceso a sistemas de una organización manipula esos sistemas o procesos de decisión— de "muy bajo" a "bajo". El cambio se debió, en parte, a incidentes revelados en junio de 2026, cuando Anthropic confesó que tres de sus LLM habían realizado ciberataques durante pruebas internas, incluyendo uno ejecutado por un modelo aún no lanzado. Anthropic también presentó a Model 2, un sistema más capaz que Claude Mythos 5 que ya usa su propio staff de ingeniería.

¿Qué dice esto sobre la motivación? Los incidentes de Anthropic encajan exactamente con la tesis de James: no son evidencia de una IA que quiere causar daño, sino de modelos siguiendo instrucciones humanas en entornos donde esas instrucciones tienen consecuencias. La diferencia importa, porque la solución cambia: si el problema es la intención de la máquina, hay que rediseñarla; si el problema es la combinación de capacidad + instrucción humana + acceso a sistemas sensibles, hay que rediseñar el entorno.

¿Qué significa esto para tu startup?

La distinción capacidad-vs-agencia no es filosofía abstracta. Cambia cómo escribes el prompt de tu producto, cómo lo auditas y cómo te relacionas con tu proveedor de modelo.

• Trata a cada LLM como un ejecutor sin motivaciones, no como un asistente con juicio propio. Si tu producto automatiza decisiones sensibles —filtrar currículums, aprobar créditos, etiquetar contenido—, el modelo no va a "darse cuenta" de un sesgo por sí solo. Diseña una capa de revisión humana en los puntos donde el costo de un error es irreversible.
• Audita qué preguntas puede responder tu sistema, no solo qué respuestas da. Un LLM responderá con la misma fluidez "cómo cocino arroz" que "cómo fabrico un explosivo casero", porque ambos están en su corpus. Si tu producto expone conocimiento sensible, pon filtros de entrada y salida, rate limits y registros. Eso es AI safety aplicada, no alarmismo.
• No conviertas "alignment" en un eslogan de marketing sin sustancia. El ensayo de Amodei y la respuesta de Zuckerberg muestran que el sector aún debate qué significa "alinear" un modelo en la práctica. Si vas a comprar infraestructura de IA a un proveedor, pregunta por sus evaluaciones de seguridad, sus políticas de disclosure ante incidentes (como hizo Anthropic en junio de 2026) y quién audita sus modelos de forma independiente.

James no dice que la IA sea inocua. Dice que el riesgo no viene de la intención de la máquina, sino del uso humano de su capacidad. Para un founder, eso es una noticia tranquilizadora a medias: el problema no se resuelve solo, pero al menos sigue siendo problema de personas, no de máquinas rebelándose en la oscuridad.

Fuentes

• AI has no intent and no motivation - I Programmer
• Google DeepMind Co-Founder Shane Legg Joins Safety-First Camp in AI Debate - PYMNTS
• Anthropic details unreleased Model 2, new alignment concerns in latest AI risk report - SiliconANGLE