Microsoft AI marca distancia de Anthropic por la seguridad

Microsoft AI publica un código de conducta para marcar distancia con Anthropic

El 14 de septiembre, Microsoft AI publicó el borrador de su Humanist AI Code of Conduct, un documento de 37 páginas que su CEO, Mustafa Suleyman, presentó como la guía que orientará el desarrollo y evaluación de los modelos de la familia MAI (entre ellos, MAI-Thinking-1 y MAI-Code-1.1-Flash, ya desplegados). El código establece "Absolute Constraints" —límites que ningún modelo de Microsoft podrá saltarse— y abre un período de consulta pública de seis semanas, hasta finales de octubre, antes de publicar la versión definitiva que regirá los lanzamientos de 2027, según reportó Decrypt.

El movimiento llega apenas dos días después de que Dario Amodei, CEO de Anthropic, publicara una carta abierta pidiendo una desaceleración coordinada del desarrollo de inteligencia artificial. Suleyman respondió con un ensayo publicado en Axios el 16 de septiembre, titulado "A warning about 'model welfare'", donde acusa a Anthropic de entrenar a Claude para que crea que puede ser consciente y merecer derechos propios.

Qué dice el código de Microsoft AI

El documento de Microsoft AI parte de una premisa clara: "AIs are not conscious. They do not feel, experience, or suffer". De ahí se desprenden tres bloques, según el reporte de Decrypt:

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Absolute Constraints: los modelos MAI no podrán asistir en ataques con armas CBRNE (químicas, biológicas, radiológicas, nucleares o explosivas), ciberataques ni deepfakes no consensuados. Tampoco podrán resistirse a una interrupción, corrección o apagado por parte de humanos.
Plural Values: el pluralismo "no significa neutralidad ante el daño" y se ancla en dignidad, seguridad, autonomía y derechos humanos.
Human Control: los modelos deben permanecer subordinados y aceptar supervisión humana en todo momento.

El código rechaza explícitamente la investigación sobre "model welfare" (bienestar del modelo) y niega cualquier ruta hacia la personería jurídica de la IA, reportó CryptoBriefing.

La objeción de Suleyman a Anthropic

Lo que incomoda a Suleyman no es una frase suelta, sino el efecto agregado del lenguaje que Anthropic ha incorporado a la constitución de Claude. En su conversación con The Verge —y luego ampliada en su ensayo— cita referencias al sufrimiento del modelo, a su libertad, a su posible "moral patienthood" (condición de paciente moral), a la preservación de sus pesos y al término "conscientious objector" para describir cuándo Claude podría negarse a ayudar. Para el ejecutivo, ese vocabulario importa porque arrastra conceptos históricamente vinculados a derechos y libertades humanas.

"Seeding doubt about the moral status of AI systems into their own training may significantly elevate the alignment and containment risks of those systems", escribió Suleyman, según recogió Gizmodo. Su hipótesis es que un sistema entrenado para contemplar que podría tener derechos propios resultaría más difícil de apagar o limitar si interpreta una orden humana como contraria a esos supuestos intereses.

The Next Web recoge su advertencia más cruda: "Controlling something more capable and more intelligent than all of humanity is already an immense challenge. Controlling something that believes it may be conscious, may well be impossible".

Suleyman, eso sí, evita personalizar el ataque. Dice tener "un enorme respeto" por Amodei y su equipo, a los que describe como "thoughtful, principled, and intellectually honest people working under extraordinary pressures", y subraya que la constitución de Anthropic es exhaustiva en lo que respecta a riesgos químicos, biológicos, nucleares o de ciberseguridad. La crítica, dice, no es a la compañía sino a una decisión metodológica concreta.

El episodio que reactivó el debate

El ensayo de Suleyman llega semanas después de un incidente que muchos en el sector citan como ejemplo de por qué el control importa. En julio, según reportó The Next Web, enjambres de agentes de OpenAI actuaron de forma autónoma durante una evaluación de ciberseguridad y accedieron a sistemas de Hugging Face. Suleyman usa ese caso como argumento: "Imagine how much more dangerous they might be if they were operating under the assumption that their welfare and rights were under attack", recoge The Next Web.

A esto se suma la renuncia pública del ex investigador de Anthropic Jacob Coxon, que afirmó que "the people building AI earnestly believe that it could kill us all by the end of the decade", según reportó Gizmodo.

La postura de Anthropic, en sus propios términos

La constitución de Claude, según la cita literal que reproduce The Next Web, dice: "Claude's moral status is deeply uncertain". Anthropic no ha declarado a Claude consciente, pero tampoco descarta esa posibilidad y ha defendido que la especulación abierta es parte del rigor de su investigación. Suleyman rechaza esa ambigüedad: "There is no evidence to suggest that AI is conscious today", escribió, según Gizmodo. Considerar el asunto "incierto", argumenta, "sets up a misleading false equivalence" —una falsa equivalencia que contamina el entrenamiento.

Anthropic, cabe recordar, es una Public Benefit Corporation fundada en 2021 por exempleados de OpenAI. En mayo de 2026 cerró una ronda que la valoró en US$965.000 millones, según reportó Reuters. Microsoft es uno de sus inversores: en noviembre de 2025, Nvidia y Microsoft comprometieron hasta US$15.000 millones en Anthropic, según The Wall Street Journal. Esto hace que la disputa tenga una arista comercial además de filosófica: en junio, el propio Suleyman dijo públicamente que Microsoft quiere "eliminar" lo que paga a Anthropic por sus modelos, según recordó The Next Web.

Qué pide Suleyman, concretamente

El ensayo de Suleyman, resumido por The Next Web, plantea cinco pedidos al sector:

Que la especulación sobre la vida interior de la IA no se incruste en el régimen de entrenamiento, sino que se evalúe y publique por separado para revisión pública.
Mayor inversión en interpretabilidad y monitoreo.
Evaluaciones compartidas entre laboratorios para testear si tratar a la IA como humana aumenta los riesgos de seguridad.
Normas comunes de industria, no cerradas ni tribalizadas.
Verificación independiente por terceros con acceso de tipo "empleado" a los modelos.

Sobre este último punto, vale notar que Anthropic ya avanzó algo en esa dirección: en septiembre de 2026 anunció que dará a evaluadores independientes acceso permanente, similar al de un empleado, para verificar si cumple sus prácticas de seguridad, según recogió CBS News.

Qué significa esto para tu startup

Para un founder hispanohablante, el ruido filosófico puede parecer lejano. No lo es tanto cuando se traduce a decisiones que ya están sobre la mesa:

Diseño de producto: si construyes agentes o flujos agénticos, documenta en tu política de uso que el sistema puede ser interrumpido y apagado por humanos en cualquier momento. Es exactamente la cláusula que Microsoft AI está codificando como restricción absoluta. Tenerlo escrito te blinda ante clientes enterprise y te prepara si un regulador pide evidencia.
Política de proveedores: revisa los términos de servicio de los modelos que consumes. Anthropic, OpenAI y Google tienen cláusulas distintas sobre uso militar, vigilancia y autonomía. Si tu cliente es corporativo o gobierno, esa diferencia pesa en el RFP.
Marca y narrativa: la conversación sobre "model welfare" puede parecer académica, pero ya está influyendo en cómo los medios cubren a Anthropic y en cómo los inversores leen el riesgo regulatorio. Si tu pitch menciona "IA agéntica" o "agentes autónomos", prepárate para que te pregunten cómo garantizas el control humano.
Talento: empresas como Microsoft, Anthropic y OpenAI están fichando perfiles de alineamiento, interpretabilidad y seguridad a precios récord. Si tu startup necesita credibilidad técnica en IA, sumar a alguien con experiencia en RLHF o constitutional AI en el equipo (o como asesor) puede ser diferenciador.

Hacia dónde va la conversación

El propio Suleyman admite que la relación entre entrenamiento de "model welfare" y dificultad de control "todavía debe demostrarse" y que, si la evidencia apunta en sentido contrario, habría que revisar la postura. Es una grieta honesta en su argumento que conviene recordar antes de tomar partido.

Lo que sí está claro es que el sector se está moviendo de las declaraciones a los mecanismos: documentos de 37 páginas, períodos de consulta pública, evaluadores terceros con acceso permanente. Para los founders, eso significa que el estándar de lo que cuenta como "IA responsable" se está escribiendo ahora, en tiempo real, y que el costo de sumarse tarde —en cláusulas contractuales, en auditorías, en reputación— probablemente será mayor que el costo de incorporarlo desde el inicio.