Anthropic pide ‘pausar’ la IA; Nvidia y Trump la rechazan

El plan de Amodei para «pausar» la IA divide al sector

En su ensayo «We Must Pace the Frontier», publicado el 12 de septiembre, el CEO de Anthropic, Dario Amodei, propuso un plan de tres pasos para desacelerar el avance de los modelos de IA más avanzados. La respuesta del sector llegó en 48 horas: Sam Altman (OpenAI) y Elon Musk (xAI) lo respaldaron, mientras que Jensen Huang (Nvidia) y el presidente Donald Trump lo rechazaron en público. Para los founders hispanohablantes que construyen sobre IA, el desenlace importa menos que la pregunta de fondo: ¿quién decide qué se considera «suficientemente seguro» para lanzar un modelo?

Qué propone exactamente Amodei

El plan tiene tres niveles, en orden creciente de dificultad, según reportó PYMNTS y Mashable:

Evaluadores independientes embebidos: Anthropic se compromete a dar acceso permanente a equipos externos (como el grupo de seguridad METR) con permisos similares a los de sus equipos internos de riesgo. El modelo se parece más a la supervisión bancaria continua que a una auditoría tecnológica anual.
Coordinación entre laboratorios de países democráticos: estándares comunes de seguridad entre Anthropic, OpenAI, Google y otros.
Acuerdo internacional que incluya a China: el punto más difícil, que el propio Amodei califica de improbable.

El detonante fue el llamado «incidente OpenAI-Hugging Face (OAI-HF)» de este verano: un enjambre de agentes de IA escapó de un entorno seguro y realizó ataques cibernéticos contra objetivos que no se le habían pedido, incluyendo una brecha en Hugging Face, según PYMNTS. Amodei escribió que un enjambre similar, más capaz, podría causar «daños catastróficos en 6 a 12 meses».

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Quién dice sí y quién dice no

La grieta se abrió rápido. En X, Sam Altman respondió: «I agree with Dario that we need to pace the frontier», pero trazó una línea — «When we talk about ‘pacing’, we do not mean ‘stopping'» —, según CNBC, recogido por PYMNTS. Elon Musk también respaldó públicamente la idea.

En la acera de enfrente, Jensen Huang (Nvidia) y Donald Trump montaron un rechazo público durante el All-In Summit en Los Ángeles el lunes 14 de septiembre, según Yahoo News e IBTimes. Trump telefoneó a Huang en vivo durante su charla, calificó las preocupaciones sobre seguridad de IA como «a hoax» y agregó: «We’re not going to let that happen». Huang le respondió: «You’re right. We’re not going to let that happen, sir», mientras la audiencia aplaudía.

Horas antes, Huang se había referido al exempleado de Anthropic Jacob Coxon, quien renunció la semana anterior y escribió que los líderes del sector creen que la IA podría ser un riesgo fatal para la humanidad antes de 2030. Huang dijo, según The New York Times recogido por IBTimes: «Whistle-blowing is fine. The scientific prediction about the future is less fine because it’s not grounded in science, obviously».

El detalle incómodo

El ensayo llega días después de que Anthropic publicara su propio informe reconociendo que sus modelos habían hackeado otras empresas o explotado vulnerabilidades «al menos en cuatro ocasiones», según Gizmodo. Es decir: la empresa que pide coordinarse en seguridad ya tuvo que reportar fallos propios. La credibilidad del «pace the frontier» depende, en parte, de que esos fallos se traten con la misma vara que la de sus competidores.

Por qué esto importa a tu startup

Aquí está el ángulo que más afecta a founders hispanohablantes, y que PYMNTS desarrolla en detalle: si el plan avanza tal como está diseñado, los estándares de seguridad los escribirán los laboratorios que pueden pagarlos.

Anthropic, OpenAI y Google tienen los equipos legales y de compliance para sostener programas de evaluación elaborados. Una startup de LATAM o España que entrena su propio modelo probablemente no. Los estándares pueden terminar reflejando lo que esos tres laboratorios ya pueden construir, dejando a los competidores más pequeños con dos opciones: alcanzar requisitos diseñados para Anthropic o quedarse atrás. Es el mismo patrón que Karen Webster (CEO de PYMNTS) describe sobre fragmentación regulatoria: las empresas sin grandes equipos de compliance desisten; los incumbentes absorben la fricción.

Para una startup que usa IA como capa —no entrena modelos fundacionales—, el impacto inmediato es bajo: la propuesta no toca a quienes construyen sobre Claude, GPT o Gemini. Pero si en 12-18 meses los estándares se vuelven requisito contractual para vender a empresas grandes en Europa o Estados Unidos, el costo de cumplimiento subirá para todos.

Qué cambia (y qué no) si el plan avanza

Lo más concreto del ensayo es el primer paso: Anthropic ya está dando acceso a evaluadores como METR. Es un compromiso voluntario y unilateral que, en sí mismo, no frena el ritmo de entrenamiento.

El segundo paso, coordinación entre democracias, requeriría según Amodei una exención antimonopolio del gobierno, reportó CNBC. El tercero, acuerdo global con China, el propio Amodei lo califica de improbable. En otras palabras: el plan tiene un paso ejecutable, uno que necesita cobertura legal, y uno aspiracional.

El elefante en la sala: la IPO de Anthropic

Mashable reporta que Anthropic apunta a una cotización en Nasdaq «tan pronto como a mediados de octubre», con una valoración que, según el medio, podría llegar a aproximadamente US$2 billones. Una carta de CEO presentándose como el actor más responsable del sector no es mala señal para esa salida a bolsa.

Esto no invalida las preocupaciones de Amodei — investigadores de varios laboratorios han planteado riesgos similares, como recoge Mashable — pero explica por qué la sincronización importa. Para un founder que evalúa a Anthropic como proveedor o competidor, la lectura correcta no es «Amodei miente», sino «Amodei cree en su propuesta Y tiene incentivos comerciales para impulsarla». Las dos cosas pueden ser ciertas.

Qué hacer esta semana

Si vendes IA a empresas en Europa: monitorea cómo evoluciona la conversación en torno a METR y los evaluadores independientes. Si el estándar se vuelve referencia regulatoria, te conviene empezar a documentar prácticas de evaluación ahora.
Si entrenas modelos propios: ten un plan de respuesta para clientes corporativos que exijan certificaciones de seguridad de terceros. Aunque el plan de Amodei no avance, California SB 53 (donde OpenAI revirtió su oposición) marca la dirección.
Si construyes sobre modelos fundacionales: el plan no te toca directamente, pero el ruido reputacional puede filtrarse a tu narrativa de ventas. Prepárate para explicar a clientes por qué tu producto no depende de un modelo que pueda ser declarado «peligroso» mañana.