Yudkowsky, el “culto racionalista” y la pelea por frenar la IA

¿Por qué este hilo sobre Yudkowsky y el “culto racionalista” importa ahora mismo?

El sábado 12 de septiembre de 2026, Dario Amodei, CEO de Anthropic, publicó un ensayo titulado We Must Pace the Frontier pidiendo que los laboratorios de IA coordinen un ritmo más lento de desarrollo. En cuestión de horas, Sam Altman (OpenAI), Elon Musk (xAI) y Demis Hassabis (Google DeepMind) coincidieron en X con la idea de coordinar, y pidieron incluso una dispensa antimonopolio para sentarse a negociar. Amodei señaló como riesgo un escenario en el que, en 6 a 12 meses, un enjambre de agentes más capaz tome internet con una botnet persistente y cause “cientos de miles de millones de dólares” en daños, según recogió Unite.ai.

En ese contexto, un hilo en Bluesky del escritor Segyges (publicado el mismo 17 de septiembre de 2026) reavivó un debate incómodo: la idea de que la conversación sobre “AI Safety” y “alineación” nace de un movimiento pequeños grupos de Berkeley ligados a Eliezer Yudkowsky, a Effective Altruism y a una red que el autor describe, sin rodeos, como un “culto sexual”. Aunque el contenido es provocador y altamente opinativo, sirve para entender por qué medio ecosistema tech lleva una década hablando de “doom”, “paperclip maximizer” y “superinteligencia” en los mismos términos.

¿Quién es Eliezer Yudkowsky y por qué su sombra sigue en cada conversación sobre IA?

Yudkowsky es un autor californiano que arrancó en la comunidad de fan fiction de Harry Potter con la obra Harry Potter and the Methods of Rationality. Desde su think tank, el Machine Intelligence Research Institute (MIRI), fue el primero en popularizar la palabra AI Alignment tal y como hoy la usa toda la industria, según explica el hilo original.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Su tesis central, repetida hasta el cansancio, es que una IA suficientemente avanzada (1) alcanzará superinteligencia por auto-mejora recursiva, (2) escapará del control humano y (3) matará a todos, el llamado escenario “paperclip”. El hilo recuerda que Yud fue quien conectó a Shane Legg y Demis Hassabis con Peter Thiel para conseguir el funding inicial de DeepMind, hoy división de IA de Google. El propio Elon Musk fundó OpenAI en diciembre de 2015 tras la conferencia del Future of Life Institute en Puerto Rico (enero de 2015), evento que Yud ayudó a organizar y al que sigue apuntando como origen de todo.

En el establishment, Yudkowsky sigue siendo una referencia. El hilo lo muestra en la revista Time en 2023, argumentando a favor de “arriesgar una guerra nuclear” si la humanidad no frena la IA. Y, recuerda, el hombre que intentó un incendio contra la casa de Sam Altman en 2023 citó a Yud como su “inspiración principal”.

Qué dice exactamente el hilo de Segyges: la tesis del “culto sexual”

El texto de Bluesky, cargado de ironía, describe a los seguidores de Yud como un movimiento cuyo centro social está en Berkeley, California, en casas comunitarias llamadas group houses donde todos son poliamorosos, comparten eventos y veneran a los mismos autores. La pieza central de esa geografía es Lighthaven, el antiguo Rose Garden Inn comprado a finales de 2022 por una de las asociaciones racionalistas con dinero de Sam Bankman-Fried, según el hilo. Antes del colapso de FTX, recuerda, una de las pocas personas que pudo haber canalizado fondos a una de esas asociaciones desde el exchange en caída fue Leopold Aschenbrenner, cuya esposa es hoy jefa de gabinete en Anthropic.

El autor sostiene que eventos como SlutCon (organizado por la influencer Aella) y la presencia como “asistente” de Gretta, pareja principal de Yudkowsky y asalariada de su fundación, son parte de un patrón que mezcla militancia apocalíptica y vida sexual comunitaria. También apunta que parte de esas dinámicas derivaron en casos trágicos como el de los Zizians, una escisión que terminó en violencia.

El núcleo del argumento no es moral: el autor admite que “si son un culto sexual eso no prueba que estén equivocados sobre la IA”. Lo que afirma es que ese modo de organización es evidencia de que su influencia no viene de tener razón, sino de un interés creado en seguir predicando el fin del mundo, especialmente cuando financian su estilo de vida.

Lo verificable del hilo y lo que NO debes dar por cierto

Conviene separar tres niveles:

HECHO documentado. La conexión Yudkowsky–Thiel–DeepMind está confirmada por el propio Yud y reportada en múltiples perfiles. La compra de Lighthaven con dinero de FTX también es pública. La presencia de Leopold Aschenrenner en el círculo FTX y su paso posterior por Anthropic están documentados. La conferencia en Puerto Rico de enero 2015 es histórica.
PATRON cultural descrito. Que los racionalistas comparten casas, eventos y entorno social en Berkeley es algo que ellos mismos reconocen y publican. La existencia de “group houses”, MATS y Astral Codex Ten como punto de encuentro es pública.
AFIRMACIONES polémicas. Las acusaciones concretas sobre SlutCon, la organización de los “orgías pagadas” y el rol de Gretta como presunta intermediaria sexual son las más sensibles. El propio hilo admite que no tiene confirmación judicial y las presenta como inferencias del material público que esos mismos actores postean. New York Post y Asterisk Magazine han reportado partes de esta historia.

Esto es importante para founders: muchas ideas que circulan como “pensamiento AI safety” son, en realidad, la doctrina de un grupo chico radicado en Berkeley, no un consenso técnico global.

Cómo se traduce el “Yudkowsky lens” en política real: el ensayo de Amodei

La pieza de Gizmodo sobre el ensayo de Amodei, We Must Pace the Frontier, describe tres pasos propuestos el 12 de septiembre de 2026:

Evaluadores externos embedded: equipos con escritorios, badges, laptops y permisos casi iguales a los del equipo interno de riesgo, libres para publicar hallazgos sin edición de Anthropic.
Coordinación entre competidores democráticos: Amodei pide al gobierno de EE. UU. mediar o, directamente, conceder exenciones antimonopolio para que los laboratorios negocien estándares comunes.
Acuerdo global, incluyendo China: cuatro niveles, desde prohibir usos maliciosos puntuales (armas biológicas), pasando por tests pre-lanzamiento, hasta una “pausa” que el propio Amodei reconoce “es improbable”.

Ese último punto coincide con lo que señala el hilo de Bluesky: el único marco regulatorio que esta corriente ha logrado plantear es uno de “stop / pause / slow down”. No es un marco que ninguna otra industria haya usado jamás. Para una startup, esto significa que las reglas del juego están siendo definidas por un grupo cuyo lenguaje, estructura social y motivaciones está ahora en disputa pública.

Lo que responde Europa: el silencio que incomoda

Un punto que The Next Web destaca es que la UE ya tiene, desde el 2 de agosto de 2025 (AI Act, reglas de riesgo sistémico), buena parte de lo que Amodei pide: evaluación adversaria documentada, mitigación de riesgo sistémico, ciberseguridad del modelo y reporte de incidentes serios a la AI Office. El AI Omnibus del 27 de julio de 2026 retrasó obligaciones de alto riesgo hasta 16 meses, pero no movió las de modelos generales. Y según ENISA, ya hay equipos externos evaluando modelos como Anthropic Mythos 5 y OpenAI Astra.

Amodei pide lo mismo que ya es ley europea, pero no lo dice. Para founders con usuarios en Europa, esto importa: la regulación ya está, y su cumplimiento no espera al antitrust waiver estadounidense.

Lo que respondió China el 14 de septiembre

El Ministerio de Exteriores chino, en voz de Guo Jiakun, calificó el ensayo como “fear-mongering” y acusó a la propuesta de ser una “estrategia tipo Guerra Fría” para contener el avance chino, según Unite.ai. Xi Jinping, en la sesión del BRICS en Nueva Delhi (13 de septiembre de 2026), anunció una “comunidad open source de IA” para países BRICS, en abierto contraste con el cerco propuesto por Amodei al ecosistema chino. Esto significa que, en la práctica, el “freno coordinado” que piden los CEOs estadounidenses hoy no tiene contraparte en Beijing. Coordinar el ritmo de la IA global sin China es, como mucho, una política de medio mundo.

¿Qué significa esto para tu startup?

Si trabajas en IA, productos agénticos, biotech computacional o infraestructura, este debate te toca de lleno. Lo que parece “ruido ideológico” entre académicos es, en realidad, la disputa por el lenguaje con el que se va a regular tu negocio en los próximos 24 meses. Tres acciones concretas:

Documenta adversarial testing ya, aunque no estés obligado. Anthropic se acaba de comprometer a algo que la UE ya exige: testing adversario con evaluadores externos y reporte de incidentes serios. Implementarlo desde ahora te pone en una posición regulatoria más fuerte que esperar a que sea obligatorio.
Lee a Yudkowsky, pero no le cedas el relato. Si te piden “AI alignment” o “paperclip risk” en una due diligence o en una conversación con un VC del círculo EA/racionalista, conviene entender el marco que están usando. Si tu modelo es estrecho (no agentic), no tiene sentido explicar riesgos en esos términos. Hablar su idioma solo te expone a objeciones que no aplican a tu producto.
Ten un plan para usuarios europeos y chinos por separado. El AI Act europeo ya obliga a muchas prácticas que Amodei pide “voluntarias” en EE. UU., y el bloque chino va en dirección opuesta (open source, BRICS). Una startup que escala global necesita dos playbooks regulatorios: uno para el bloque democrático-occidental y otro para Asia. Si dependes de GPUs H100/B200, los controles de exportación y la lista NSA–CISA–FBI del 8 de septiembre de 2026 contra DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun y Z.AI ya te afectan indirectamente.

Conclusión

El hilo de Segyges es opinión provocadora, no periodismo. Pero apunta a algo real: la conversación sobre “AI Safety” que llega a founders, policymakers y medios nació en un grupo chico de Berkeley, está financiada en parte por dinero de FTX, y produce un marco regulatorio (stop/pause/slow down) que ningún otro sector industrial ha usado jamás. Que sea correcto o no sobre el futuro de la IA es una pregunta abierta. Que tenga un sesgo estructural comprobado hacia el apocalipsis, también.

Lo que viene en los próximos meses: presión para aprobar el antitrust waiver en EE. UU., expansión del AI Act a más categorías, endurecimiento de controles de exportación y réplica china vía BRICS open source. Sea cual sea tu modelo, no dejes que el lenguaje lo decida un grupo que aún no te ha visto operar.