Constellation, el coworking de Berkeley del fin por la IA

Más de un 10% en esta década. Esa es la probabilidad que el jefe de alineamiento de Anthropic, Evan Hubinger, atribuye a que la IA extinga a la humanidad. La frase, escrita en X recientemente, sale del mismo ecosistema que coordina sus actividades desde un coworking de Berkeley llamado Constellation, descrito por el Wall Street Journal como el epicentro del movimiento popularmente conocido como 'doomer'.

El reportaje, replicado esta semana por Xataka, sitúa a Constellation como "el cuartel general donde se coordinan las personas que más hablan de apocalipsis por IA". El paraguas institucional es el Constellation Institute, una organización sin fines de lucro que en su propia web se presenta como una entidad que "trabaja para garantizar que la IA transformadora se desarrolle, despliegue y gobierne de manera segura". Reconocen que la IA puede "impulsar una prosperidad humana sin precedentes", pero enumeran tres escenarios catastróficos que justifican su activismo:

Pérdida permanente del control de la civilización humana a manos de las IA.
Eventos extremos con víctimas masivas o extinción humana.
El afianzamiento de regímenes autoritarios a gran escala.

La metodología, según su propia web, pasa por "el desarrollo del talento, el apoyo a los actores clave y la creación de espacios para la coordinación". En la práctica, eso significa financiar a investigadores, conectar a figuras clave del ecosistema y, sobre todo, mantener un espacio físico donde esa comunidad pueda sentarse a trabajar junta. Por eso el reportaje del WSJ describe a Constellation menos como una oficina y más como una "central de operaciones" cultural del movimiento.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Quién se coordina aquí: del altruismo eficaz a Anthropic

Para entender Constellation hay que retroceder al menos una década, hasta la subcultura del altruismo eficaz y el racionalismo. Una de sus figuras más visibles es Eliezer Yudkowsky, fundador del Machine Intelligence Research Institute (MIRI) y creador de la comunidad LessWrong. Yudkowsky es además, junto a Nate Soares, autor del libro 'If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All', uno de los manifiestos más citados del movimiento.

De ese entorno salieron los primeros empleados y cofundadores de Anthropic, incluidos Dario Amodei, actual CEO, y su hermana Daniela Amodei. Los hermanos se desvincularon públicamente del altruismo eficaz tras la caída en prisión de Sam Bankman-Fried, otra figura clave del movimiento, condenado por fraude en el caso FTX. La desvinculación es relevante porque muchos outsiders identifican altruismo eficaz con el mundo cripto, y eso ha complicado la imagen pública del movimiento.

Esa genealogía explica por qué buena parte de los nombres que hoy dirigen equipos de seguridad en los principales laboratorios de IA tienen lazos directos con Constellation. Uno de los casos más visibles es el del jefe de alineamiento de Anthropic, Evan Hubinger, que antes de incorporarse al laboratorio pasó por el MIRI.

El momento actual: la advertencia del 10% y la fractura en Anthropic

La influencia de esta red saltó a la primera línea hace unos días, cuando el exinvestigador de Anthropic y OpenAI Jacob Coxon publicó en X su carta de dimisión. Su mensaje central, recogido por Fox Business: "Las personas que construyen IA creen sinceramente que puede matarnos a todos antes de que termine la década. No estoy renunciando a una empresa: estoy renunciando a una industria que está jugando con nuestras vidas".

Horas después, Hubinger respondió en la misma plataforma y, en lugar de desmentirlo, le dio la razón: "Jacob tiene razón: realmente creemos que la IA podría matar a todos los humanos. Personalmente, creo que la probabilidad es >10% dentro de la próxima década. Creo que Anthropic está haciendo su mejor esfuerzo, pero aún no tenemos un plan para resolver la alineación de la superinteligencia y no estamos claramente en camino de tenerlo".

Hubinger aclaró que no se refería a los modelos actuales, cuyo riesgo catastrófico Anthropic califica de "bajo" en su último Risk Report, sino a una eventual superinteligencia surgida de la "mejora recursiva automática": un escenario en el que un modelo mejora su propio código y entrenamiento de forma autónoma, sin intervención humana, hasta superar las capacidades de sus creadores. Es justo la hipótesis que más preocupa a esta comunidad y la que Coxon citó como razón principal de su salida.

La fractura importa porque contradice la narrativa oficial de Anthropic: la compañía sostiene que su Responsible Scaling Policy es suficiente para mantener el riesgo controlado, mientras su propio jefe de alineamiento dice en público que no existe un plan claro para el peor escenario. Para founders y clientes corporativos, esa brecha entre el discurso público y la lectura interna es, por sí misma, una señal.

¿Qué significa esto para tu startup?

El ruido mediático puede esconder algo útil para founders y equipos pequeños. Más allá del debate filosófico, hay decisiones prácticas que cualquier equipo que usa o construye con IA puede tomar ya:

Lee el Risk Report del proveedor que uses. Anthropic, OpenAI y Google DeepMind publican informes periódicos de riesgo de sus modelos. Aunque no tengas tiempo para todo el documento, sí puedes revisar la sección de capacidades evaluadas y posibles usos indebidos antes de elegir modelo para producción. En una auditoría corporativa, ese documento te cubre.
Audita tu propio pipeline. La preocupación por la "mejora recursiva" de Hubinger aplica a cualquier sistema que se reentrena con su propia salida. Si tu producto usa generación automatizada que vuelve a alimentar un modelo, añade registros que permitan trazar qué entró y qué salió en cada iteración.
Ten un botón de apagado real. El consejo más repetido en cualquier marco serio de alineación es que el sistema en producción tenga un mecanismo de rollback probado, no solo un interruptor a nivel de código. El coste de implementarlo es bajo comparado con el coste reputacional de un incidente.
No confundas eslogan con seguridad. Que un laboratorio se presente como abanderado de la seguridad no es lo mismo que tener un plan técnico publicado y auditado por terceros. Si vendes a clientes corporativos, esa diferencia la van a preguntar.

Para founders hispanohablantes, el mensaje es doble: la conversación sobre seguridad de IA ya no es teórica ni anglosajona, está marcando presupuestos y hojas de ruta en los principales laboratorios del mundo, y va a condicionar regulación, inversión y criterios de contratación corporativa en Europa y LATAM en los próximos años. Ignorarla es apostar a que tu cliente enterprise tampoco la está siguiendo, y la evidencia reciente dice lo contrario.