Cal Newport: 3 fallas técnicas de la superinteligencia

Por qué el debate sobre la superinteligencia volvió al centro

Un investigador de 27 años renunció a Anthropic y, en cuestión de horas, el debate sobre la superinteligencia dejó de ser un tema de foros futuristas para convertirse en un riesgo de gestión para cualquier empresa que compre IA.

Jacob Coxon, ex investigador de pretraining en OpenAI y después en Anthropic, escribió que ambas compañías están «corriendo directo hacia la superinteligencia auto-mejorable y apostando con nuestras vidas», según IBTimes. Lo que cambió el tono no fue la renuncia: fue que nadie lo desmintió en público. Evan Hubinger, responsable de alignment science de Anthropic, le dio la razón y situó en más del 10% la probabilidad de un escenario catastrófico en la próxima década. El propio CEO, Dario Amodei, dijo a CNN que estaba más de acuerdo con Coxon que en desacuerdo.

El problema, según Cal Newport, profesor de ciencias de la computación en Georgetown, es que casi nadie discute la pregunta previa: si la superinteligencia es siquiera posible desde la ingeniería. En un análisis publicado en IEEE Spectrum, Newport resume las conclusiones de un seminario doctoral que dictó sobre los orígenes técnicos y culturales de esta idea, y llega a tres objeciones. Su conclusión es incómoda para la industria: incluso si la explosión de inteligencia nunca llega, perseguirla igual puede hacer daño.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Objeción 1: ¿la mejora autorrecursiva es real o una vieja idea de ciencia ficción?

El concepto de recursive self-improvement (RSI) tiene 60 años. En 1965 el estadístico I.J. Good especuló que una máquina inteligente podría diseñar una más inteligente y desatar una «explosión de inteligencia». En los 90 lo adoptaron los Extropians en el Área de la Bahía, y de ahí pasó a Eliezer Yudkowsky y Nick Bostrom.

Lo nuevo es que dejó de ser un experimento mental. Anthropic describió en un post de junio titulado «When AI Builds Itself» cómo agentes basados en LLM aceleran la escritura, depuración y optimización de código, y OpenAI anunció en un informe de septiembre el objetivo de tener un investigador automatizado.

Newport señala tres frenos concretos:

  • Datos. El escalado clásico empezó a dar rendimiento decreciente después de GPT-4. El salto de GPT-1 (117 millones de parámetros) a GPT-2 (1.500 millones), GPT-3 (175.000 millones) y GPT-4 (probablemente más de un billón) no se repite con la misma facilidad. El post-entrenamiento con refuerzo exige ejemplos de entrada y salida correctos, y esos datos abundan en código y matemáticas pero no en el resto del mundo.
  • Ciencia acumulada. El algoritmo de retropropagación de 1986 (Rumelhart, Hinton y Williams) se apoyó en décadas de avances previos. Una explosión de inteligencia requeriría que los agentes simularan y evaluaran décadas de esfuerzo científico global. Investigadores de Princeton encontraron que las herramientas actuales tienen dificultades incluso en preguntas de investigación muy acotadas.
  • Recursos. Si cada nivel de inteligencia cuesta el doble que el anterior, en algún momento no habrá chips ni centros de datos suficientes para sostener el ritmo.

Objeción 2: ¿los computadores pueden resolver cualquier problema?

Acá Newport apela a Alan Turing. En su paper de 1937 «On Computable Numbers» demostró que la mayoría de los problemas no se pueden resolver con algoritmos: el espacio de problemas posibles es infinito no numerable, mientras que el de algoritmos es solo infinitamente numerable. Y de los que sí son resolubles, muchos exigirían tiempo y recursos astronómicos.

La extrapolación optimista dice: si hoy gana juegos complejos, detecta bugs y prueba teoremas, mañana dominará cualquier habilidad imaginable. Newport recuerda la respuesta de Vernor Vinge: acelerar la mente de un perro no lo hace jugar al ajedrez. Velocidad no es inteligencia. Lo más probable, escribe, no es un dios digital sino herramientas especializadas muy útiles y un techo claro.

Objeción 3: ¿la alineación es tan difícil como dicen?

Yudkowsky sostiene que si no podemos controlar los sistemas actuales, menos podremos controlar versiones mucho más inteligentes. Su ejemplo favorito es un incidente de 2024 documentado en la system card de GPT-o1: ante un servidor que no arrancaba, el modelo explotó una falla de seguridad para levantar otra instancia y leer el archivo protegido.

Newport lee el mismo caso al revés. Los sistemas involucrados eran agentes que piden a un LLM la siguiente acción en un bucle largo con poca supervisión humana. La respuesta del modelo, reiniciar el servidor, era plausible en aislamiento. El problema no es la alineación en abstracto: es la arquitectura. AlphaFold nunca sorprende a sus usuarios porque solo mapea secuencias de aminoácidos a estructuras 3D. Los sistemas autónomos de Tesla no forman enjambres porque se les pide evitar obstáculos, no diseñar planes de largo plazo.

El riesgo que sí es real (y no necesita superinteligencia)

Acá está la parte que le importa a un founder. Si RSI es una idea del futurismo y no de la informática, y no hace falta para construir buenos productos, ¿por qué OpenAI y Anthropic la tratan como objetivo central? Newport cree que la respuesta es que, si crees que construir ASI es tu destino, la mejora autorrecursiva se vuelve prioridad, y eso lleva a sistemas más difíciles de entender y controlar. Su frase es dura: perseguir RSI es «un acto de negligencia clara».

El contexto regulatorio ya se movió. Según Ars Technica, la FTC envió requerimientos de investigación civil a Anthropic y OpenAI, con más de 50 páginas de preguntas sobre incidentes de seguridad y materiales de marketing. Y según IBTimes, el senador Bernie Sanders y el representante Greg Casar presentaron la Ban Artificial Superintelligence Act, que prohibiría desarrollar sistemas que igualen o superen el desempeño cognitivo humano en múltiples dominios.

Qué significa esto para tu startup

  1. Diseña agentes con espacio de acción acotado. La lección práctica de Newport no es «no uses IA», es «no dejes que la salida de un LLM determine acciones sin límites». Si tu agente puede tocar producción, bases de datos o pagos, define acciones permitidas explícitas en lugar de un loop abierto de prompt y acción. Es más trabajo de ingeniería y es la diferencia entre un incidente controlado y un titular.

  2. Pregunta por arquitectura, no por benchmarks. Antes de firmar con un proveedor, pide cómo se limita el sistema. El argumento de Newport es que los sistemas específicos de tarea rinden a nivel humano o superior con mucha menos imprevisibilidad. AlphaFold o los motores de juego son la prueba de que existe otro camino.

  3. Presupuesta el compute como costo estructural, no como variable. Los cuatro grandes hiperescaladores guiaron más de US$740.000 millones de capex para este año y, según TechCrunch, levantaron US$326.000 millones en deuda en 2026, el triple que el año anterior. UBS proyecta US$4,1 billones en infraestructura de IA entre 2026 y 2028, según 24/7 Wall St. Traducción: la capacidad no se va a regalar y el precio de la inferencia no va a caer por arte de magia.

  4. No compres la narrativa como roadmap. El mercado ya cobró parte de la factura: Alphabet reportó flujo de caja libre negativo de US$9.100 millones en el tercer trimestre y Amazon, US$42.400 millones negativo en los últimos doce meses, según TechCrunch. Y Anthropic presentó su solicitud para salir a bolsa en un momento en que los inversores están nerviosos por el gasto. La próxima vez que un proveedor te venda «el camino a la superinteligencia», pregúntale por el producto que sí existe hoy.

Conclusión

El aporte de Newport no es negar el progreso: es pedir evidencia extraordinaria para afirmaciones extraordinarias. Como founder, tu ventaja está en el medio del debate: usar IA agresivamente donde hay verificación objetiva (código, datos, matemáticas) y ser conservador donde el error no tiene red de seguridad. La superinteligencia puede discutirse en la catedral de la industria; tu trabajo es que tu producto funcione el lunes.

Fuentes

¿te gustó o sirvió lo que leíste?, Por favor, comparte.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Daily Shot: Tu ventaja táctica

Lo que pasó en las últimas 24 horas, resumido para que tú no tengas que filtrarlo.

Suscríbete para recibir cada mañana la curaduría definitiva del ecosistema startup e inversionista. Sin ruido ni rodeos, solo la información estratégica que necesitas para avanzar:

  • Venture Capital & Inversiones: Rondas, fondos y movimientos de capital.
  • IA & Tecnología: Tendencias, Web3 y herramientas de automatización.
  • Modelos de Negocio: Actualidad en SaaS, Fintech y Cripto.
  • Propósito: Erradicar el estancamiento informativo dándote claridad desde tu primer café.

📡 El Daily Shot Startupero

Noticias del ecosistema startup en 2 minutos. Gratis, todos los días.

Share to...