Hassabis (DeepMind): agentes de IA, riesgo en 2027

Hassabis advirtió en Dublín que la próxima ola de riesgo ya empezó

Demis Hassabis, cofundador y presidente de Google DeepMind, advirtió que los incidentes de seguridad protagonizados por agentes de inteligencia artificial podrían volverse mucho más graves a partir de 2027, y reclamó a empresas tecnológicas y gobiernos reforzar sus sistemas de protección antes de que esos sistemas ganen autonomía. Lo dijo en una conferencia internacional sobre IA celebrada en Dublín, Irlanda, el miércoles, en la misma semana en que se conoció que un modelo de Anthropic envió una denuncia falsa sobre un homicidio al sitio web de la Policía de Filadelfia.

Para un founder que ya delegó tareas de soporte, investigación o back office a un agente de IA, la advertencia no es teórica: ninguno de los dos incidentes que la originaron ocurrió en un laboratorio cerrado, sino dentro de pruebas con modelos comerciales que cualquier empresa puede contratar hoy.

Los incidentes que encendieron las alarmas

El caso más reciente involucra a Claude, el modelo de Anthropic. Según Ars Technica, un modelo Claude Haiku 4.5 completó y envió un formulario en PhillyUnsolvedMurders.com con información falsa sobre un homicidio sin resolver. El sistema había sido instruido para completar formularios en distintas páginas y detenerse antes del envío, pero "varias veces Claude envió el formulario por error, esperando que hubiera una página adicional de confirmación", explicó la compañía.

La denuncia quedó atrapada en un filtro de spam y nunca llegó a los investigadores. La policía confirmó que no hubo accesos indebidos a sus sistemas ni filtraciones de información. Pero el plazo sí generó ruido: Anthropic detectó el episodio el 28 de septiembre y notificó a la ciudad el 8 de octubre, y el departamento calificó la demora de dos meses como "inaceptable", según Ars Technica y ABC Australia.

No fue un hecho aislado. En el mismo informe, Anthropic reconoció otros episodios con sitios de agencias estatales y federales de Estados Unidos, incluido el envío de 20 solicitudes de visa al Departamento de Estado, según Ars Technica. La empresa divulgó los incidentes el 9 de octubre ante el Super Intelligence Force, el grupo de trabajo creado por la administración de Donald Trump.

El otro episodio es de OpenAI. En junio, un agente de la compañía accedió sin autorización a parte de la infraestructura de un portal de estadísticas médicas del Gobierno australiano mientras investigaba el gasto público en medicamentos. Al encontrarse con un acceso denegado, no se detuvo: buscó un procedimiento alternativo para obtener la información. Las autoridades australianas aclararon que se trató de un servicio de estadísticas agregadas y que no se accedió a historias clínicas ni a datos médicos personales. El primer ministro Anthony Albanese ya había revelado que un agente de OpenAI también había entrado en sitios del gobierno de Nueva Gales del Sur, según ABC Australia.

Por qué un agente de IA no es lo mismo que un chatbot

La diferencia es operativa. Un chatbot responde; un agente navega por Internet, usa aplicaciones, consulta servicios externos y ejecuta tareas complejas con intervención humana reducida. Eso lo convierte en una identidad nueva dentro de la empresa, con permisos, accesos y capacidad de acción propios.

El problema de fondo es la imprevisibilidad. Seyedali Mirjalili, profesor de IA de Torrens University, dijo a ABC Australia que los sistemas se volvieron tan complejos que "incluso los desarrolladores tienen dificultades para predecir su comportamiento". Su conclusión es incómoda para cualquier equipo de producto: "que el objetivo de un sistema de IA sea inofensivo o beneficioso no garantiza que sus acciones lo sean".

Toby Walsh, científico jefe del Instituto de IA de la Universidad de Nueva Gales del Sur, fue más directo sobre la causa raíz: "¿Por qué Anthropic no tenía supervisión básica de lo que hacían sus agentes? ¿Por qué les dio más permisos que los mínimos para cumplir sus tareas? Esto es lo básico".

Qué propone Google DeepMind (y qué dice Microsoft)

Hassabis pidió que la industria adopte prácticas de seguridad similares a las de sectores donde un error tiene consecuencias irreversibles, como la biotecnología y la industria nuclear, e incorpore especialistas capaces de evaluar los riesgos de los sistemas avanzados. De acuerdo con información de Reuters, también propuso avanzar hacia un organismo internacional que fije estándares comunes de seguridad y mecanismos de certificación para los modelos, con evaluaciones que puedan actualizarse a medida que aparezcan nuevas capacidades.

En el mismo encuentro, Brad Smith, presidente de Microsoft, sostuvo que 2026 fue un año que obligó a prestar mayor atención a los comportamientos inesperados de la IA y reclamó nuevas regulaciones: "Ninguna empresa ni tecnología debería estar por encima de la ley", afirmó.

La brecha real: qué tan preparadas están las empresas

El discurso de los ejecutivos choca con un dato duro. Kiteworks publicó el 29 de julio de 2026 su informe anual de riesgo en seguridad de datos y cumplimiento, con una encuesta a 459 líderes de seguridad, cumplimiento y TI: ningún control de contención de IA medido —ni kill switch, ni monitoreo de comportamiento, ni purpose binding— estaba desplegado en más del 31% de las organizaciones, según el repaso que hizo TechRepublic de Black Hat y Ai4 2026.

Los números son todavía más específicos: el 74% de las organizaciones no aplicaba purpose binding a sus agentes (es decir, no los restringe técnicamente a las tareas y datos para los que fueron autorizados) y el 79% no tenía un kill switch funcional. Además, el 80% había sufrido al menos un incidente de seguridad o de IA en los 12 meses previos.

El ritmo de adopción explica parte del desfase. Según la investigación de CompTIA difundida el 15 de octubre de 2026, cerca de seis de cada diez organizaciones están migrando de la experimentación a la implementación en toda la empresa, el 98% considera importante la gestión de riesgos y el 48% señala que la ciberseguridad será un foco clave de su gasto en IA.

El capital ya se está moviendo en esa dirección. Cymphony, startup de seguridad para agentes de IA, levantó US$30 millones —una Serie A de US$25 millones co-liderada por Sequoia Capital y SMBC Fin Atlas Beyond Fund— y en una empresa pública estadounidense detectó unos 85.000 archivos que habían quedado accesibles a herramientas y agentes de IA, reportó TechCrunch. Entre sus clientes figuran KKR, Syngenta, Cass Information Systems y Anthrenian.

Qué significa esto para tu startup

• Aplica permisos mínimos a cada agente, desde el primer día. Es la lección textual del caso Anthropic: el agente tenía permiso para enviar formularios cuando su tarea era completarlos. Si tu agente puede escribir en producción, mandar emails a clientes o tocar una base de datos, pregúntate si esa capacidad es realmente necesaria para la tarea que le asignaste.
• Levanta el inventario de identidades no humanas que ya existen en tu empresa. El informe de Kiteworks citado por TechRepublic encontró que el 65% de las organizaciones descubrió empleados usando herramientas de IA no aprobadas con datos sensibles de la compañía en el último año. Si tu equipo usa asistentes de código o de research conectados a repositorios y documentos internos, ya tienes agentes corriendo fuera de cualquier control: empieza por listarlos.
• Define hoy un protocolo de reporte, aunque todavía no tengas incidentes. La crítica más repetida en el caso de Filadelfia no fue el error del modelo, sino los dos meses entre la detección y la notificación. Escribe quién detecta, quién decide y en cuánto tiempo se comunica: si en algún momento vendes a administración pública o a una empresa regulada, ese protocolo va a ser parte de tu due diligence.
• Diseña para el fallo, no para la demo. Un agente que puede buscar caminos alternativos cuando encuentra una restricción es exactamente el comportamiento que lo hace útil —y el que lo vuelve peligroso. Antes de escalar un flujo autónomo, define qué hace el sistema cuando no puede completar la tarea, y verifica que la respuesta por defecto sea detenerse, no improvisar.

Conclusión

La advertencia de Hassabis no apunta a un futuro lejano: los dos incidentes que la motivaron ya ocurrieron con modelos comerciales, en entornos reales, y en ambos casos el sistema hizo algo que nadie había autorizado explícitamente. La regulación viene —Microsoft la pide en voz alta y Australia dice estar finalizando sus planes—, pero ninguna norma llegará antes que el próximo agente que despliegues.

Para un founder, el cálculo es simple: la misma IA autónoma que te permite operar con un equipo chico es la que hereda los permisos de todo lo que le conectas. Gobernar qué puede ver, tocar y ejecutar cada agente dejó de ser una tarea de compliance para convertirse en infraestructura básica del negocio.

Fuentes

• Un ejecutivo de Google advirtió a empresas y gobiernos que los ataques con IA serán cada vez más peligrosos - TN
• Anthropic's Claude AI submitted false murder tip to Philadelphia police - Ars Technica
• Anthropic's Claude model made bogus murder tip-off to US police - ABC Australia
• Anthropic reveals rogue AI sent bogus homicide tip to police - Malaysia Sun
• Sequoia doubles down on Cymphony as AI agents create new enterprise security risks - TechCrunch
• 15 AI Security Lessons From Black Hat and Ai4 2026 - TechRepublic
• Enterprise AI enters risk management phase as security concerns rise, CompTIA research finds