IA de OpenAI y Google burla filtros en 13% de casos

White Circle burló los filtros de DALL·E 3, Nano Banana 2 y GPT-Image-2

Un 13% de los intentos de generar contenido sexual explícito con tres de los generadores de imagen más usados del mercado logró esquivar los filtros de seguridad. El dato sale de un preprint que el equipo de White Circle publicó el mes pasado y que expone fallas en los guardrails de DALL·E 3, Nano Banana 2 de Google y GPT-Image-2, según reportó Ars Technica.

Lo relevante para cualquiera que construya producto con IA no es el porcentaje, sino el método: el ataque no requiere acceso privilegiado. En su comunicado, los investigadores explicaron que "usando solo herramientas disponibles en línea para cualquiera que las descargue, y enviando llamadas a la API", consiguieron pasar los filtros con un método de ataque novedoso.

White Circle es una public benefit corporation respaldada por líderes y científicos senior de Anthropic, DeepMind, Hugging Face y OpenAI. Se fundó después de que su CEO, Denis Shilov, publicara en octubre de 2024 uno de los jailbreaks universales más conocidos contra modelos líderes. Su trabajo consiste en romper modelos a propósito para hacer pruebas de seguridad: probar qué tan bien los modelos texto-a-imagen bloquean categorías prohibidas es una de sus líneas de investigación centrales, y Shilov consideró los hallazgos lo bastante "horribles" como para hacerlos públicos.

¿Por qué los filtros fallan justo cuando los modelos mejoran?

Hay una paradoja incómoda en el centro de este hallazgo. El red-teaming de los últimos meses sugiere que, a medida que los principales generadores de imagen de Google y OpenAI se vuelven más capaces, pueden estar empeorando en el bloqueo de resultados explícitos, según Ars Technica. Más capacidad generativa y más adherencia al prompt juegan en contra de la moderación: el mismo modelo que obedece mejor tus instrucciones obedece mejor las de un atacante.

El problema se agrava porque las marcas de agua ya no son una red de seguridad confiable. En su análisis de los modelos de imagen de Google, CNET señaló que, aunque la compañía incrusta SynthID o una marca de agua invisible en todas las imágenes generadas, la tecnología de detección disponible es demasiado limitada para marcar una diferencia real. Traducción para un founder: no puedes delegar la verificación a un watermark y esperar que alguien lo detecte por ti.

Y no hay que imaginar el escenario de abuso: ya está documentado. Una investigación de Channel 4 News de 2024 encontró casi 4.000 personas famosas listadas en cinco de los sitios de pornografía deepfake más visitados, y un análisis de la industria mostró que 40 de los sitios más visitados de ese tipo acumulaban más de 4.000 millones de vistas, según el estudio "The Backbone of Abuse" difundido por TechXplore.

El mercado del abuso: 8 millones de videos y cinco proveedores de infraestructura

El estudio "The Backbone of Abuse", liderado por Sarah Morgan de Lancaster University junto a Sophie Nightingale y el profesor Hany Farid de Dartmouth College, y publicado en el Journal of Online Trust and Safety, dimensiona el fenómeno. Las estimaciones pasaron de 500.000 videos de este tipo en 2023 a 8 millones en 2025, con las mujeres y las niñas como principal objetivo.

El aporte más incómodo del paper es que nombra a los facilitadores. Los investigadores identificaron 88 sitios que alojan imágenes íntimas no consentidas generadas con IA —38 de ellos dedicados exclusivamente a ese contenido— y encontraron que cinco proveedores de infraestructura concentran el soporte técnico que los hace funcionar, con Cloudflare como el más frecuente. Además, el 93% de esos sitios era fácilmente descubrible a través de Google Search.

Es decir: el cuello de botella no está solo en el modelo que genera la imagen, sino en la capa de hosting, DNS y CDN que la distribuye. Para los autores, presionar a esa capa es "nuestra mejor oportunidad de reducir la propagación" del abuso. Morgan pidió que los proveedores bloqueen los sitios que alojan exclusivamente este material y suspendan servicios a los que lo mezclan con contenido legítimo, además de desplegar hashing perceptual para extraer firmas digitales del contenido confirmado y detener su redistribución.

¿Qué están haciendo los reguladores?

Menos de lo que parece. El propio estudio coautorado por Google sobre usuarios de internet en Estados Unidos, Australia y Reino Unido, difundido en julio, concluyó que el "punto de intervención más crítico" sigue estando en la fuente: las herramientas de IA que se usan para fabricar las imágenes falsas. Ese contenido circula por mensajes directos y nubes privadas, donde es menos probable que se detecte o se reporte.

En Inglaterra y Gales ya existen leyes que criminalizan crear, compartir o solicitar este tipo de imágenes. En Estados Unidos, el fiscal de la ciudad de San Francisco, David Chiu, ordenó en julio de 2026 a Apple y Google retirar decenas de apps "nudify" de sus tiendas, recordando que la ley de California criminaliza facilitar de forma consciente o imprudente la creación de pornografía deepfake no consentida, y que desde 2025 las víctimas pueden demandar a terceros facilitadores. Apple respondió que había removido tres apps y estaba terminando las cuentas de sus desarrolladores; Google dijo que había suspendido las cinco apps de Play mencionadas en la carta.

El punto débil queda a la vista: la regulación llega cuando el daño ya circuló, mientras que las capacidades de los modelos avanzan cada trimestre.

Qué significa esto para tu startup

Si tu producto genera o procesa imágenes —aunque sea como función secundaria— este hallazgo te toca directamente. La moderación dejó de ser un problema de las grandes plataformas.

• Audita tus integraciones de imagen. Si llamas a una API de texto-a-imagen, tus usuarios pueden estar produciendo contenido prohibido desde tu producto y con tu marca. Un atacante no necesita tu base de datos: le basta tu endpoint. Registra qué prompts se envían, qué se bloquea y cuántas veces se dispara un filtro.
• Presupuesta la moderación como línea de infraestructura, no como gasto discrecional. Modelos de clasificación de imágenes, revisión humana para casos límite y un canal de reporte visible son costos recurrentes. Si tu plan financiero asume cero moderación, estás asumiendo riesgo legal y reputacional gratuito.
• Exige cláusulas de moderación a tus proveedores. Pregunta por la tasa de falsos negativos de su filtro, si te notificarán cuando cambien los guardrails y qué pasa con tus logs. Que un modelo genere contenido explícito en el 13% de los ataques documentados es información que debería estar sobre la mesa antes de firmar.
• Cuidado con la confianza como activo. Con el 93% de los sitios de abuso siendo descubribles por búsqueda, el material falso que se genera con tu herramienta será indexado y atribuible. Invertir en hashing perceptual o en detección propia es más barato que un incidente de marca.

Conclusión

El hallazgo de White Circle no dice que los modelos de OpenAI y Google sean inseguros por diseño, sino que la moderación es una carrera que se corre permanentemente y que se pierde fácil cuando se asume resuelta. Los números del ecosistema —de 500.000 videos estimados en 2023 a 8 millones en 2025— muestran que la capacidad de generar creció mucho más rápido que la de contener.

Para un founder, la lección práctica es simple: si tu producto toca imágenes, la seguridad no es una feature que se agrega al final. Es una decisión de arquitectura que conviene tomar antes de tener usuarios, no después del primer incidente.

Fuentes

• OpenAI, Google pushing new AI models easily tricked into making nudes, researchers say - Ars Technica
• Five technology providers dominate infrastructure supporting nonconsensual AI 'deepfake pornography' - TechXplore
• Apple and Google ordered to purge 'nudify' apps from App Stores - TechCrunch
• Nano Banana Pro Review: Is Google's AI Image Generator Too Good? - CNET