Un modelo de IA capaz de «ver» fracturas que no existen
Los modelos de IA multimodal más avanzados de 2026 —GPT-4o, Gemini, Claude 3— describen con total seguridad objetos, patrones y anomalías que simplemente no están en la imagen analizada. Un estudio publicado en agosto de 2025 y recogido por MuyComputer confirmó que estos sistemas «detectan ilusiones ópticas incluso cuando no las hay», generando alucinaciones visuales sistemáticas ante imágenes de control que no contenían ninguna ilusión.
Para un founder que está construyendo un producto sobre visión por computadora —desde detección de defectos en manufactura hasta triaje médico automatizado— esto no es un bug menor. Es una falla estructural que puede hundir la propuesta de valor de tu producto antes de que llegue al mercado.
¿Qué son exactamente las alucinaciones multimodales?
A diferencia de las alucinaciones de texto —donde el modelo inventa hechos históricos o citas inexistentes—, las alucinaciones visuales ocurren cuando el sistema recibe una imagen real y genera una descripción que no corresponde a su contenido. El modelo no dice «no sé»; dice algo concreto, detallado y completamente incorrecto.
👥 ¿Quieres ir más allá de la noticia?
En nuestra comunidad discutimos las tendencias, compartimos oportunidades y nos ayudamos entre emprendedores. Sin humo, solo acción.
👥 Unirme a la comunidadEl fenómeno tiene un nombre técnico en investigación: «Ilusion-Ilusion», un framework de evaluación desarrollado para medir cuándo los modelos confunden patrones no-ilusorios con ilusiones reales. Los resultados mostraron que GPT-4, Claude 3 y Gemini Pro tienen altos porcentajes de acierto con ilusiones ópticas estándar, pero fallan de forma significativa cuando se les presentan imágenes de control: el modelo «ve» ilusiones donde no existen.
La causa raíz está en la arquitectura. Los modelos multimodales procesan imágenes convirtiéndolas en representaciones vectoriales mediante encoders visuales (como CLIP de OpenAI) que luego se fusionan con el espacio de lenguaje del transformer. El problema es que este proceso no produce «comprensión visual» —produce asociaciones estadísticas entre patrones visuales y descripciones textuales vistas durante el entrenamiento. Si el modelo vio miles de radiografías de tórax etiquetadas con «nódulo pulmonar», tenderá a asociar ciertos patrones de densidad con esa descripción, aunque el nódulo no esté ahí.
El caso médico: cuando alucinar tiene consecuencias legales
El sector donde las consecuencias son más graves es la medicina. Investigadores han documentado escenarios en los que modelos de visión artificial usados para apoyar diagnóstico radiológico identifican patologías inexistentes en tomografías y resonancias magnéticas. En radiología, un falso positivo no es solo un error estadístico: puede derivar en una biopsia innecesaria, tratamiento oncológico injustificado o, en el peor caso, en la omisión de la búsqueda del diagnóstico real.
La FDA de Estados Unidos ya cuenta con un marco de supervisión para software médico con IA (Software as a Medical Device, SaMD), y el EU AI Act clasifica los sistemas de IA en diagnóstico médico como «alto riesgo», exigiendo documentación técnica exhaustiva, trazabilidad de decisiones y supervisión humana continua. El problema es que la regulación exige supervisión humana, pero si el médico confía en la IA como segunda opinión autorizada, el sesgo de automatización puede hacer que valide el error sin cuestionarlo.
Este es el riesgo silencioso que los fabricantes de herramientas médicas con IA raramente mencionan en sus demos de producto.
¿Qué modelos tienen este problema y en qué medida?
Prácticamente todos los grandes modelos multimodales actuales presentan algún grado de alucinación visual, aunque con diferencias de intensidad:
- GPT-4o (OpenAI): alto rendimiento en tareas visuales estándar, pero susceptible a alucinaciones en imágenes con bajo contraste o alta ambigüedad semántica.
- Gemini 2.0 Pro (Google): considerado actualmente el modelo multimodal más capaz, con mejoras en razonamiento visual y contexto largo, pero el benchmark «Ilusion-Ilusion» muestra que la mejora en rendimiento no elimina las alucinaciones de fondo.
- Claude 3 (Anthropic): presenta patrones similares; su arquitectura conservadora reduce las alucinaciones de texto, pero no resuelve la desconexión entre encoder visual y espacio semántico.
- Modelos open source (Qwen2.5-VL, GLM-4.5V): competitivos en benchmarks de comprensión visual, pero con menos inversión en técnicas de mitigación de alucinaciones que los modelos propietarios.
La diferencia entre modelos no es «este alucina y este no»: es una cuestión de frecuencia y contexto. Todos fallan; la pregunta es cuándo y bajo qué condiciones.
¿Por qué los parches actuales no son suficientes?
La industria lleva al menos dos años intentando mitigar este problema con varias técnicas:
- RLHF visual (aprendizaje por refuerzo con feedback humano): mejora la calibración del modelo para decir «no sé» con más frecuencia, pero no elimina las alucinaciones —las reduce.
- Visual grounding: técnicas que obligan al modelo a anclar sus descripciones a regiones específicas de la imagen (bounding boxes). Reduce alucinaciones espaciales pero no semánticas.
- RAG visual (Retrieval-Augmented Generation con imágenes): busca imágenes de referencia antes de responder. Útil para casos con bases de conocimiento estructuradas (como radiología), pero computacionalmente costoso y dependiente de la calidad de la base de datos de referencia.
El problema de fondo, según investigadores del campo, es arquitectónico: los encoders visuales actuales no representan el mundo visual con la misma riqueza semántica que el componente de lenguaje. Hay una asimetría estructural entre cómo el modelo «entiende» texto y cómo «procesa» imágenes. Mientras esa brecha exista, las alucinaciones multimodales serán un límite del sistema, no un bug que se pueda parchear.
Sectores críticos más expuestos en el ecosistema startup
Si estás construyendo en alguno de estos verticales, el riesgo de alucinaciones visuales debe ser parte de tu arquitectura de producto desde el día uno:
- HealthTech / MedTech: diagnóstico asistido por imagen, análisis de histopatología, triaje en urgencias. La combinación de sesgo de automatización y alucinaciones visuales es el escenario de mayor riesgo legal y reputacional.
- Manufactura y control de calidad: detección de defectos en líneas de producción. Un falso negativo (no detectar el defecto real) o falso positivo (detener la línea por un defecto inexistente) tiene coste operativo directo.
- Legal y compliance: análisis de documentos con imágenes, contratos escaneados, evidencia fotográfica. Un modelo que «ve» firmas o sellos inexistentes puede comprometer procesos legales.
- Seguridad y vigilancia: sistemas de reconocimiento en entornos críticos donde una identificación incorrecta tiene consecuencias graves.
Qué significa esto para tu startup
Si usas modelos multimodales en tu producto, aquí van acciones concretas que puedes implementar ahora mismo:
- Implementa capas de verificación humana obligatoria para cualquier output visual que afecte decisiones críticas. No lo dejes como opción —hazlo parte del flujo de usuario. Esto también te protege legalmente bajo el EU AI Act y las directrices FDA para SaMD.
- Evalúa tu modelo con imágenes de control negativo: imágenes que deliberadamente no contienen lo que el modelo debería detectar. Si tu sistema de detección de fracturas devuelve positivos sobre radiografías sanas, tienes un problema de producto antes de salir al mercado.
- Documenta y comunica los límites del sistema a tus clientes institucionales (hospitales, fabricantes, aseguradoras). La transparencia sobre los límites de la IA no destruye la venta —genera confianza a largo plazo y reduce tu exposición legal.
- Considera arquitecturas de ensemble: combinar dos o más modelos multimodales distintos y requerir consenso antes de emitir un diagnóstico o clasificación. Si GPT-4o y Gemini discrepan sobre una imagen, ese es exactamente el momento en que un humano debe intervenir.
- Monitorea producción activamente: implementa pipelines de detección de deriva (data drift) específicamente para inputs visuales. Las alucinaciones aumentan cuando la distribución de imágenes en producción difiere de la del entrenamiento.
El riesgo real no es que la IA sea imperfecta —todos lo saben. El riesgo es construir un producto asumiendo que el modelo «ve» lo que tú ves. No lo hace. Y en sectores críticos, esa diferencia tiene nombre en el boletín oficial.
El dilema de incentivos que nadie quiere nombrar
Hay una razón por la que las alucinaciones multimodales son «el problema que nadie quiere resolver»: los incentivos de los grandes laboratorios no están alineados con la eliminación total del fenómeno. Los benchmarks públicos miden rendimiento promedio en tareas estándar —no tasas de fallo en casos extremos. Un modelo que alucina el 2% de las veces puede obtener un 98% en el benchmark y recibir cobertura mediática entusiasta.
Los laboratorios compiten en velocidad de lanzamiento, no en garantías de fiabilidad. Y mientras los compradores institucionales no exijan SLAs de fiabilidad visual con penalizaciones reales, el incentivo para resolver el problema de raíz seguirá siendo débil.
Para founders que construyen sobre APIs de terceros, esto tiene una implicación directa: no puedes externalizar la responsabilidad de los errores a tu proveedor de modelo. Tu usuario no lee los términos de servicio de OpenAI. Tu usuario lee el nombre de tu producto en el informe que le entregaste.
Fuentes
- https://wwwhatsnew.com/2026/04/13/ia-visual-alucinaciones-imagenes-inexistentes-modelos-multimodal/ (fuente original)
- https://www.muycomputer.com/?p=385553 — La inteligencia artificial también tiene alucinaciones visuales (MuyComputer, agosto 2025)
- https://www.elladodelmal.com/2025/08/las-ilusiones-de-las-ilusiones-que.html — Las ilusiones de las ilusiones que generan alucinaciones en los modelos de IA (El lado del mal, agosto 2025)
- https://www.siliconflow.com/articles/es/best-open-source-multimodal-models-2025 — Los mejores modelos multimodales open source en 2026 (SiliconFlow)
👥 ¿Quieres ir más allá de la noticia?
En nuestra comunidad discutimos las tendencias, compartimos oportunidades y nos ayudamos entre emprendedores. Sin humo, solo acción.
👥 Unirme a la comunidad
