IA multimodal: qué puede hacer con fotos, audio y vídeo

Qué significa que una IA sea multimodal (y qué no)

Un modelo multimodal es una IA que acepta como entrada algo más que texto —imágenes, audio, vídeo o documentos— y responde sobre ese contenido. La diferencia práctica es enorme: antes necesitabas un programa para leer el texto de una foto, otro para transcribir audio y otro para etiquetar objetos. Ahora le pasas el archivo al chatbot y le preguntas en lenguaje natural.

Google lo describe en su documentación de comprensión de imágenes como modelos multimodales desde su diseño, capaces de describir imágenes, clasificarlas o responder preguntas sobre ellas sin entrenar un sistema especializado para cada tarea.

Conviene deshacer una confusión habitual: entender una imagen no es lo mismo que crearla. Claude, por ejemplo, solo interpreta imágenes. Su guía de visión aclara que no puede generar, editar ni manipular imágenes. Lo multimodal se refiere a lo que el modelo puede leer; lo que puede producir depende de cada producto.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Y hay un detalle que cambia la forma de trabajar: todo lo que entra cuesta. Las imágenes, el audio y el vídeo se convierten en unidades de cómputo igual que el texto. En Gemini, una imagen pequeña equivale a 258 tokens y un minuto de audio a 1.920 tokens. Por eso un vídeo largo llena enseguida lo que el modelo puede retener, el mismo motivo por el que la IA «se olvida» de lo que le dijiste al principio de una conversación larga.

Qué acepta cada modelo: imágenes, audio y vídeo

Los límites cambian con cada versión, así que lo que sigue es una foto a octubre de 2026 de la documentación para desarrolladores de cada empresa. En las aplicaciones de consumo los topes suelen ser más bajos.

Imágenes. Las tres compañías las admiten.

OpenAI acepta PNG, JPEG, WEBP y GIF no animado, con hasta 1.500 imágenes y 512 MB por petición en su API, según su guía de imágenes y visión.
Google añade los formatos HEIC y HEIF y admite hasta 3.600 imágenes por petición.
Anthropic admite JPEG, PNG, GIF y WebP. En claude.ai el límite es de 20 imágenes por mensaje y 10 MB por imagen, con un máximo de 8.000 × 8.000 píxeles.

Audio. La documentación de audio de Gemini es la más detallada: hasta 9,5 horas de audio por petición, con capacidad para transcribir, traducir, poner marcas de tiempo y distinguir quién habla. También reconoce sonidos que no son voz, como pájaros o sirenas. Un detalle técnico con consecuencias: el audio se reduce a 16 kbps, así que la calidad de la grabación original importa menos de lo que parece, pero el ruido de fondo sigue ahí.

Vídeo. Según la guía de vídeo de Gemini, los modelos con ventana de un millón de tokens procesan vídeos de hasta 3 horas en resolución baja o 1 hora en alta, y aceptan enlaces públicos de YouTube. En la guía de visión de Anthropic consultada para este artículo no hay entrada de vídeo ni de audio para Claude.

Los usos que más rinden en el día a día son poco espectaculares: leer y resumir un documento fotografiado, extraer los datos de un tique, describir un gráfico, transcribir una reunión grabada o localizar en qué minuto de un vídeo se habla de un tema.

Dónde se equivoca: contar, leer letra pequeña y situar cosas

En las tareas visuales sencillas para una persona —contar objetos pequeños, leer texto diminuto o saber qué está a la izquierda de qué— los modelos fallan. Lo dicen las propias empresas.

La guía de visión de OpenAI enumera sus límites: los recuentos de objetos son aproximados, el texto pequeño hay que ampliarlo, el texto girado o al revés se malinterpreta, los gráficos con líneas discontinuas o colores variables le cuestan, las imágenes panorámicas y de ojo de pez le dan problemas y rinde peor con alfabetos no latinos como el japonés o el coreano.

Anthropic coincide en lo esencial: Claude da recuentos aproximados, sobre todo con muchos objetos pequeños, se equivoca más con imágenes de baja calidad, giradas o de menos de 200 píxeles, y sus coordenadas son aproximadas.

Hay investigación independiente que apunta en la misma dirección. El estudio Vision language models are blind, publicado en julio de 2024 y revisado en marzo de 2025, planteó siete pruebas triviales para una persona, como decir si dos círculos se tocan o cuántas veces se cruzan dos líneas. Los cuatro modelos punteros de entonces acertaron de media un 58,07 %; el mejor llegó al 77,84 %. Los autores comprobaron que la información visual estaba en el sistema, pero el modelo no conseguía traducirla en una respuesta correcta. Los modelos han cambiado desde entonces; que las documentaciones de 2026 sigan avisando de lo mismo sugiere que el problema de fondo no está resuelto.

Tres límites que casi nadie menciona

Diagnóstico médico. Tanto OpenAI como Anthropic advierten que sus modelos no sirven para interpretar escáneres especializados como un TAC.
Detectar imágenes falsas. Anthropic avisa de que Claude no puede saber si una imagen está generada por IA y puede equivocarse si se lo preguntas.
Vídeo rápido. Gemini analiza por defecto un fotograma por segundo, y Google reconoce que en escenas de acción rápida se pierde detalle.

Para vídeos largos, Gemini ofrece un modo en el que el modelo navega por la transcripción y carga solo los fragmentos que necesita, con hasta un 88 % menos de tokens según Google. Funciona con razonamiento interno, la misma lógica de los modelos de razonamiento: en clips cortos puede tardar más y gastar más.

¿Qué significa esto para tu startup?

La adopción ya no es una apuesta. Según datos recogidos por Slack y publicados por Cadena SER, el 44,2 % de la población trabajadora utiliza herramientas de IA generativa y más del 21 % de las empresas de más de diez empleados ya emplea alguna tecnología de inteligencia artificial. La pregunta dejó de ser «¿lo usamos?» y pasó a ser «¿dónde lo ponemos en producción y con qué control?».

El ecosistema se está moviendo en dos direcciones que te afectan directamente. Por un lado, los modelos abiertos y pequeños ya traen visión: Liquid AI presentó LFM3, una familia de seis modelos multimodales de clase 2B, donde el modelo de visión acepta vídeo muestreado a 2 fotogramas por segundo y corre en aproximadamente 1 GB de memoria en cuantización de 4 bits, según MarktechPost. Por el otro, los modelos grandes se especializan en documentos: NVIDIA lanzó Nemotron 3.5 Super VL el 15 de octubre de 2026, un modelo abierto de 120.000 millones de parámetros orientado a OCR, tablas, gráficos y PDFs, y reporta que Ramp lo usa para convertir imágenes de recibos en JSON estructurado, con expectativas de hasta 50 % más de rendimiento y 10 veces menos latencia.

Ahí está tu caso de uso rentable: no la demo vistosa, sino el documento aburrido que hoy alguien teclea a mano.

Acciones concretas para implementarlo sin quemarte:

Diseña un paso de validación humana proporcional al riesgo. La regla que da la propia documentación es útil: cuanto más dependa la respuesta de un detalle pequeño, de una cifra exacta o de dónde está cada cosa, más motivos para comprobarla. Extraer el total de una factura fotografiada y cuadrarlo contra el ERP es un flujo sano; confiar en el conteo de ítems de un inventario fotografiado, no.
Calcula el costo antes de escalar. Con 258 tokens por imagen pequeña y 1.920 por minuto de audio en Gemini, un proceso que sube 5.000 tiques diarios o transcribe reuniones de una hora consume contexto y presupuesto rápido. Si el volumen es alto y el formato es fijo, un modelo abierto pequeño en tu propia infraestructura puede salir más barato que la API.
Separa «leer» de «decidir». Usa multimodal para describir, resumir, transcribir y extraer. No lo pongas a decidir sobre salud, a autenticar imágenes ni a resolver tareas de conteo o posicionamiento espacial sin revisión.

El punto ciego más caro no es la alucinación evidente, sino la fluidez. Una respuesta segura sobre una foto suena igual de convincente cuando acierta que cuando cuenta mal. Si tu producto muestra esa respuesta al usuario final sin una capa de verificación, estás trasladando el error al cliente.