Un modelo que pasa todos los tests puede fallar en producción
Entre el 46% y el 54% de los proyectos de IA no llegan a producción. Es el rango que EltexSoft calculó en noviembre de 2026 después de rastrear cinco estudios primarios publicados entre 2024 y 2026 y descartar las cifras del 80% y el 95% que circulan sin fuente verificable. Para un founder con un modelo ya entrenado, el dato cambia la pregunta: el riesgo no está en la arquitectura, está en lo que se verifica antes de desplegar.
Karmendra Pandey, Practice Architect en AI & ML, describe el patrón en VentureBeat con una analogía incómoda: la mayoría de los modelos se evalúan como un estudiante que estudia para el examen, con material limpio y conocido y en condiciones cómodas. Después egresan a producción, donde las entradas son desordenadas, las etiquetas se mueven y nadie califica con curva.
El resultado es el modo de falla más común del ML aplicado: un modelo que parecía excelente en el laboratorio y se degrada en silencio, sin que nadie lo note hasta que un cliente lo reporta.
Leíste lo que hace la IA. ¿Y en tu negocio?
Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →¿Por qué un modelo que aprueba la evaluación falla en producción?
Hay dos causas que explican la mayoría de los casos, y ninguna tiene que ver con el algoritmo.
La primera es la fuga de datos. Un set de evaluación que no es realmente independiente del entrenamiento produce métricas infladas. La fuga entra por duplicados, casi duplicados, solapamiento temporal —entrenar con datos posteriores al período de prueba— o por ajustar el preprocesamiento sobre el dataset completo antes de hacer el split. Pandey propone una prueba simple antes de cualquier decisión de despliegue: pedir la auditoría de fuga y exigir tres respuestas en un párrafo. Cómo se construyó el set de evaluación, cuál es la frontera temporal entre entrenamiento y evaluación, y qué fracción de los ejemplos de evaluación son casi duplicados de los de entrenamiento. Si nadie puede responder eso, no hay set de evaluación: hay una esperanza.
La segunda es el promedio. Una precisión agregada del 94% puede esconder un 61% en el segmento que genera ingresos, en los datos más nuevos o en una cohorte específica de clientes. Los incidentes en producción casi siempre viven en un segmento, no en el promedio.
Los 6 controles antes de desplegar un modelo de ML
Pandey los plantea como una lista de verificación en lenguaje llano. Conviene leerlos como puertas de release, no como buenas intenciones.
- Evaluar sobre datos que el modelo nunca vio, de verdad. El control más básico y el más falsificado. Antes de aprobar un despliegue, exige la auditoría de fuga descrita arriba.
- Cortar las métricas por segmento, no promediarlas. El rendimiento debe desglosarse por período de tiempo, por fuente de entrada, por segmento de cliente y por cualquier dimensión que le importe al negocio. Si un segmento relevante se degrada mientras el agregado se mantiene estable, el release espera.
- Verificar que los scores de confianza signifiquen algo. La mayoría de los sistemas no usan solo la predicción: usan la confianza para derivar casos dudosos a humanos o a lógica de respaldo. Eso funciona únicamente si la confianza está calibrada —cuando el modelo dice 90%, debería acertar cerca del 90% de las veces—. La descalibración es la norma, no la excepción, sobre todo después de un fine-tuning o de un cambio de distribución. El chequeo es barato: un diagrama de confiabilidad o el error de calibración esperado sobre datos recientes parecidos a los de producción.
- Sondear los bordes a propósito. Los sets de evaluación reflejan el pasado; producción sirve el presente, con jerga nueva, categorías de producto nuevas, basura de OCR y casos límite legítimos que parecen adversarios. Una suite corta y deliberadamente hostil —unos cientos de ejemplos armados por quienes saben dónde se rompe el sistema— atrapa fallas que diez mil ejemplos aleatorios no ven. Y debe ser un artefacto vivo: cada incidente de producción se destila en nuevos casos límite para que la misma falla no vuelva a desplegarse.
- Planificar el drift desde el día uno. El mundo cambia debajo de cada modelo desplegado: el comportamiento de los usuarios se mueve, los pipelines de datos aguas arriba cambian, las estaciones giran. Un modelo validado hoy es un modelo validado para hoy. El chequeo previo no es solo si funciona ahora, sino si nos vamos a enterar cuando deje de funcionar. Hay que definir las métricas de drift —distribución de entrada, distribución de predicción, KPI de negocio—, fijar umbrales de alerta y asignar un responsable. Sin plan de drift no hay despliegue: un modelo sin monitoreo es un pasivo con número de versión.
- Desplegar detrás de una puerta, no de un precipicio. Primero modo sombra —el modelo nuevo puntúa tráfico real sin afectar decisiones—, después un canary sobre una porción pequeña del tráfico con rollback automático ante regresión de métricas. La ruta de rollback tiene que ser un procedimiento probado, no una esperanza: Pandey cuenta que vio equipos descubrir a mitad de un incidente que su rollback instantáneo tardaba 40 minutos y tres aprobaciones.
¿Qué dicen los datos sobre los proyectos de IA que no llegan a producción?
El rango del 46% al 54% no es una cifra suelta. Según el rastreo de EltexSoft, una encuesta de Gartner a 644 responsables en Estados Unidos, Alemania y Reino Unido encontró que, en promedio, solo el 48% de los proyectos de IA llegan a producción. S&P Global (451 Research) encuestó a 1.006 profesionales de TI y negocio entre octubre y noviembre de 2024 y reportó que las organizaciones descartan en promedio el 46% de los proyectos entre la prueba de concepto y la adopción amplia. IDC, en el CIO Playbook 2026 de Lenovo con 3.120 decisores, encontró que el 46% de las pruebas de concepto ya habían pasado a producción. Y en enero de 2026 Gartner escribió que, para fines del año anterior, al menos el 50% de los proyectos de IA generativa se abandonaban después de la prueba de concepto.
El detalle más útil para un equipo chico aparece en otra encuesta de Gartner: de 2.002 CIOs y ejecutivos de tecnología consultados en 2026, solo el 31% tenía guías para decidir cuándo un piloto no debe pasar a producción. La mayoría no tiene una regla de frenado.
Y no es que la IA no genere valor. En una encuesta de Gartner a 782 líderes de infraestructura y operaciones a fines de 2025, el 28% de los casos de uso de IA triunfaron por completo y cumplieron las expectativas de ROI, mientras que el 20% falló de plano. El 52% restante quedó en el medio: funcionando, pero por debajo de lo prometido.
El mercado se mueve en la misma dirección. El mercado global de plataformas MLOps y LLMOps pasó de USD 6.100 millones en 2025 a una estimación de USD 7.990 millones en 2026, y proyecta USD 52.290 millones para 2036 con un CAGR del 20,7%, según el informe de ResearchAndMarkets difundido por Yahoo Finance en noviembre de 2026. El mismo informe cita que Databricks reportó un revenue run-rate superior a USD 7.000 millones en agosto de 2026, y señala que la gobernanza de IA y la evaluación y testing son los segmentos de crecimiento más rápido.
¿Qué significa esto para tu startup?
Si tienes un modelo en producción o a punto de estarlo, la lección no es contratar un equipo entero de MLOps. Es que seis verificaciones concretas pueden hacerse con el equipo que ya tienes.
- Convierte los seis controles en puertas de tu pipeline, no en una página de wiki. Pandey es explícito: la auditoría de fuga y las métricas por segmento corren en CI sobre cada modelo candidato; la calibración y la suite de casos límite bloquean la promoción; los tableros de drift y el análisis de canary cuidan el rollout. La versión de una página —seis puertas, cada una con un responsable y un criterio de pasa o no pasa— es lo que hace la diferencia.
- Nombra un dueño por puerta y escribe el criterio de frenado. Si solo el 31% de los CIOs encuestados por Gartner tiene una regla para detener un piloto, tenerla ya te pone por delante. Define hoy qué métrica, en qué segmento y con qué umbral hace que un despliegue se detenga.
- Prueba tu rollback antes de necesitarlo. Cronometra cuánto tarda de verdad, cuántas aprobaciones requiere y quién puede ejecutarlo a las 3 de la mañana. Un rollback no probado es un plan de contingencia imaginario.
- Empieza el monitoreo de drift el mismo día del lanzamiento. Help Net Security describe las cuatro fases de seguridad de un modelo —release, deploy, operate y monitor— y ubica la detección de drift y decay como una función continua, no como una tarea de una sola vez. Un modelo sin observabilidad no se degrada de golpe: se degrada sin que lo sepas.
Conclusión
Validar antes de desplegar no es investigación: es disciplina de ingeniería aplicada a sistemas que aprenden. Los equipos que la tratan así lanzan modelos que sobreviven al contacto con producción. Los que la saltean terminan depurando en producción, a las 3 de la mañana y con clientes mirando.
La buena noticia para una startup es que la mitad de los proyectos que no llegan a producción no se pierde por falta de modelos sofisticados. Se pierde por controles que cualquiera puede implementar esta semana.
Fuentes
- VentureBeat: Your ML model passed every test. Here’s what those tests might have missed
- EltexSoft: What Percentage of AI Projects Fail?
- Yahoo Finance: MLOps & LLMOps Platforms Market Size, Share, and Industry Analysis
- Help Net Security: A CISO’s guide to securing AI models
Leíste lo que hace la IA. ¿Y en tu negocio?
Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →













