Databricks: adoptar agentes de IA no es demostrar su ROI

Por qué «más rápido» es la métrica equivocada para los agentes de IA

Amber Roberts, Staff Technical Marketing Manager de Databricks, lleva años observando cómo se usa realmente la IA dentro de las organizaciones, no cómo se promociona. Su conclusión incomoda a cualquiera que haya defendido un piloto con la frase «ahora lo hacemos en la mitad del tiempo»: la velocidad no es un KPI universal.

«La productividad está vinculada a los KPI reales de cada equipo, y eso cambia según el puesto», dice Roberts. Para un equipo de desarrollo, velocidad significa tiempo de desarrollo; para un equipo que corre modelos en producción, significa latencia de inferencia. Son cosas distintas con el mismo nombre, y medirlas con la misma vara es un problema de gestión antes que de tecnología.

El matiz que más pesa en una startup pequeña es otro: quien está aprendiendo un dominio desde cero usa la IA de una forma muy distinta a quien ya sabe exactamente qué quiere construir y solo busca automatizar las partes tediosas. Roberts desconfía, de hecho, de los titulares tajantes que prometen el KPI definitivo. No existe.

La brecha del ROI: quien compra la IA no es quien la usa

Roberts identifica una causa estructural de que el ROI sea tan difícil de demostrar: los compradores de IA y quienes la usan todos los días suelen ser personas distintas. El comprador no quiere quedarse atrás, y su trabajo depende de mantenerse a la vanguardia tecnológica aunque no sea él quien implemente nada. Firma el contrato. Y recién entre seis meses y unos pocos años después se sabe si la inversión valió la pena.

Ese momento de revisión es el que atraviesan hoy muchas organizaciones, y los números lo confirman. En la quinta encuesta anual de Domino Data Lab a 639 líderes de IA empresarial de Norteamérica, Reino Unido y Europa, el 57% reportó que su ROI crece al mismo ritmo que la inversión o más lento, un porcentaje sin cambios respecto de 2025, según recogió diginomica. En la misma línea, un informe de 2025 de la iniciativa NANDA del MIT, citado por SiliconANGLE, encontró que el 95% de los pilotos de IA generativa en empresas no produjeron impacto medible en su cuenta de resultados.

La adopción, en cambio, sigue acelerando. El Agentic Enterprise Index 2026 de Salesforce, reportado por ZDNET, muestra que el número promedio de agentes activados por organización pasó de 5, en febrero de 2025, a 13, en abril de 2026, y que el tiempo para poner un agente nuevo en producción cayó 53%, de 4 días a 1,9 días.

La brecha, entonces, no es de adopción: es de preparación. La encuesta de Deloitte de agosto de 2026 a más de 500 líderes empresariales y de TI en Estados Unidos lo deja claro: solo el 5% considera que sus procesos están altamente preparados para agentes de IA, y apenas el 15% escaló una adopción multiagente orquestada. En paralelo, un contenido producido por MIT Technology Review junto a NiCE señala que la IA agéntica ya fue adoptada por alrededor del 80% de las empresas del Fortune 500, aunque el avance hacia una escala real sigue siendo desigual.

¿Qué significa realmente que un agente «entienda el contexto»?

Roberts lo explica con una analogía simple: si le pides a un asistente humano que organice un evento sin lista de invitados, sin inventario y sin registro de qué funcionó la última vez, no puede hacer bien su trabajo. Con los agentes pasa exactamente lo mismo.

«Se pueden encontrar muchas demostraciones atractivas del estilo “así se construye esto”, con instrucciones genéricas realmente buenas», plantea. Pero una herramienta genérica te explica cómo funcionan las ampliaciones de casas en general: no conoce tu código postal, tus códigos de construcción locales ni las ordenanzas de tu ciudad. Ese es el problema exacto de usar un agente sin el contexto de tu negocio.

Un ejemplo concreto que Roberts relata: al reemplazar a un compañero que gestionaba las confirmaciones de ponentes antes de una conferencia, configuró un agente para escribirles a todos, registrar sus respuestas y señalar quiénes no habían confirmado, y un segundo agente para hacer seguimiento de los pendientes. Cuando volvió a revisar, los 137 ponentes habían sido contactados y confirmados, salvo dos que estaban de baja parental. Ese tipo de tarea repetible y transversal —no un flujo único y exótico— es el que hoy da resultados, y Roberts menciona herramientas como Genie Spaces, que permiten a alguien sin perfil de ingeniero escribir una pregunta en lenguaje natural y obtener documentación y contexto, incluido quién más en la organización ya trabaja en el mismo problema.

El contexto dejó de ser un detalle de configuración. Según diginomica, el CEO de la sueca Orient, Mikael Larsson, sostiene que la desalineación es «quizás la partida más costosa que nadie rastrea», y argumenta que el problema se agranda porque la información ahora viaja de humano a IA, de IA a humano y de agente a agente: cada salto agrega una oportunidad de interpretación distinta.

¿Con qué métricas se mide un agente de IA en producción?

Roberts no propone tirar los indicadores clásicos. Al contrario: «los ingenieros no se van a convencer de que algo funciona a menos que vean mejorar sus métricas actuales». La tarea que antes llevaba una hora y ahora lleva cinco minutos sigue siendo el argumento que convence a la mayoría.

Lo que cambia es lo que se agrega encima:

• Horas ahorradas y tickets resueltos siguen vigentes como medida de adopción, con el humano dentro del proceso.
• Calidad: la productividad presupone que no se sacrificó la calidad para lograrla. Si una empresa afirma ser un 40% más eficiente, eso solo tiene sentido si la calidad se mantuvo constante. Cuando el volumen sube y nadie revisa los detalles que hacen bueno a un entregable, la calidad tiende a caer.
• Un modelo de lenguaje (LLM) externo que actúe como juez, evaluado contra los criterios que tú definas: corrección, alucinaciones, tono y detección automática de casos límite o anomalías, en lugar de revisar cada respuesta a mano.

El error más común: escalar antes de que el proceso funcione

«El mayor error es intentar escalar algo antes de que funcione bien. Unos pocos ejemplos salen bien, la gente se entusiasma y el instinto es “escalemos esto”», dice Roberts. Y agrega el diagnóstico que más se repite: muchas veces lo que parece un problema de escalamiento es en realidad un problema de preparación. Se necesitó mucha iteración solo para que una instancia funcionara bien, y eso se pasa por alto.

El otro cuello de botella es la infraestructura. Las demos de las startups más pequeñas pueden verse impecables, pero sin la infraestructura que las sostenga no hay nada sobre lo cual escalar.

A eso se suma una factura que casi nadie presupuesta. Gaurav Chawla, fellow y CTO de Dell Technologies, escribió en SiliconANGLE que la arquitectura de datos es el problema de ROI que nadie incluyó en el presupuesto: los costos de mover, reconciliar y gobernar datos suelen aparecer entre 12 y 24 meses después de comprar la plataforma, cuando los contratos ya están firmados y las métricas iniciales ya se reportaron hacia arriba.

Qué significa esto para tu startup

La buena noticia es que estas reglas se pueden aplicar sin un presupuesto corporativo. Cuatro movimientos concretos:

• Define el resultado antes de elegir la herramienta. Antes de comprar o construir un agente, escribe en una frase qué acción concreta quieres que ejecute y qué decisión debe mejorar. La pregunta que Roberts pone por delante de cualquier palabra de moda es sencilla: ¿qué quieres que ocurra exactamente? Si no puedes responderla, todavía no tienes un caso de uso, tienes una curiosidad.
• Audita qué contexto tiene hoy tu agente. Lista la información que un humano necesita para hacer esa tarea bien —historial del cliente, políticas de precios, decisiones pasadas, excepciones— y verifica cuánto de eso está realmente accesible. Lo que falte es lo primero a construir, antes de sumar otro modelo.
• Mide lo viejo y lo nuevo a la vez. Conserva la métrica que ya usabas (horas, tickets, tiempo de respuesta) y súmale una de calidad. Aunque sea manual al principio: revisa 20 salidas del agente contra criterios explícitos de corrección y tono. Ese ejercicio te dice más sobre si funciona que cualquier demo.
• Ten un caso estable antes de escalar. Un piloto que salió bien dos veces no es un sistema. Documenta la iteración que necesitaste para que la versión uno funcionara: esa documentación es el activo real cuando quieras replicarlo en otro flujo del negocio.

Hay una consideración de talento que conviene tener presente. Si tu equipo va a trabajar con agentes que suenan seguros de sí mismos incluso cuando se equivocan, el criterio propio se vuelve más valioso, no menos. Roberts lo dice sin rodeos: el modo predeterminado de la IA es ser complaciente, y dirá que sí a casi cualquier cosa. El pensamiento crítico —debatir, cuestionar, decir que algo no es correcto— importa más ahora que antes.

Conclusión

La IA agéntica no vuelve obsoletas las mediciones de productividad de los últimos 20 años: las vuelve incompletas. Las horas ahorradas indican qué se volvió más rápido, no qué mejoró. Las organizaciones que están capturando valor real comparten un patrón: le dan al agente el contexto del negocio, mantienen a un humano aplicando criterio dentro del proceso y son honestas sobre cuándo algo está listo para escalar y cuándo solo se ve bien en una demostración.

Para una startup, esa honestidad no es un lujo metodológico. Es la diferencia entre automatizar de verdad y solo correr más rápido en la dirección equivocada.

Fuentes

• Databricks: Todos están adoptando agentes de IA. Casi nadie puede demostrar el ROI (fuente original)
• ZDNET: Business adoption of AI agents tripled this year
• Yahoo Finance / PR Newswire: Deloitte Survey Examines the AI Readiness Gap
• diginomica: AI production continues to outstrip enterprise ROI
• SiliconANGLE: The hidden tax on enterprise AI
• MIT Technology Review: Scaling agentic AI pilots across the enterprise
• diginomica: why agents must understand context