El 81% de las empresas corre sus GPUs a medio gas
VentureBeat Intelligence encuestó a 102 responsables de infraestructura en organizaciones de más de 100 empleados. De los 68 que corren IA en producción y dieron una cifra concreta de utilización, 55 —el 81%— reportó un uso promedio de sus GPUs del 50% o menos. Y no piensan apagarlas: el 71% de ese grupo planea adoptar una plataforma de infraestructura de IA nueva, adicional o de reemplazo en los próximos 12 meses.
El dato choca de frente con el discurso que Nvidia instaló esta semana. En su keynote del 21 de octubre en GTC Berlin, el CEO Jensen Huang fue explícito: «Para ser parte de esta economía de la IA, no quieres solo consumir IA; quieres producirla».
Para un founder, la traducción es incómoda: te venden capacidad de producción mientras tu planta actual trabaja a media máquina.
Leíste lo que hace la IA. ¿Y en tu negocio?
En CAR, dueños de empresa arman en 7 días su primer sistema funcionando: que ningún cliente se les escape, o que el informe del lunes salga solo. Con otros emprendedores al lado.
👥 Probar 7 díasNvidia pone precio a la fábrica de IA: US$50.000 millones por gigavatio
Huang no habló en abstracto. Según Yahoo Finance, en el mismo keynote puso cifras a la infraestructura: una instalación de 1 gigavatio cuesta alrededor de US$50.000 millones y puede generar cerca de US$40.000 millones de ingresos anuales. De ahí su advertencia: un retraso de tres meses en la puesta en marcha equivale a unos US$10.000 millones de ingresos postergados.
La respuesta de producto fue DSX POD, un sistema que traslada ensamblaje y pruebas desde la obra hacia la cadena de suministro. Nvidia afirma que puede reducir el tiempo de despliegue en un sitio preparado de seis meses a tan solo 14 días, y que las unidades estarán disponibles a comienzos de 2027. El objetivo declarado es reducir el cómputo ocioso: «El cómputo inactivo desperdiciado, el capex inactivo desperdiciado, se reduce, y todos se vuelven más rentables», dijo Huang.
Su frase más útil para quien decide compras no fue sobre chips: «Los grandes chips por sí solos no hacen una gran fábrica de IA».
El hueco de evidencia: casi nadie tiene un ROI firmado por finanzas
Acá está el dato que debería frenar cualquier compra impulsiva. De los 102 encuestados, el 63% planeaba una plataforma nueva, adicional o de reemplazo dentro de un año. Pero solo el 10% tenía una cifra de ROI de infraestructura revisada y aprobada por finanzas. Entre quienes planeaban adoptar, el 91% carecía de esa cifra; entre quienes no pensaban cambiar nada, el 89% tampoco la tenía. La diferencia entre ambos grupos no es estadísticamente significativa.
Dicho de otro modo: las empresas están decidiendo su próxima plataforma antes de que finanzas haya validado el retorno de la actual. Y la actual no les parece mala: entre quienes tienen su plataforma principal en producción, la satisfacción promedio fue de 4,0 sobre 5,0, la facilidad de implementación 3,9 y la relación precio-valor 3,6.
Una plataforma puede funcionar bien y aun así dejar sin responder la pregunta difícil: ¿el trabajo que habilita vale su costo total?
¿Por qué la integración pesa más que la potencia bruta?
Los encuestados de septiembre ordenaron sus criterios de compra así: integración con la nube y el stack de datos existente (48%), rendimiento (42%) y disponibilidad de GPU (35%). La diferencia entre integración y rendimiento no fue estadísticamente significativa, lo que sugiere que la potencia ya no es el único eje de la decisión.
Hay una señal más fina: el costo por millón de tokens como factor de compra pasó del 11% en agosto al 23% en septiembre, un salto estadísticamente significativo. El comprador dejó de mirar solo cuánto corre y empezó a mirar cuánto cuesta cada unidad de trabajo.
La brecha de prioridades también aparece en los datos. Entre vicepresidentes y directores, el 52% eligió el costo total de propiedad como factor de compra, contra apenas el 4% de los contribuyentes individuales. Estos últimos eligieron integración con más frecuencia: 58%. Quienes firman el presupuesto y quienes construyen el sistema están mirando cosas distintas.
Memoria: tres problemas que se tratan como uno
El informe separa tres capas que suelen confundirse bajo la palabra «memoria». La memoria institucional es el conocimiento durable de la organización: políticas, registros, procedimientos y decisiones pasadas. La memoria de tarea del agente es el estado necesario para continuar un encargo: qué pasó, qué falta, qué produjeron las acciones previas. La memoria de inferencia son los recursos y el cómputo en caché usados durante el serving del modelo.
En la capa de inferencia, Nvidia (41%) y Dell (39%) fueron las opciones más elegidas para uso o evaluación, sin diferencia significativa entre ambas. Las herramientas open source de caché KV y las técnicas de eficiencia a nivel de modelo fueron seleccionadas por el 21% cada una. Y un 16% directamente no había abordado los límites de memoria de inferencia o los desconocía.
El artículo enlaza dos referencias técnicas que vale la pena leer antes de decidir: la guía de ingeniería de contexto de Anthropic, que propone notas estructuradas guardadas fuera de la ventana de contexto para preservar información en trabajos extensos, y el caching automático de prefijos de vLLM, que reutiliza cómputo cuando varias peticiones comparten un prefijo de prompt — y que, según su propia documentación, reduce el trabajo de procesamiento del prompt, no el tiempo de generación de tokens nuevos.
¿Dónde tienen sentido los modelos pequeños?
La tesis del informe es que los modelos pequeños van a formar la cola larga de la IA empresarial, y que su valor depende de dónde corren, qué tareas hacen y cómo se combinan con el contexto de la empresa y con las personas.
La prueba práctica es simple: ¿un modelo más chico, ubicado en el lugar correcto del flujo, alcanza la calidad requerida a un costo total menor? Para una tarea acotada puede bastar; un paso más exigente puede necesitar otro modelo o criterio humano. Lo que no puede faltar es el criterio de selección y la evidencia de que la configuración elegida cumple calidad y costo.
Esa evaluación pertenece al ciclo de desarrollo de software: hay que probar elección de modelo, recuperación de información, manejo del estado de tarea y escalamiento juntos, contra trabajo representativo, y repetir las pruebas cada vez que cambia un componente.
El contraste: el hyperscaler que sí llena sus GPUs
Mientras la mayoría de las empresas reporta utilización de 50% o menos, Oracle reportó una utilización de GPU del 97,9% en su trimestre cerrado el 31 de agosto de 2026, con ingresos de su nube de infraestructura (OCI) de US$7.400 millones, un 121% más interanual, según TechTimes. La compañía sumó 850 megavatios de capacidad nueva en un solo trimestre y renovó contratos de GPU con una prima del 20% sobre el precio anterior.
El mercado ya está reaccionando a esta asimetría. Nutanix adquirió la francesa Ryax Technologies —fundada en 2017— para integrar capacidades de utilización de GPU y planificación inteligente en su plataforma, según CRN. Su director de IA, Debo Dutta, lo resumió así: «La IA agéntica requiere arquitectura flexible, operaciones simples y la capacidad de usar la infraestructura de forma mucho más eficiente».
En paralelo, la propuesta de Nvidia se expande más allá del cómputo: HPE empuja APIs gobernadas e integración con Model Context Protocol (MCP), VAST anunció un Agent Sandbox Foundation Stack junto a Nvidia para preservar estado de agentes, acceso a datos y trazas de auditoría, y el equipo de seguridad de Nebius destacó el cómputo confidencial en GPU como forma de proteger datos y pesos del modelo durante el procesamiento.
Qué significa esto para tu startup
Si estás por firmar una renovación de infraestructura de IA, el informe sugiere invertir el orden de la conversación.
- Define «tarea completada con éxito» antes de comprar. Un caso de soporte cerrado mal no cuenta como éxito, y el costo de reparar un cambio de código debe sumarse al costo de completarlo. Sin esa definición, cualquier métrica de eficiencia es decorativa.
- Mide costo por tarea completada, no precio por token. La cuenta incluye inferencia, recuperación, almacenamiento, reintentos y revisión humana. El precio por millón de tokens es un insumo, no el resultado.
- Encuentra el cuello de botella antes de ampliar capacidad. Puede ser el cómputo, pero también la ruta de información, la capa de contexto, la configuración de serving o el reparto de trabajo entre modelos y herramientas. Comprar más GPU no arregla un problema de integración.
- Involucra a finanzas con una línea base acordada. El 91% de quienes planean cambiar de plataforma no tiene un ROI validado. Llegar a esa reunión con una línea base te pone en el 9% que sí puede defender la decisión.
- Cambia una pieza a la vez y mide. Retrieval, elección de modelo, caché o gestión del estado de tarea: cada cambio se evalúa contra el costo por tarea completada, no contra una impresión general.
Conclusión
La brecha entre el discurso de las fábricas de IA y la realidad de las plantas a medio gas no se cierra comprando más cómputo. Se cierra midiendo. El informe de VentureBeat Intelligence deja una conclusión operativa: la decisión de infraestructura debería empezar por un flujo de trabajo concreto de agentes y por entender qué está limitando su desempeño, no por el catálogo del proveedor.
Los modelos más capaces amplían lo que un agente puede intentar. La infraestructura más inteligente, medida por la tarea, es lo que hace que ese trabajo sea confiable y defendible económicamente ante finanzas.
Fuentes
- VentureBeat (fuente original)
- Yahoo Finance
- TechTimes
- CRN
Leíste lo que hace la IA. ¿Y en tu negocio?
En CAR, dueños de empresa arman en 7 días su primer sistema funcionando: que ningún cliente se les escape, o que el informe del lunes salga solo. Con otros emprendedores al lado.
👥 Probar 7 días
