Microsoft Foundry: elegir modelo de IA ya es infraestructura

Por qué elegir un modelo de IA ya es una decisión de infraestructura

Un modelo abierto de 320.000 millones de parámetros puede servirse en producción con apenas cuatro aceleradores, siempre que cada uno tenga memoria suficiente. Ese detalle —cuánta memoria tiene la GPU, no solo cuánta potencia— define cuánto cuesta cada inferencia que corre tu producto.

VentureBeat publicó un análisis que ordena el cambio de mentalidad que ya están haciendo los CIO: la elección de modelo dejó de ser una decisión de software para convertirse en una decisión de infraestructura. Cuando una empresa corre varias cargas de IA en paralelo, cada una con requisitos distintos de latencia, throughput, utilización y costo, el enfoque de un solo modelo y un solo despliegue se vuelve insostenible.

El artículo describe cómo Microsoft Foundry ofrece una opción de despliegue gestionado —Managed Compute— que deja al cliente el control de las decisiones que definen el rendimiento y la economía de la inferencia (modelo, acelerador, capacidad y punto de operación), mientras Microsoft administra buena parte del entorno de serving.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Pay-per-token o capacidad dedicada? La pregunta que define tu TCO

Según el análisis de VentureBeat, ninguna modalidad sirve para todo:

Pay-per-token: conviene cuando lo importante es el consumo flexible y la empresa quiere involucrarse lo mínimo en infraestructura.
Capacidad dedicada: conviene cuando la carga tiene demanda sostenida y se necesitan capacidad confiable, latencia y throughput más predecibles.

La diferencia no es de precio de lista, sino de economía. Con capacidad dedicada provisionas recursos según la demanda esperada, y el costo real depende de qué tan bien usas esas GPU: costo por GPU-hora, utilización, throughput y trabajo completado. Ese conjunto —y no el precio del token— es lo que determina el costo efectivo por inferencia.

El dato de mercado respalda el giro. Un informe de Futurum Research, basado en una encuesta a 824 responsables de decisiones de IA hecha en el primer semestre de 2026, encontró que la infraestructura reservada y propia ya representa el 66% del consumo de cómputo de IA, frente al 19% de la nube on-demand. Además, el 59% de los encuestados corre cargas fuera de las nubes públicas de los hyperscalers, y el gasto en inferencia pasaría de US$120.000 millones en 2025 a US$885.000 millones en 2030.

La memoria de la GPU es la variable que casi nadie mira

Los modelos no pesan lo mismo sobre la infraestructura. La memoria de la GPU se consume tanto por el modelo como por la cantidad de usuarios que atiende, y esa relación decide cuántos aceleradores necesitas comprar o alquilar.

El artículo de VentureBeat pone un ejemplo concreto: AMD Instinct MI300X ofrece 192 GB de memoria HBM3 por GPU, o cerca de 1,5 TB en un despliegue de ocho GPU. Esa capacidad es lo que permite servir Z.ai GLM 5.3 Flash, un modelo de 320.000 millones de parámetros, con tan solo cuatro GPU MI300X y una ventana de contexto de 512K. Menos GPU para el mismo modelo significa menos infraestructura que provisionar y menor costo.

Todo esto corre sobre ROCm, el stack de software de GPU de código abierto de AMD, que permite ejecutar modelos abiertos y las herramientas que los sirven sobre Instinct dentro de Foundry.

La lección para un equipo pequeño: antes de comparar precios por token, calcula cuánta memoria exige tu modelo en el punto de operación que necesitas. Un modelo más chico sobre una GPU con menos memoria puede salir más caro que uno grande bien empaquetado.

El caso AT&T: 530 GPU, 430 de ellas MI300X

AT&T es el ejemplo que el artículo usa para mostrar esto en producción. Su iniciativa OTel2.0, enfocada en telecomunicaciones, usó Managed Compute en Foundry para procesar grandes volúmenes de datos del sector y apoyar distintos modelos abiertos en distintas partes del flujo de trabajo.

En lugar de estandarizar todo en un solo modelo o una sola configuración, AT&T usó múltiples modelos abiertos y arquitecturas de GPU sobre 530 GPU. Alrededor de 430 eran AMD Instinct MI300X, que procesaron aproximadamente un billón de tokens a través de Managed Compute para generar datos sintéticos de entrenamiento. La compañía reportó ahorros de decenas de millones de dólares al usar modelos abiertos para generación de datos en lugar de consumir modelos frontera.

"Foundry Managed Compute nos dio acceso a capacidad de GPU a escala para que nuestros equipos pudieran enfocarse en avanzar OTel2.0 en lugar de administrar infraestructura", dijo Mark Austin, vicepresidente de Data Science and AI de AT&T.

Lo relevante no es solo la escala, sino que distintas partes del trabajo corrieron sobre distintos modelos y distintas GPU. Eso es exactamente la decisión de portafolio que hoy enfrenta un CIO.

¿Qué significa esto para tu startup?

Tres movimientos concretos que puedes hacer esta semana:

Clasifica tus cargas antes de firmar nada. Si una función de tu producto tiene demanda sostenida y predecible (clasificación de documentos, generación de reportes nocturnos, enriquecimiento de datos), esa carga probablemente pertenezca a capacidad reservada. Si es experimental o a ráfagas, déjala en pay-per-token.
Mide costo por tarea completada, no por millón de tokens. Un modelo barato por token puede necesitar varias veces más tokens para cerrar la misma tarea. Según las estadísticas de costos de modelos de IA recopiladas por CoinCentral a partir de datos de Epoch AI y Stanford, el costo de alcanzar un nivel fijo de rendimiento cae cerca de 47% por trimestre, pero ese promedio no te sirve si no mides tu propia carga.
Cuenta la operación, no solo la GPU. Correr modelos abiertos en infraestructura dedicada implica configurar runtimes, mantener software, parchear vulnerabilidades y aplicar actualizaciones de seguridad. Un entorno de serving gestionado reduce esa carga; si tu equipo es de cinco personas, ese tiempo vale más que el ahorro marginal de hacerlo a mano.

El contexto: los tokens se multiplican aunque el precio baje

Dos fuerzas empujan en direcciones opuestas. Por un lado, el costo de usar IA cae: según el AI Index de Stanford, recopilado por CoinCentral, una inferencia con el nivel de GPT-3.5 pasó de unos US$20 por millón de tokens en noviembre de 2022 a US$0,07 en octubre de 2024.

Por el otro, el volumen explota. Goldman Sachs Research proyecta que el consumo de tokens de IA se multiplicará por 24 hacia 2030, hasta 120.000 billones de tokens al mes, según recoge un comunicado de Spectro Cloud. Y el informe de Futurum Research advierte que la IA agéntica puede multiplicar por 10 a 100 el uso de tokens por tarea frente a una simple llamada de inferencia.

Traducción para un founder: el precio unitario baja, pero tu factura puede subir igual. La palanca ya no está en elegir el modelo más barato, sino en decidir dónde corre cada carga.

Conclusión

La elección de modelo dejó de ser una discusión de benchmarks. Es una decisión de capacidad, memoria y economía que se toma una vez por carga de trabajo, no una vez por empresa. Los equipos que ganen los próximos dos años no serán los que usen el modelo más potente, sino los que sepan cuándo pagar por token y cuándo reservar GPU.

Empieza por lo barato: mide el costo por tarea completada de tus tres cargas más pesadas durante un mes. Con ese número en la mano, la conversación sobre infraestructura deja de ser técnica y se vuelve una decisión de negocio.