HBF: el nuevo estándar de memoria para inferencia en IA

Por qué la HBF aparece justo ahora en la conversación de IA

En Hot Chips 2026, la charla de Anurag Agarwal y Radhakrishna Giduthuri puso sobre la mesa una pregunta incómoda: cuando los modelos de IA crecen a velocidades que la HBM (High Bandwidth Memory) no puede acompañar, ¿dónde metemos los pesos extra? Su respuesta, en simulación, es High Bandwidth Flash (HBF): una memoria que se apila junto al chip de cómputo como la HBM, pero construida sobre la misma NAND flash que ya usan los SSDs.

La HBF no es un producto todavía, así que la charla se centró en cómo el software — concretamente vLLM — tendría que reescribirse para aprovecharla. Y la conclusión es dura: usar HBF se parece más a programar contra un disco en bloques con O_DIRECT en Linux que a trabajar contra DRAM.

Qué es HBF y en qué se diferencia de HBM y SSD

HBF (High Bandwidth Flash) toma la forma física de HBM — cubos apilados sobre el mismo package del procesador — pero por dentro es NAND flash. La idea es ofrecer mucha más capacidad que HBM a cambio de menos ancho de banda, ubicándose como un tier intermedio entre la memoria del acelerador y el almacenamiento PCIe.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

El contraste con HBM es directo:

HBM: altísimo ancho de banda (varios TB/s), capacidad limitada y coste por GB muy alto.
HBF: capacidad mucho mayor por stack, ancho de banda inferior a HBM, coste por GB menor.
SSD PCIe: enorme capacidad pero latencia y ancho de banda muy inferiores por la distancia al chip.

Según la primera especificación técnica publicada en FMS 2026 por SK hynix y Sandisk dentro del Open Compute Project, las pilas HBF pueden alcanzar hasta 512 GB en configuraciones de 8 y 16 dies, con tres grados de ancho de banda que van desde ~0,4 TB/s hasta 3,0 TB/s (HotHardware, Forbes/Tom Coughlin). SK hynix además sitúa HBF en su propio nivel G1.5, con ~1 TB de capacidad y ancho de banda del orden de Tb/s (Yahoo/Forbes).

El estándar adopta UCIe como interfaz host, lo que permite que las pilas HBF convivan en el mismo interposer de silicio que la GPU o el ASIC (HotHardware).

Por qué la HBF no es plug-and-play

A diferencia de tecnologías como Intel Optane, que podían funcionar como un pool de memoria alternativo, HBF se comporta casi como un SSD integrado en el procesador. Las implicaciones prácticas, según Agarwal y Giduthuri, son severas:

Los accesos deben hacerse en bloques grandes y alineados, no a byte.
El software debe usar DMA para mover datos entre HBF y DRAM.
El host asume funciones de controlador SSD: write leveling, gestión de retención de datos, etc.
Modificar un solo byte puede requerir leer 64 KB, modificar y reescribir el bloque entero (Chips and Cheese).

En otras palabras: nada de reemplazar DRAM y ya. Cualquier framework de inferencia tendría que reformular su runtime desde cero.

Cómo vLLM podría aprovechar la HBF (y por qué cuesta tanto)

La charla eligió vLLM como conejillo de indias porque ya investiga formas de reducir el uso de VRAM manteniendo el modelo servible. Los autores identifican tres rutas concretas:

Almacenar pesos del modelo en HBF y copiarlos por DMA cuando se necesiten. Para inferencia, esto funciona mejor con modelos MoE: solo los expertos activos entran en HBM, el resto vive "frío" en HBF y se trae bajo demanda (Chips and Cheese).
Ubicar el KV cache en HBF, siempre que se use sparse attention: solo el top-k de filas se lee por paso y el resto queda residente en flash. El problema es que los accesos top-k son dispersos, y HBF prefiere lecturas secuenciales, por lo que habría que precargar las filas vía DMA en DRAM (Chips and Cheese).
Replicar pesos entre GPUs para reducir la comunicación entre dispositivos en modelos sharded. Mover datos de flash por DMA no es gratis, pero es más barato que ir off-device, que suele ser el cuello de botella real de modelos grandes (Chips and Cheese).

La conclusión de los autores es que la HBF encaja bien con modelos pequeños y/o batch sizes bajos que no llegan a saturar el ancho de banda. Cuando el workload se vuelve bandwidth-bound, el coste por capacidad favorable se come el ahorro.

El contexto de mercado que hace urgente la HBF

La charla técnica no se entiende sin el momento del mercado. La memoria es ahora mismo el cuello de botella estructural de la inferencia de IA:

Una sola NVIDIA H200 consume 141 GB de HBM3e, según reporta 24/7 Wall St. (247wallst.com).
Micron publicó en su Q3 fiscal 2026 ingresos de USD 41,4 mil millones, un 346 % interanual, con margen bruto del 84,6 % (247wallst.com).
SK hynix y Samsung reportan tensión similar de oferta, con HBM4 ramping hacia 2027 (247wallst.com).

El propio SanDisk presentó en FMS 2026 un experimento donde una configuración con 4 TB de HBF-only + 4 GPUs alcanzó tokens por segundo comparables a una de 192 GB de HBM + 8 GPUs, es decir, 2× más eficiencia por GPU y menor coste total, según la cobertura de Forbes/Tom Coughlin (Forbes).

El roadmap oficial según Forbes/Tom Coughlin sitúa el estándar 0.7 ya anunciado en FMS 2026, el estándar completo a principios de 2027, muestras a principios de 2028 y producción después (Forbes).

El ecosistema que ya se está moviendo

La HBF no llega sola. Mientras se define el estándar, el software de inferencia y la competencia por tier de memoria ya están reaccionando:

Consorcio HBF: además de SK hynix y Sandisk, están en la junta David Patterson (Berkeley), Raja Koduri (Oxmiq Labs) y Jim Keller (Tenstorrent) (Forbes).
vLLM sigue siendo el campo de pruebas público más relevante: un post de abril 2026 muestra cómo el prefill-decode disaggregation sobre 8× AMD Instinct MI300X con el conector MORI-IO alcanza 2,5× más goodput que el serving estándar (Forkast).
NVIDIA está moviendo HBM solo a la fase de decode y proponiendo GDDR7 para prefill con su Rubin CPX, manteniendo LPDDR5X (SOCAMM) en CPUs para KV cache offload (Semiconductor Engineering).
ScaleFlux lanzó en julio 2026 una plataforma SSD optimizada para KV cache con 7–10+ DWPD efectivos durante 5 años, pensada para integrarse con NVIDIA CMX (ScaleFlux/Yahoo).

¿Qué significa esto para tu startup?

Si estás sirviendo modelos grandes hoy, la pregunta no es "¿compro HBF?" — los primeros chips no llegan hasta 2028 (Forbes) — sino "¿estoy optimizando el memory tier que ya tengo disponible?". La HBF presionará a la baja el coste por token, y las arquitecturas que ya estén tier-aware serán las que aprovechen primero esa caída.

Acciones concretas que puedes tomar ahora:

Audita el cuello de botella real de tu serving: separa prefill y decode en métricas separadas y mide TTFT e ITL por separado. Si decode te domina, una arquitectura disaggregated tipo MORI-IO te puede dar 2,5× más goodput sin cambiar hardware (Forkast).
Diseña tus inferencias pensando en tiers, no en una sola GPU: HBF confirma que la dirección del mercado es memoria heterogénea. Modela hoy tu sistema asumiendo que los pesos de los expertos MoE inactivos vivirán en un tier lento. Tu código de routing tiene que asumir ese coste y elegir sabiamente.
Sigue el roadmap del consorcio HBF, no el ruido: la 0.7 spec ya está en el OCP y el estándar completo llega en 2027 (Forbes). Si tu stack de inferencia es vLLM o SGLang, sigue de cerca los PRs sobre CPU offload, pinned memory y DMA-aware runtimes; ahí se cocinará el soporte real para HBF.

¿Terminará la HBF aliviando la crisis de DRAM?

La pregunta que deja abierta Chips and Cheese es pertinente: el esfuerzo de software para sacar partido a HBF no parece muy distinto del que ya harías para streamear pesos desde un SSD estándar. El kernel de Linux puede abstraer la dificultad de los accesos alineados si no usas O_DIRECT, y te regala caché gratis (Chips and Cheese).

La HBF ofrece orden de magnitud más ancho de banda que un SSD, pero exige reescribir partes profundas de frameworks como vLLM. Si los hyperscalers y los proveedores de modelo abrazan el estándar, la HBF podría convertirse en el tier por defecto de la inferencia para 2028–2029. Si los costes de software se imponen, la crisis de DRAM se resolverá antes por otros caminos — desde GDDR7 para prefill hasta SSD de altísima endurance como el de ScaleFlux (ScaleFlux/Yahoo). Lo que sí está claro: la pregunta "¿dónde vive cada byte del modelo?" se vuelve central — y tu startup necesita una respuesta antes que tu competencia.