Cerebras: cómo sirve modelos de 3 billones de parámetros

Cerebras: cómo sirve un modelo de 3 billones de parámetros en 59 wafers

Un solo wafer WSE-3T de Cerebras tiene 44 GB de memoria en chip. Un modelo frontera de billones de parámetros necesita terabytes solo para almacenar sus pesos. Esa brecha es el problema de ingeniería que la compañía desglosa en un post técnico: cómo repartir un modelo de esa escala entre decenas de wafers y servirlo a 1.000-2.000 tokens por segundo.

Para un founder, la relevancia no está en la física del silicio sino en la economía. Si la inferencia deja de ser un cuello de botella, cambia qué productos puedes construir y cuánto te cuesta cada usuario activo.

Kimi K3, el modelo que usan como caso de estudio

Cerebras elige Kimi K3, el modelo de pesos abiertos de Moonshot AI, como ejemplo ilustrativo. Según CNBC, K3 tiene 2,8 billones de parámetros y fue el mayor modelo de IA de China hasta la fecha; el post de Cerebras trabaja con ~3 billones para el ejercicio.

Lo que importa para la ingeniería es su arquitectura: 69 capas de atención lineal y 24 capas densas. Esa mezcla determina cuántos chips hacen falta, porque cada tipo de capa consume memoria de forma distinta.

La compañía asume además tres condiciones de trabajo: requests promedio de 256k tokens, cuantización de pesos a 4 bits y una KV cache de 8 bits. Son supuestos agresivos, y conviene tenerlos presentes porque son los que hacen que la aritmética cierre.

Por qué el cuello de botella es la memoria y no el cómputo

En inferencia, el prefill (procesar el prompt) se beneficia del cómputo paralelo. El decode (generar token a token) es otra historia: lee los pesos del modelo una y otra vez, así que lo que manda es el ancho de banda de memoria y la latencia.

Por eso Cerebras pone el acento en el SRAM dentro del chip. Si los pesos viven dentro del wafer, no hay que ir a buscarlos a memoria externa. eWeek describió esta misma lógica al analizar la alianza de Cerebras con AMD: Helios se encarga del prefill y el Wafer-Scale Engine del decode, justamente porque el decode es intensivo en ancho de banda.

La aritmética: de 44 GB por wafer a 59 wafers

El cálculo que publica Cerebras es simple y vale la pena seguirlo paso a paso.

• Peso total de los parámetros: 3 billones de parámetros a 4 bits cada uno dan un payload de aproximadamente 1,5 TB.
• Tamaño por capa: dividido entre las 93 capas del modelo, cada capa ocupa unos 16 GB.
• Capas densas: cada capa densa necesita espacio extra para su KV cache, porque guarda claves y valores de cada token de cada request activo. Resultado: una capa densa por wafer, con el resto del SRAM reservado para cache.
• Capas de atención lineal: no necesitan KV cache, porque mantienen un estado de tamaño fijo por request sin importar el largo del contexto. Entran dos por wafer (2 x 16 GB = 32 GB).

Con 69 capas lineales y 24 densas, el reparto queda en 35 wafers para las lineales y 24 para las densas: 59 wafers en total.

El detalle que Cerebras subraya es que, como cada wafer tiene 44 GB y cada capa pesa 16 GB, las capas enteras caben en el chip. Los pesos no se mueven y las capas no se parten entre wafers. Solo viajan las activaciones.

Cómo se conectan los wafers y por qué el pipeline no queda ocioso

Los wafers se conectan en pipeline vía RDMA sobre Ethernet, con un costo de aproximadamente 2 microsegundos por salto. Cada wafer funciona como una estación de una línea de montaje: los pesos de su etapa se quedan quietos y los resultados intermedios del request avanzan.

Acá aparece la objeción típica: si un token tiene que atravesar cada wafer en orden, ¿no queda cada chip esperando su turno, con un batch efectivo de uno?

La respuesta de Cerebras es que el pipeline se mantiene lleno con requests distintos. Mientras una etapa procesa un token del request A, la anterior procesa uno del B y la primera uno del C. Además, cada etapa puede procesar un micro-batch, un grupo pequeño de requests. El número de requests en vuelo es, aproximadamente, la cantidad de etapas multiplicada por el tamaño del micro-batch.

El trade-off es directo: micro-batches chicos hacen cada request más rápido; micro-batches grandes suben el throughput total.

Cuántos requests concurrentes aguanta

La memoria en chip asignada a la KV cache fija el techo de concurrencia. Cada request en vuelo necesita su propia KV cache en cada wafer de capa densa. Con 44 GB por wafer y una capa densa de 16 GB, quedan unos 28 GB por wafer para cache.

Ese es el número que debería importar a quien diseña un producto sobre esta infraestructura: el largo del contexto que envías se come la concurrencia. Un request de 256k tokens no cuesta lo mismo que uno de 8k en términos de cuántos usuarios simultáneos puedes atender.

La métrica que Cerebras dice que hay que mirar

El post cierra con una advertencia metodológica: ni la concurrencia ni el batch size dicen mucho sobre la eficiencia real de un sistema de inferencia. La métrica significativa es el throughput total de tokens por unidad de potencia —tokens por segundo por megavatio— medido a la misma velocidad de generación.

Es un punto que conviene tomar en serio. En agosto, Cerebras presentó el CS-4, un sistema rack-scale construido con tres WSE-3T que, según el anuncio de la compañía recogido por GlobeNewswire, entrega 750 PFLOPs de cómputo de IA, 129,6 PB/s de ancho de banda de memoria y soporte para modelos de más de 50 billones de parámetros, con hasta 10 veces más throughput por vatio que el CS-3.

La letra chica importa: eWeek señaló que la proyección de hasta 5 veces más tokens por segundo por vatio de la alianza con AMD sale de modelado interno con el modelo Kimi K2.6 de 1 billón de parámetros, no de una comparación independiente. Y que todavía no hay precios, lista de modelos soportados ni benchmarks públicos de punta a punta.

Qué significa esto para tu startup

1. Mide costo por request completado, no tokens por segundo. La velocidad es una métrica de marketing hasta que la aterrizas en tu caso de uso. eWeek recomienda explícitamente que las empresas midan latencia, costo por request completado y el overhead de transferir el estado del modelo bajo sus propios patrones de tráfico y largos de prompt. Arma un benchmark con tus prompts reales antes de firmar cualquier contrato de inferencia.

2. Trata el modelo como una pieza intercambiable. La infraestructura de inferencia se está desacoplando del modelo: prefill en un chip, decode en otro, y modelos que entran y salen. Aravind Srinivas, CEO de Perplexity, lo dijo a CNBC: el modelo por sí solo ya no es el producto. Si tu arquitectura asume un único proveedor de modelo, cada salto de generación te obliga a reescribir. Si construyes la capa de orquestación por encima, cambias de modelo en una línea de configuración.

3. Revisa tu presupuesto de contexto. Los números de Cerebras asumen requests de 256k tokens. Si tu producto arrastra conversaciones largas o documentos enteros en cada llamada, estás pagando dos veces: en tokens de entrada y en concurrencia disponible. Vale la pena auditar cuánto contexto envías de verdad y cuánto es pereza de implementación.

4. Los modelos abiertos ya son una opción de costo real. Moonshot AI presentó Kimi K3.1 Pro el 24 de octubre, según Unite.AI, con pesos abiertos prometidos para el 4 de noviembre. OfficeChai reporta que su precio de API es de US$2 por millón de tokens de entrada y US$10 de salida, frente a los US$4/US$20 de Claude Opus 5.5 y los US$10/US$50 de GPT-6 Astra. Para cargas de trabajo de alto volumen, la diferencia deja de ser marginal.

El punto de fondo

Cerebras no está vendiendo solo velocidad: está vendiendo una arquitectura donde los pesos nunca salen del chip y la latencia entre etapas es de microsegundos. Eso es difícil de replicar con GPUs, y explica por qué la compañía insiste en una métrica —tokens por segundo por megavatio— donde su diseño tiene ventaja estructural.

Para un founder, la lectura práctica es que la capa de inferencia se está volviendo un commodity con competencia real. Eso es buena noticia: baja el costo de construir productos que dependen de modelos frontera, y corre el diferencial competitivo hacia el producto, los datos y la distribución.

Fuentes

• Cerebras – How we deploy trillion-parameter frontier models on Cerebras (fuente original)
• eWeek – AMD and Cerebras Split AI Inference Between Helios and Wafer-Scale Chips
• GlobeNewswire via Yahoo Finance – Cerebras Unveils CS-4
• SDxCentral – AMD, Cerebras partner on joint Helios rack-scale AI inference platform
• CNBC – Chinese AI has leveled up, and brought renewed focus on the open weight model shift
• OfficeChai – Moonshot AI Releases Kimi K3.1 Pro
• Unite.AI – Moonshot AI Releases Kimi K3.1 Pro, First Model in New K3.1 Series

Artículos relacionados:

Cerebras Systems levanta US$ 1.000M para competir con Nvidia Benchmark invierte $225M en Cerebras, rival de Nvidia Cerebras CS-4: 30x más rápido que GPUs en inferencia Cerebras 6.7x más rápido: inferencia IA para founders Cerebras en Disrupt 2026: ¿hasta dónde puede escalar la IA?