Baidu publica ERNIE 5.5 Flash: 280B para entrenar tu modelo

ERNIE-5.5-Flash-Base: 280B parámetros que aún no responden a instrucciones

Baidu publicó ERNIE-5.5-Flash-Base, un modelo de lenguaje de tipo Mixture-of-Experts con 280.000 millones de parámetros totales, de los cuales 14.000 millones se activan por token. El dato central del lanzamiento no es ese tamaño, sino otro: los pesos liberados son el checkpoint al final del preentrenamiento, antes de cualquier mid-training o post-training.

Para un founder, la diferencia es operativa. Un checkpoint base continúa texto, no sigue instrucciones. No puedes pedirle que responda un ticket de soporte ni que devuelva un JSON limpio: eso lo tendrás que construir tú con fine-tuning. La propia página de Baidu es explícita en que el objetivo es ahorrarle a los desarrolladores el costo de un preentrenamiento a gran escala.

El modelo se entrenó desde cero con 33,5 billones de tokens, con contexto de entrenamiento extendido gradualmente hasta 128K tokens, y soporta 1M de tokens en fine-tuning e inferencia. Los pesos están disponibles en Hugging Face en FP8 y BF16 bajo el acuerdo ERNIE 5.5 Flash Base Model License Agreement v1.0, y se sirven con SGLang o vLLM a través de la API de completions.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Cómo Baidu abarata el contexto largo en la arquitectura

La apuesta de ingeniería de ERNIE 5.5 Flash está en no gastar atención completa donde no hace falta. De sus 43 capas Transformer (hidden size 4096, 64 cabezas de atención), 37 usan Heavily Compressed Attention (HCA): comprimen cada 128 tokens en una sola entrada de caché y atienden a esas entradas más una ventana corta de tokens recientes.

Solo 6 capas conservan acceso token por token a todo el contexto mediante Multi-head Latent Attention (MLA), y esas usan atención dispersa (DSA): un indexador liviano puntúa las posiciones pasadas y el cálculo de atención se hace solo sobre las top-k. El resultado que reporta Baidu es que esas capas igualan a la atención densa en pérdida de preentrenamiento, pero entrenan bastante más rápido. Las HCA, al ver la secuencia comprimida 128 veces, pueden permitirse cabezas anchas de 512 dimensiones porque su atención es barata.

En el bloque MoE hay otra decisión relevante para quien paga la factura de cómputo: 512 expertos enrutados con top-10 más un experto compartido, con expertos latentes que proyectan los tokens de 4096 a un espacio de 2048 dimensiones. Según Baidu, eso reduce a la mitad el tráfico de dispatch/combine y los FLOPs de los expertos respecto a expertos de ancho completo.

El resto del diseño apunta al mismo objetivo: conexiones residuales con mHC (cuatro flujos paralelos), una cabeza de salida MultiMax con temperatura aprendida por tramos, y ECHO en lugar del módulo tradicional de predicción multi-token, reutilizando la capa final del backbone para predecir tokens futuros, con ganancias claras en razonamiento y código según el equipo. El tokenizer es BPE con un vocabulario de unas 200.000 entradas que tokeniza números de derecha a izquierda en grupos de hasta tres dígitos.

Los números de la tabla propia: fuerte en código y contexto largo

Baidu evaluó su base contra tres modelos base de tamaño similar: DeepSeek-V4-Flash-Base (284B-A13B), Hy3-preview-Base (295B-A21B) y MiMo-V2.5-Base (310B-A15B), todos con el mismo harness, los mismos prompts y la misma configuración de few-shot.

ERNIE-5.5-Flash-Base gana en filas clave: MMLU-Pro 78,4 frente a 69,2 de DeepSeek, HumanEval+ 82,3 frente a 69,5, MBPP+ 81,5 frente a 67,2, LiveCodeBench 40,1 frente a 31,9 y RepoQA 91,7 frente a 81,0. También lidera GPQA con 60,2 y BBH en modo directo con 77,1. Pierde ChineseSimpleQA frente a DeepSeek, y FullStackBench y BBH con cadena de pensamiento frente a Hy3.

Un detalle que conviene tener presente: el análisis de OrcaRouter señala que esas cifras salen de un harness elegido por el proveedor y sin replicación independiente. Son comparables entre sí porque las cuatro columnas pasaron por el mismo pipeline, pero no son comparables con los números de modelos ya post-entrenados que circulan por ahí.

Y ahí hay una trampa concreta. El LiveCodeBench de 40,1 es pass@1, one-shot, sobre un checkpoint crudo que nunca vio una instrucción: mide cuánta estructura de programación absorbió el preentrenamiento, no cómo responderá tras un fine-tuning. Qwen 3.8 Flash, el modelo multimodal que Alibaba lanzó el 26 de agosto de 2026, reporta 91,9 en LiveCodeBench v6, pero sobre un modelo ya post-entrenado. Poner esos dos números uno al lado del otro no mide capacidad: mide dos objetos distintos.

¿Cuánto cuesta de verdad construir sobre un modelo base?

Aquí está el cálculo que ningún benchmark te muestra, y que el análisis de OrcaRouter detalla: los pesos FP8 ocupan unos 288 GB en disco (el BF16 duplica esa cifra), y la propia receta de SGLang que publica Baidu se reparte en cuatro GPUs con --tp 4. Alquilando cuatro GPUs de la clase H200 a un precio medio de entre 2 y 3 dólares por GPU-hora, el nodo cuesta del orden de 5.800 a 8.600 dólares al mes funcionando de forma continua, antes de pagar a nadie por hacer el fine-tuning.

Compáralo con la ruta de alquilar un modelo terminado: el mismo análisis estima que Qwen 3.8 Flash, a 0,15 dólares por millón de tokens de entrada y 0,47 por millón de salida, cubriría una carga de 1.000 solicitudes diarias en unos 38 dólares al mes. La brecha es enorme, pero la comparación tampoco es limpia: los dos modelos no son sustitutos hasta que alguien haga el post-entrenamiento del checkpoint de Baidu.

Tampoco hay precio por token de ERNIE-5.5-Flash-Base, porque no existe un endpoint alojado al que asignarle uno. El modelo llega únicamente como descarga de pesos.

El contexto que no aparece en la tabla: velocidad y geopolítica

El lanzamiento no ocurre en el vacío. Según un recuento de BraveNewCoin sobre datos de Nikkei Asia, los grandes laboratorios chinos pasaron de publicar modelos actualizados cada 125 días, entre enero de 2023 y marzo de 2026, a uno cada 44 días entre abril y septiembre de 2026. Ese es el ritmo al que compite Baidu, y explica por qué la liberación llegó sin comunicado de prensa: los artefactos aparecieron primero en Hugging Face y la documentación después.

En paralelo, el liderazgo del open weight se mide en derivados. CNBC reportó que los modelos basados en Qwen acumulaban 151.448 derivados en Hugging Face, 2,6 veces la huella total de Meta, en un mercado donde DeepSeek y Moonshot también juegan fuerte.

El riesgo menos obvio es regulatorio. TechCrunch informó que el Departamento de Seguridad Nacional de Estados Unidos ordenó a las agencias federales civiles dejar de comprar productos de DeepSeek y retirarlos de sus sistemas, y que la orden alcanza también a productos de terceros construidos con tecnología DeepSeek. Si vendes a sector público o a grandes empresas con exposición regulatoria en Estados Unidos, ese precedente debería pesar en tu decisión de arquitectura tanto como la tabla de benchmarks.

¿Qué significa esto para tu startup?

No reemplaces tu modelo en producción con un checkpoint base. ERNIE-5.5-Flash-Base no sigue instrucciones ni conversa. Si tu equipo no puede hacer post-entrenamiento, la decisión sensata es seguir con un modelo servido y usar esta liberación solo como referencia técnica de arquitectura.

Corre tu propio número antes de entusiasmarte con el fine-tuning. El costo fijo de autohospedar un modelo de 280B llega antes de que el modelo responda a la primera instrucción. Modela tu volumen real contra ese piso de 5.800 a 8.600 dólares mensuales en GPUs que estima OrcaRouter y contrástalo con la factura por tokens de una API.

Considera la ruta solo si tu dominio es bilingüe chino-inglés o de código, y tus datos no pueden salir. Los resultados donde el modelo se ve más fuerte son repositorios y código (RepoQA 91,7, HumanEval+ 82,3) y chino (CMMLU 90,0, ChineseSimpleQA 73,0). Para un equipo con presupuesto de cómputo y capacidad de entrenamiento, un checkpoint base que puedas ajustar en tu propia infraestructura es una opción legítima, con la condición de asumir el trabajo posterior.

Lee la licencia antes de diseñar el producto. Baidu no publica esto bajo Apache: es un acuerdo propio, el ERNIE 5.5 Flash Base Model License Agreement v1.0, que conviene revisar completo antes de construir encima.

Conclusión

ERNIE-5.5-Flash-Base es una pieza de infraestructura, no un producto de IA con el que tu equipo pueda empezar mañana. Su valor real está en el costo que evita: Baidu financió el preentrenamiento de 33,5 billones de tokens y liberó el checkpoint para que otros no tengan que repetirlo. Eso abre una puerta concreta para equipos con capacidad de post-entrenamiento y presupuesto de GPUs, y es prácticamente irrelevante para quien solo quiere llamar a una API. La pregunta útil no es si este modelo es mejor que Qwen 3.8 Flash —hoy nadie ha medido eso de forma independiente—, sino si tu startup tiene el equipo, los datos y el caso de uso que justifiquen entrenar en lugar de alquilar.