ERNIE 5.5 Flash: Baidu libera los pesos de su MoE de 280B con contexto de 1M — y arrasa entre los modelos base abiertos
ERNIE 5.5 Flash: Baidu apuesta por el modelo base abierto
Baidu publicó los pesos de ERNIE 5.5 Flash Base en Hugging Face y ModelScope (versiones FP8 y BF16): un MoE disperso de 280B de parámetros totales con solo 14B activados por token, preentrenado desde cero con 33,5 billones (trillion) de tokens. La decisión editorial de Baidu es inusual y explícita: liberan el checkpoint base —al final del preentrenamiento, antes de cualquier post-training— para que desarrolladores y grupos de investigación elijan su propio rumbo en adaptación de dominio, instruction tuning o RL, en vez de imponer un comportamiento terminado.
Arquitectura: eficiencia como diseño central
La familia de modelos chinos que dominan el tráfico open-weight compite por eficiencia, y ERNIE 5.5 Flash lleva la idea a cada componente:
- 43 capas híbridas: 1 densa + 42 MoE latente Multi-Router con 512 expertos routed (top-10) + 1 compartido, operando a media anchura (dimensión latente 2048).
- Atención híbrida HCA + MLA: 37 capas usan Heavily Compressed Attention (cachea una sola entrada cada 128 tokens, cabezas anchas de 512-d) y 6 capas MLA con sparse attention DSA mantienen acceso al contexto completo. Con el mismo presupuesto de KV-cache, esta combinación supera a la alternativa CSA.
- ECHO en lugar de MTP: la propia capa final del backbone predice tokens futuros —la pérdida multi-horizonte moldea directamente los parámetros— y además sirve como draft model integrado para speculative decoding.
- Virtual Head Attention y Low-Rank Gated Attention: una mezcla post-cabezas de bajo rango y una compuerta calculada desde el latente de query (−75% de parámetros de compuerta).
- Manifold-constrained Hyper-Connections en lugar del residual estándar, y cabeza MultiMax con temperatura por tramos.
El sistema de entrenamiento se co-diseñó con la arquitectura: Muon distribuido con un colectivo fused que sincroniza en un solo mensaje por rank (escala a miles de GPUs), sharding de optimizador balanceado en memoria y FlashMask-4, kernel de atención CuTe-DSL que en SM100 corre hasta 175% más rápido (forward) que FlashAttention-4 MaskMod.
Benchmarks: gana a DeepSeek, Hunyuan y MiMo
Baidu evaluó con pipeline unificado a los cuatro bases abiertos chinos de la clase ~300B. ERNIE gana en casi todas las tablas:
| Benchmark | ERNIE 5.5 (280B-A14B) | DeepSeek-V4-Flash (284B-A13B) | Hy3-preview (295B-A21B) | MiMo-V2.5 (310B-A15B) |
|---|---|---|---|---|
| MMLU | 93.3 | 89.4 | 87.5 | 87.6 |
| MMLU-Pro | 78.4 | 69.2 | 66.9 | 65.7 |
| GPQA | 60.2 | 55.9 | 50.2 | 51.4 |
| HumanEval+ | 82.3 | 69.5 | 78.0 | 74.4 |
| LiveCodeBench | 40.1 | 31.9 | 33.5 | 32.4 |
| RepoQA (long context) | 91.7 | 81.0 | 91.3 | 56.5 |
| LongBench-v2 | 48.7 | 44.5 | 39.8 | 44.6 |
Hy3-preview solo gana en FullStackBench (56.7 vs 54.6), BBH con CoT, HELMET-Rerank e InfiniteBench; DeepSeek mantiene el liderato en ChineseSimpleQA. La ventaja en código es la más amplia: +12.8 puntos en HumanEval+ y +13 en RepoQA sobre el base de DeepSeek — coherente con el énfasis del preentrenamiento en código a escala de repositorio (commits, issues, pull requests y fixes verificados por CI). Nótese que esta comparación es entre modelos base, no versiones instruct: el DeepSeek V4.1-Flash-1017 con post-training que cubrimos es otro animal.
Especificaciones y despliegue
| Característica | Detalle |
|---|---|
| Parámetros | 280B totales / 14B activos |
| Contexto | 128K (entrenamiento) / 1.048.576 (fine-tuning e inferencia) |
| Vocabulario | ~200K BPE con números right-to-left |
| Precisión | FP8 y BF16 (safetensors) |
| Serving | SGLang (Docker oficial) y vLLM 0.32 + plugin vLLM-ERNIE |
| Licencia | ERNIE 5.5 Flash Base Model License v1.0 (custom) |
Ambos runtimes oficiales aceptan contexto de hasta 1M para inferencia long-context, con recetas listas: la imagen lmsysorg/sglang:dev-ernie-55-flash con tensor parallel 4, o vLLM con KV cache FP8, expert parallel y el backend MoE humming.
Tres papers detrás del modelo
El release llega acompañado de la investigación publicada: Virtual Head Attention (octubre), ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction y Multi-View MoE — los cimientos de las tres innovaciones distintivas del modelo.
Preguntas frecuentes
¿Qué es ERNIE 5.5 Flash?
El MoE abierto de Baidu (2 de noviembre de 2026): 280B de parámetros totales, 14B activos por token, preentrenado con 33,5T de tokens y contexto de 1M en inferencia.
¿Por qué Baidu liberó solo el modelo base?
Decisión declarada: distintos dominios y aplicaciones agénticas requieren datos y políticas de comportamiento distintas. El checkpoint base permite adaptación de dominio, instruction tuning y RL a criterio de cada desarrollador.
¿Qué tan bueno es comparado con DeepSeek-V4-Flash?
En evaluación de modelos base con pipeline unificado, ERNIE gana en MMLU (93.3 vs 89.4), MMLU-Pro (78.4 vs 69.2), HumanEval+ (82.3 vs 69.5) y casi todos los tests de conocimiento, código y long-context.
¿Cómo lo despliego?
Con SGLang (imagen Docker oficial) o vLLM 0.32 con el plugin baidu/vLLM-ERNIE, ambos soportando contexto de hasta 1M. Pesos FP8 y BF16 en Hugging Face y ModelScope.
Fuentes: model card oficial de ERNIE-5.5-Flash-Base, blog técnico de ERNIE 5.5 Flash y colección oficial en Hugging Face.
Fuentes verificadas
https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
huggingface.co
https://ernie.baidu.com/release/ernie-5-5-flash-base/
ernie.baidu.com
https://huggingface.co/collections/baidu/ernie-55-flash
huggingface.co