Código abiertoImportancia alta

Baidu libera los pesos de ERNIE-5.5-Flash-Base: MoE 280B (14B activos), checkpoint solo de preentrenamiento

Baidu publicó este jueves (05/11) ERNIE-5.5-Flash-Base en Hugging Face: MoE disperso con 280B parámetros totales y 14B activos por token, preentrenado desde cero en 33,5T tokens, contexto de entrenamiento hasta 128K y soporte a 1M tokens en fine-tune/inferencia. El checkpoint es el final del preentrenamiento, sin mid- ni post-training. La empresa reporta, en su propio harness frente a bases similares (DeepSeek-V4-Flash-Base, Hy3-preview-Base, MiMo-V2.5-Base), MMLU 93,3, MMLU-Pro 78,4, HumanEval+ 82,3 y LiveCodeBench 40,1. Pesos en FP8 y BF16; licencia personalizada ERNIE 5.5 Flash Base Model License Agreement v1.0. El post-trained “will follow”. El post de @Baidu_Inc en X sumaba cerca de 214 mil views y 255 likes en la medición de esta edición.