Open SourceAlta importância

Baidu libera os pesos do ERNIE-5.5-Flash-Base: MoE 280B (14B ativos), checkpoint só de pré-treino

A Baidu publicou nesta quinta (05/11) o ERNIE-5.5-Flash-Base no Hugging Face: MoE esparso com 280B parâmetros totais e 14B ativos por token, pré-treinado do zero em 33,5T tokens, contexto de treino até 128K e suporte a 1M tokens em fine-tune/inferência. O checkpoint é o fim do pré-treino, sem mid- nem post-training. A empresa reporta, no harness próprio contra bases similares (DeepSeek-V4-Flash-Base, Hy3-preview-Base, MiMo-V2.5-Base), MMLU 93,3, MMLU-Pro 78,4, HumanEval+ 82,3 e LiveCodeBench 40,1. Pesos em FP8 e BF16; licença customizada ERNIE 5.5 Flash Base Model License Agreement v1.0. O post-trained “will follow”. O post da @Baidu_Inc no X somava cerca de 214 mil views e 255 likes na medição desta edição.