Open SourceMédia importância

Hugging Face libera 'Ultimate MoE Training Handbook' após ~800k GPU-hours

Em 05/11/2026 Thomas Wolf (@Thom_Wolf) anunciou no X o 'The Ultimate MoE Training Handbook' (Space HF huggingface/moe-blogpost): guia gratuito e aberto (~70k palavras, 55 figuras interativas, código executável) sobre treinar Mixture-of-Experts com Megatron-LM, baseado em ~800k GH200 GPU-hours no cluster Alps (CSCS). Contexto citado: 18 dos 20 melhores modelos open atuais são MoE. Cobre sizing de experts, all-to-all, routers, aux loss vs bias loss-free estilo DeepSeek, upcycling vs from-scratch, serving. Scripts e flags recomendados; galeria em huggingface/moe-gallery.