Código abiertoImportancia media
Hugging Face libera 'Ultimate MoE Training Handbook' tras ~800k GPU-hours
El 05/11/2026 Thomas Wolf (@Thom_Wolf) anunció en X 'The Ultimate MoE Training Handbook' (Space HF huggingface/moe-blogpost): guía gratuita y abierta (~70k palabras, 55 figuras interactivas, código ejecutable) sobre entrenar Mixture-of-Experts con Megatron-LM, basada en ~800k GH200 GPU-hours en el cluster Alps (CSCS). Contexto citado: 18 de los 20 mejores modelos open actuales son MoE. Cubre sizing de experts, all-to-all, routers, aux loss vs bias loss-free estilo DeepSeek, upcycling vs from-scratch, serving. Scripts y flags recomendados; galería en huggingface/moe-gallery.
Publicado en la edición n.º 13 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
Hugging Face / Thomas Wolf (X)X @Thom_WolfGalería de figuras
https://huggingface.co/spaces/huggingface/moe-blogpost