Modelos LocalesImportancia media
NVIDIA muestra cómo servir GLM-5.3, de 753.000 millones de parámetros, en dos DGX Station conectadas en red, con vLLM
La versión NVFP4 de GLM-5.3, modelo de mezcla de expertos de Z.ai con 753.000 millones de parámetros y 40.000 millones activos por token, necesita unos 464 GB de memoria de GPU, más que los 252 GB de HBM3e de una GPU GB300. La guía de NVIDIA conecta dos DGX Station mediante ConnectX-8 con RDMA y divide el modelo entre las dos GPU (paralelismo de tensor 2), sirviendo todo por un único endpoint compatible con la API de OpenAI, con predicción de varios tokens, caché KV en FP8 y caché de prefijo. En la prueba con el conjunto de código SPEED-Bench, el rendimiento máximo fue de 607,8 tokens por segundo con 16 pedidos simultáneos y cayó a 385 tokens por segundo con 32, con una latencia media de 453,5 segundos.
Publicado en la edición n.º 28 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
NVIDIA Technical BlogNVIDIA: cómo conectar dos DGX Station
https://developer.nvidia.com/blog/when-one-gpu-isnt-enough-serving-glm-5-3-across-two-nvidia-dgx-stations-with-vllm/