Modelos LocaisMédia importância
NVIDIA mostra como servir o GLM-5.3, de 753 bilhões de parâmetros, em duas DGX Station ligadas em rede, com vLLM
A versão NVFP4 do GLM-5.3, modelo de mistura de especialistas da Z.ai com 753 bilhões de parâmetros e 40 bilhões ativos por token, precisa de cerca de 464 GB de memória de GPU, mais que os 252 GB de HBM3e de uma GPU GB300. O guia da NVIDIA liga duas DGX Station por ConnectX-8 com RDMA e divide o modelo entre as duas GPUs (paralelismo de tensor 2), servindo tudo por um único endpoint compatível com a API da OpenAI, com predição de vários tokens, cache KV em FP8 e cache de prefixo. No teste com o conjunto de código SPEED-Bench, a vazão máxima foi de 607,8 tokens por segundo com 16 pedidos simultâneos e caiu para 385 tokens por segundo com 32, com latência média de 453,5 segundos.
Publicado na edição nº 28 do Noticiário do Joãozinho ·
Fonte original
NVIDIA Technical BlogNVIDIA: como ligar duas DGX Station
https://developer.nvidia.com/blog/when-one-gpu-isnt-enough-serving-glm-5-3-across-two-nvidia-dgx-stations-with-vllm/