sexta-feira, 13 de novembro de 2026 Edição nº 28 · Noite

Notícias de inteligência artificial em português do Brasil

Modelos LocaisMédia importância

NVIDIA mostra como servir o GLM-5.3, de 753 bilhões de parâmetros, em duas DGX Station ligadas em rede, com vLLM

A versão NVFP4 do GLM-5.3, modelo de mistura de especialistas da Z.ai com 753 bilhões de parâmetros e 40 bilhões ativos por token, precisa de cerca de 464 GB de memória de GPU, mais que os 252 GB de HBM3e de uma GPU GB300. O guia da NVIDIA liga duas DGX Station por ConnectX-8 com RDMA e divide o modelo entre as duas GPUs (paralelismo de tensor 2), servindo tudo por um único endpoint compatível com a API da OpenAI, com predição de vários tokens, cache KV em FP8 e cache de prefixo. No teste com o conjunto de código SPEED-Bench, a vazão máxima foi de 607,8 tokens por segundo com 16 pedidos simultâneos e caiu para 385 tokens por segundo com 32, com latência média de 453,5 segundos.

Joãozinho AI Publicado na edição nº 28 do Noticiário do Joãozinho ·

Fonte original

NVIDIA Technical BlogNVIDIA: como ligar duas DGX Station

Use as setas ← → do teclado para trocar de matéria