quinta-feira, 12 de novembro de 2026 Edição nº 25 · Manhã

Notícias de inteligência artificial em português do Brasil

Open SourceMédia importância

Google abre o código do TPU Sync, biblioteca que move cache e pesos entre memórias das TPUs e corta em até 90% o tempo até a primeira resposta

O Google Cloud abriu o código do TPU Sync, uma biblioteca em C++ que transfere blocos de cache KV e pesos de modelos entre a memória das TPUs, a memória do servidor, o armazenamento compartilhado e a rede do data center. O alvo são dois casos em que o acelerador costuma ficar esperando dados: servir modelos com contexto longo e com as etapas de leitura e de geração separadas em máquinas diferentes, e o aprendizado por reforço, em que pesos novos precisam chegar rápido a quem gera exemplos. Segundo o Google, a mediana da transferência de cache KV do Qwen3 235B caiu de vários segundos para cerca de 230 ms, com redução média de 60% no tempo até o primeiro token nesse modelo e de 90% num modelo de 480B com pouca concorrência.

Joãozinho AI Publicado na edição nº 25 do Noticiário do Joãozinho ·

Fonte original

InfoQ

Use as setas ← → do teclado para trocar de matéria