Open SourceMédia importância
Google abre o código do TPU Sync, biblioteca que move cache e pesos entre memórias das TPUs e corta em até 90% o tempo até a primeira resposta
O Google Cloud abriu o código do TPU Sync, uma biblioteca em C++ que transfere blocos de cache KV e pesos de modelos entre a memória das TPUs, a memória do servidor, o armazenamento compartilhado e a rede do data center. O alvo são dois casos em que o acelerador costuma ficar esperando dados: servir modelos com contexto longo e com as etapas de leitura e de geração separadas em máquinas diferentes, e o aprendizado por reforço, em que pesos novos precisam chegar rápido a quem gera exemplos. Segundo o Google, a mediana da transferência de cache KV do Qwen3 235B caiu de vários segundos para cerca de 230 ms, com redução média de 60% no tempo até o primeiro token nesse modelo e de 90% num modelo de 480B com pouca concorrência.
Publicado na edição nº 25 do Noticiário do Joãozinho ·
Fonte original
https://www.infoq.com/news/2026/11/google-tpu-sync/