Código abiertoImportancia media
Google abre el código de TPU Sync, una biblioteca que mueve caché y pesos entre memorias de las TPU y reduce hasta un 90% el tiempo hasta la primera respuesta
Google Cloud abrió el código de TPU Sync, una biblioteca en C++ que transfiere bloques de caché KV y pesos de modelos entre la memoria de las TPU, la memoria del servidor, el almacenamiento compartido y la red del centro de datos. El objetivo son dos casos en los que el acelerador suele quedarse esperando datos: servir modelos con contexto largo y con las etapas de lectura y de generación separadas en máquinas diferentes, y el aprendizaje por refuerzo, en el que los pesos nuevos deben llegar rápido a quienes generan ejemplos. Según Google, la mediana de transferencia de caché KV de Qwen3 235B bajó de varios segundos a unos 230 ms, con una reducción media del 60% en el tiempo hasta el primer token en ese modelo y del 90% en un modelo de 480B con poca concurrencia.
Publicado en la edición n.º 25 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
https://www.infoq.com/news/2026/11/google-tpu-sync/