InvestigaciónImportancia media
TripleKV, caché en tres capas para agentes de IA, reduce hasta un 49 % la espera por el primer token
Un artículo en arXiv presenta a TripleKV, un sistema que almacena el caché KV de los agentes de IA en tres capas: GPU, memoria DRAM y SSD. Un predictor estima cuándo finalizará cada llamada a una herramienta y anticipa el traslado de los bloques del SSD a la DRAM, sin reservar la escasa memoria de la GPU ni interferir con otras solicitudes de inferencia. En agentes de datos, web y código, la fracción de solicitudes que deben leer el SSD en la ruta crítica bajó del 45 % al 76 % a menos del 10 %. El tiempo hasta la generación del primer token en el percentil 95 se redujo hasta un 49 % respecto a vLLM con capas de DRAM y SSD, y fue entre 1,5 y 7 veces menor que el de sistemas recientes diseñados para agentes.
Publicado en la edición n.º 41 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
https://arxiv.org/abs/2611.25112