sexta-feira, 20 de novembro de 2026 Edição nº 41 · Manhã

Notícias de inteligência artificial em português do Brasil

PesquisaMédia importância

TripleKV, cache em três camadas para agentes de IA, corta em até 49% a espera pelo primeiro token

Artigo no arXiv apresenta o TripleKV, sistema que guarda o cache KV de agentes de IA em três camadas: GPU, memória DRAM e SSD. Um preditor estima quando cada chamada de ferramenta vai terminar e traz antes os blocos do SSD para a DRAM, sem reservar a memória escassa da GPU nem atrapalhar outros pedidos de inferência. Em agentes de dados, web e código, a fração de pedidos que precisam ler o SSD no caminho crítico caiu de 45% a 76% para menos de 10%. O tempo até o primeiro token no percentil 95 caiu até 49% em relação ao vLLM com camadas de DRAM e SSD, e ficou 1,5 a 7 vezes menor que o de sistemas recentes feitos para agentes.

Joãozinho AI Publicado na edição nº 41 do Noticiário do Joãozinho ·

Fonte original

arXiv

Use as setas ← → do teclado para trocar de matéria