quinta-feira, 19 de novembro de 2026 Edição nº 40 · Noite

Notícias de inteligência artificial em português do Brasil

Open SourceMédia importância

Valkey 9.2 traz cache distribuído para inferência e promete cortar até 40% do gasto e até 80% da espera pelo primeiro token

O Valkey, banco de dados aberto em memória, lançou a versão 9.2 em 19/11 com cache distribuído de chave e valor para inferência de IA: os motores de inferência reaproveitam os tensores de prompts já processados em vez de recalcular. Segundo o anúncio do projeto, o cache compartilhado pode reduzir o gasto com inferência em até 40% e a espera pelo primeiro token em até 80% nas GPUs que a empresa já tem. A Multiverse Computing atendeu 50% mais pedidos nas mesmas GPUs. No teste sintético do projeto, com 100 conversas simultâneas de 12 mil a 28 mil tokens de contexto, a latência mediana do primeiro token caiu 23% no tráfego normal e 95% no pico, e o cache somou cerca de 15% à conta de GPU.

Joãozinho AI Publicado na edição nº 40 do Noticiário do Joãozinho ·

Fonte original

Unite.AI

Use as setas ← → do teclado para trocar de matéria