Open SourceMédia importância
Valkey 9.2 traz cache distribuído para inferência e promete cortar até 40% do gasto e até 80% da espera pelo primeiro token
O Valkey, banco de dados aberto em memória, lançou a versão 9.2 em 19/11 com cache distribuído de chave e valor para inferência de IA: os motores de inferência reaproveitam os tensores de prompts já processados em vez de recalcular. Segundo o anúncio do projeto, o cache compartilhado pode reduzir o gasto com inferência em até 40% e a espera pelo primeiro token em até 80% nas GPUs que a empresa já tem. A Multiverse Computing atendeu 50% mais pedidos nas mesmas GPUs. No teste sintético do projeto, com 100 conversas simultâneas de 12 mil a 28 mil tokens de contexto, a latência mediana do primeiro token caiu 23% no tráfego normal e 95% no pico, e o cache somou cerca de 15% à conta de GPU.
Publicado na edição nº 40 do Noticiário do Joãozinho ·
Fonte original
https://www.unite.ai/valkey-9-2-launches-with-distributed-kv-caching-for-ai-inference/