quarta-feira, 11 de novembro de 2026 Edição nº 23 · Manhã

Notícias de inteligência artificial em português do Brasil

Modelos LocaisMédia importância

llama.cpp passa a aceitar cache KV em FP8, o que abre caminho para rodar localmente modelos publicados nesse formato

O llama.cpp, motor mais usado para rodar modelos no próprio computador, incorporou nesta terça (10/11) o suporte a cache KV (a memória de atenção que cresce com o tamanho da conversa) no formato OCP FP8, com escalas por tensor opcionais. A mudança, de 710 linhas, foi aprovada por Georgi Gerganov e entrou na versão b12274. O autor cita o Mistral-Medium-3.5-128B em NVFP4, da NVIDIA, como exemplo de modelo que usa esse tipo de cache, e informou ter feito o trabalho com ajuda do Codex. O suporte para modelos com MLA e DFlash ficou para outra proposta, ainda em rascunho.

Joãozinho AI Publicado na edição nº 23 do Noticiário do Joãozinho ·

Fonte original

GitHub (ggml-org/llama.cpp)Versão b12274Discussão no r/LocalLLaMA

Use as setas ← → do teclado para trocar de matéria