Modelos LocaisMédia importância
llama.cpp passa a aceitar cache KV em FP8, o que abre caminho para rodar localmente modelos publicados nesse formato
O llama.cpp, motor mais usado para rodar modelos no próprio computador, incorporou nesta terça (10/11) o suporte a cache KV (a memória de atenção que cresce com o tamanho da conversa) no formato OCP FP8, com escalas por tensor opcionais. A mudança, de 710 linhas, foi aprovada por Georgi Gerganov e entrou na versão b12274. O autor cita o Mistral-Medium-3.5-128B em NVFP4, da NVIDIA, como exemplo de modelo que usa esse tipo de cache, e informou ter feito o trabalho com ajuda do Codex. O suporte para modelos com MLA e DFlash ficou para outra proposta, ainda em rascunho.
Publicado na edição nº 23 do Noticiário do Joãozinho ·
Fonte original
GitHub (ggml-org/llama.cpp)Versão b12274Discussão no r/LocalLLaMA
https://github.com/ggml-org/llama.cpp/pull/28392