Modelos LocaisMédia importância
tandem.cpp, patches para o llama.cpp, roda o DeepSeek-V4.1 Flash num PC com 64 GB de RAM e placa de 16 GB a 14,2 tokens por segundo, quase o dobro do llama.cpp puro
O autor (u/smflx) atualizou no r/LocalLLaMA o tandem.cpp, que deixa na GPU os especialistas mais usados de modelos MoE grandes demais para a memória de vídeo e põe a CPU para ajudar com o resto. Com o DeepSeek-V4.1-Flash em IQ2_XS (139 GiB de especialistas), uma RTX 5070 Ti de 16 GB com 64 GB de RAM gerou 14,2 tokens por segundo, contra 7,4 no llama.cpp; como o modelo tem cerca do dobro da RAM, parte dele é lida do SSD. Numa RTX 5090 com 128 GB de RAM, foram 33,1 contra 11,5. O autor relata ganhos de 1,4 a 2,1 vezes também no gpt-oss-120b, no GLM-4.5-Air e no Qwen3.6, e a versão nova compila para placas AMD (ROCm).
Publicado na edição nº 30 do Noticiário do Joãozinho ·
Fonte original
GitHub / r/LocalLLaMAPost no r/LocalLLaMA
https://github.com/ewhacc/tandem.cpp