Modelos LocalesImportancia media
tandem.cpp, parches para llama.cpp, ejecuta DeepSeek-V4.1 Flash en un PC con 64 GB de RAM y tarjeta de 16 GB a 14,2 tokens por segundo, casi el doble que llama.cpp puro
El autor (u/smflx) actualizó en r/LocalLLaMA tandem.cpp, que deja en la GPU los expertos más usados de modelos MoE demasiado grandes para la memoria de vídeo y pone a la CPU a ayudar con el resto. Con DeepSeek-V4.1-Flash en IQ2_XS (139 GiB de expertos), una RTX 5070 Ti de 16 GB con 64 GB de RAM generó 14,2 tokens por segundo, frente a 7,4 en llama.cpp; como el modelo ocupa cerca del doble de la RAM, parte se lee del SSD. En una RTX 5090 con 128 GB de RAM, fueron 33,1 frente a 11,5. El autor informa mejoras de 1,4 a 2,1 veces también en gpt-oss-120b, GLM-4.5-Air y Qwen3.6, y la nueva versión compila para tarjetas AMD (ROCm).
Publicado en la edición n.º 30 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
GitHub / r/LocalLLaMAPublicación en r/LocalLLaMA
https://github.com/ewhacc/tandem.cpp