Modelos LocaisMédia importância
KQuant: novos pacotes de 4 bits para modelos Qwen no Mac prometem ficar até 3,7 vezes mais perto do modelo original
Um engenheiro da Nace, empresa por trás do modelo aberto Drex, apresentou no r/LocalLLaMA o KQuant, técnica de quantização (compressão dos pesos para caber em menos memória) feita, segundo ele, com o Claude Fable 5.2, o GPT-6 Astra e 128 subagentes. Os pacotes saem em MLX, para Mac, de graça no Hugging Face, para o Qwen3.5-4B e 9B, o Qwen3.8-27B, o Qwen3.6-35B-A3B e o Qwen3.8-Flash-Next, com versões GGUF prometidas para depois. Pelas medições do autor, de divergência KL (o quanto as previsões se afastam do modelo completo, não nota de tarefa), o Q4 do Flash-Next fica 3,7 vezes mais perto do original que o pacote público de 4 bits, e menor (105,2 contra 110,6 GB); nos outros, a vantagem vai de 1,45 a 2,6 vezes. Ele diz ainda que os pacotes rodam de 6% a 15% mais rápido no M5 Pro. Os números são do próprio autor.
Publicado na edição nº 26 do Noticiário do Joãozinho ·
Fonte original
https://www.reddit.com/r/LocalLLaMA/comments/1xu9onk/kquant_new_quantization_technique_37_better/