Modelos LocaisBaixa importância
Três GPUs V100 aposentadas rodam o Qwen 3.6 35B a cerca de 100 tokens por segundo numa máquina caseira de US$ 1.042
Um entusiasta testou nove montagens com uma a três placas K80, P100 ou V100 de 16 GB, GPUs de servidor aposentadas, na mesma placa-mãe Supermicro com dois Xeon, em mais de 130 testes no llama.cpp, segundo o Tom's Hardware. Com três V100, o Qwen 3.6 35B chegou a cerca de 100 tokens por segundo, numa máquina que custou US$ 1.042; o Qwen 3.6 27B, denso, fez cerca de 24 tokens por segundo. Um Mac Studio M5 Max de US$ 5.399 é um pouco mais rápido com contexto curto, mas as V100 passam na frente a partir de 64 mil tokens de contexto. As V100 gastam cerca de metade da energia do mesmo número de P100 para o mesmo trabalho.
Publicado na edição nº 40 do Noticiário do Joãozinho ·
Fonte original
https://www.tomshardware.com/tech-industry/artificial-intelligence/three-e-waste-nvidia-v100s-hit-100-tokens-per-second-on-qwen-3-6-35b-in-a-usd1-042-homelab-rig-decommissioned-gpus-outpace-a-usd5-399-m5-max-mac-studio-at-long-contexts