Modelos LocalesImportancia baja
Tres GPUs V100 retiradas de servicio ejecutan el Qwen 3.6 35B a unos 100 tokens por segundo en una computadora casera de US$ 1.042
Un entusiasta probó nueve configuraciones con una a tres tarjetas K80, P100 o V100 de 16 GB, GPUs de servidor retiradas de servicio, en la misma placa base Supermicro con dos Xeon, realizando más de 130 pruebas en llama.cpp, según Tom's Hardware. Con tres V100, el Qwen 3.6 35B alcanzó unos 100 tokens por segundo en una máquina que costó US$ 1.042; el Qwen 3.6 27B denso generó unos 24 tokens por segundo. Un Mac Studio M5 Max de US$ 5.399 es un poco más rápido con contexto corto, pero las V100 superan a partir de 64 mil tokens de contexto. Las V100 consumen aproximadamente la mitad de energía que el mismo número de P100 para realizar la misma tarea.
Publicado en la edición n.º 40 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
https://www.tomshardware.com/tech-industry/artificial-intelligence/three-e-waste-nvidia-v100s-hit-100-tokens-per-second-on-qwen-3-6-35b-in-a-usd1-042-homelab-rig-decommissioned-gpus-outpace-a-usd5-399-m5-max-mac-studio-at-long-contexts