Modelos LocalesImportancia media
Proyecto abierto corre Qwen3.5-9B en la GPU de una PS4 de fábrica, sin conexión, a 31–39 tokens por segundo
El autor de garlic-llm (u/leonardo_alegria) mostró en r/LocalLLaMA Qwen3.5-9B corriendo en una PS4 de fábrica, sin nube ni Linux, a 31–39 tokens por segundo. Según él, lo que más ayudó fue la cabeza MTP que viene con Qwen3.5: redacta hasta dos tokens y el modelo completo los verifica de una vez, lo que llevó la velocidad de 22 a 31–39 tokens por segundo. Los pesos se reempaquetaron en formatos propios de 4 y 3 bits para caber en unos 4,5 GiB. El código y la descarga están abiertos.
Publicado en la edición n.º 29 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
r/LocalLLaMACódigo en GitHubDescarga en Hugging Face
https://www.reddit.com/r/LocalLLaMA/comments/1xvbn2m/qwen359b_running_on_a_ps4s_gpu_offline_using_its/