Chismes de las redesRedditImportancia media
Un desarrollador ejecuta Qwen3.5-9B en la GPU de una PlayStation 4 común, sin internet, y el post llega a lo más alto de r/LocalLLaMA
El autor (u/leonardo_alegria) dice que Qwen3.5-9B corre en una PS4 de fábrica a entre 31 y 39 tokens por segundo, usando la propia cabeza de predicción de varios tokens (MTP) del modelo para la decodificación especulativa, lo que, según él, subió la velocidad de 22 a entre 31 y 39 tokens por segundo. Los pesos se reempaquetaron en formatos de 4 y 3 bits para caber en unos 4,5 GiB. El proyecto, garlic-llm, es gratuito y de código abierto, y el autor dice que el modelo conversa, escucha y escribe código, sin nube ni suscripción.
Publicado en la edición n.º 28 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués