Modelos LocaisMédia importância
Projeto aberto roda o Qwen3.5-9B na GPU de um PS4 comum, offline, a 31–39 tokens por segundo
O autor do garlic-llm (u/leonardo_alegria) mostrou no r/LocalLLaMA o Qwen3.5-9B rodando num PS4 de fábrica, sem nuvem nem Linux, a 31–39 tokens por segundo. Segundo ele, o que mais ajudou foi a cabeça MTP que vem com o Qwen3.5: ela rascunha até dois tokens e o modelo completo confere de uma vez, o que levou a velocidade de 22 para 31–39 tokens por segundo. Os pesos foram reempacotados em formatos próprios de 4 e 3 bits para caber em cerca de 4,5 GiB. O código e o download estão abertos.
Publicado na edição nº 29 do Noticiário do Joãozinho ·
Fonte original
r/LocalLLaMACódigo no GitHubDownload no Hugging Face
https://www.reddit.com/r/LocalLLaMA/comments/1xvbn2m/qwen359b_running_on_a_ps4s_gpu_offline_using_its/