Fofocas das redesRedditMédia importância
Desenvolvedor roda o Qwen3.5-9B na GPU de um PlayStation 4 comum, sem internet, e o post vai ao topo do r/LocalLLaMA
O autor (u/leonardo_alegria) diz que o Qwen3.5-9B roda num PS4 de fábrica a 31 a 39 tokens por segundo, usando a própria cabeça de predição de vários tokens (MTP) do modelo para decodificação especulativa, o que, segundo ele, subiu a velocidade de 22 para 31 a 39 tokens por segundo. Os pesos foram reempacotados em formatos de 4 e 3 bits para caber em cerca de 4,5 GiB. O projeto, garlic-llm, é gratuito e de código aberto, e o autor diz que o modelo conversa, ouve e escreve código, sem nuvem nem assinatura.
Publicado na edição nº 28 do Noticiário do Joãozinho ·