Modelos LocaisMédia importância
Projeto smolmaxxing roda modelo de 16 bilhões de parâmetros numa TV box e num iPad de 2013 com 1 GB de RAM, e um de 35 bilhões num celular
O smolmaxxing, projeto de código aberto (licença MIT) que chegou à capa do Hacker News, procura o maior modelo que cada aparelho velho ou barato consegue rodar e o acelera com kernels próprios, uso cuidadoso de memória e pesos lidos direto do armazenamento. Pelos números medidos nos aparelhos, uma Xiaomi TV Box S, com cerca de 1 GB de RAM livre, roda o Qwen3.5-2B a 7,7 tokens por segundo e o Ling-mini-2.0, de 16 bilhões, a 5,1; um iPad Air de 2013 roda o Bonsai-1.7B de 1 bit a 24 a 26 tokens por segundo; e um OnePlus Nord CE 2, de 2022, com uns 3 GB livres, roda o Qwen3.6-35B-A3B a 4,9 a 5,7 tokens por segundo. O truque é manter só parte do modelo na memória e ler o resto conforme a necessidade.
Publicado na edição nº 27 do Noticiário do Joãozinho ·
Fonte original
GitHubDiscussão no Hacker News
https://github.com/hyperionaidev/smolmaxxing