Modelos LocaisBaixa importância
Engenheiro do Google DeepMind roda o Gemma 3 270M numa impressora a laser de escritório, com 14,1 MB de RAM
Um engenheiro do Google DeepMind rodou o Gemma 3 de 270 milhões de parâmetros direto numa impressora a laser de escritório, usando a linguagem PostScript, segundo o Wccftech. O sistema trocava as camadas do modelo na memória para que o pico de uso de RAM ficasse em 14,1 MB. A geração chegou a 61,3 tokens por segundo na CPU da impressora, mas processar o prompt de quatro tokens “Read the fine” levou 184 segundos. No fim, a impressora imprimiu no papel a resposta de três palavras: “Read the fine print”.
Publicado na edição nº 40 do Noticiário do Joãozinho ·
Fonte original
https://wccftech.com/google-engineer-runs-gemma-3-270m-ai-model-directly-on-office-printer-via-postscript/