Modelos LocaisAlta importância
llama.cpp chega à versão 1.0, três anos e meio depois de nascer, com promessa de API estável para quem roda IA local
O ggml-org lançou nesta sexta (13/11) a versão 1.0.0 das bibliotecas do llama.cpp e do ggml, o motor que permite rodar modelos de linguagem multimodais em praticamente qualquer hardware, do notebook ao servidor. Segundo o anúncio, muitos aplicativos já dependem do projeto, e a nova numeração assume a responsabilidade com eles: a partir de agora, mudanças que quebrem a API ou a ABI virão com troca de versão principal, seguindo o versionamento semântico em todos os projetos do ggml-org. A equipe diz que vai investir mais na infraestrutura de testes automáticos, com HF Buckets e HF Jobs e apoio de hardware de NVIDIA, AMD e Qualcomm, entre outros, e que segue usando LLMs no desenvolvimento “de forma cuidadosa”.
Publicado na edição nº 28 do Noticiário do Joãozinho ·
Fonte original
Hugging Face (ggml-org)Release v1.0.0 no GitHubDiscussão no r/LocalLLaMA
https://huggingface.co/blog/ggml-org/llama-cpp-v1