Open SourceMédia importância
Stanford abre o Memorilla, módulo de memória que resume uma coleção de documentos em 16 tokens para um LLM sem retreino e supera o contexto completo no FactKG
O grupo SNAP, de Jure Leskovec, em Stanford, com coautores de Toronto, Penn e MIT, publicou sob licença Apache 2.0 o código, as receitas de treino e os checkpoints do Memorilla. O módulo, de 194 milhões de parâmetros, lê a coleção inteira de documentos e entrega ao modelo sempre 16 “tokens de memória”, sem mexer no modelo principal (o Qwen3-8B, com o Qwen3-Embedding-4B como codificador). No FactKG, o Qwen3-8B acertou 84,33% com o Memorilla, contra 80,43% com todos os documentos no contexto, usando 108 vezes menos tokens para representar os documentos; no PersonaMem-v2, foram 44,60% contra 27,92%. Os números são dos autores, e o início rápido pede uma GPU de 80 GB.
Publicado na edição nº 30 do Noticiário do Joãozinho ·
Fonte original
MarkTechPostArtigo no arXivCódigo no GitHub
https://www.marktechpost.com/2026/11/14/stanford-memorilla-memory-system-16-memory-tokens/