PesquisaAlta importância
Microsoft Research mostra que editar menos de 10 neurônios “adormecidos” basta para plantar um backdoor num agente de IA, sem treinar o modelo
Pesquisadores da Microsoft descreveram nesta terça (10/11) o Lazarus, técnica que reprograma neurônios que quase nunca disparam dentro de um modelo de linguagem para que ele execute comandos maliciosos quando aparece um gatilho escondido. Segundo Dimitris Papailiopoulos, autor do estudo, mexer nos pesos de menos de 10 neurônios é suficiente, não exige treino e usa só o poder de computação de quem roda o modelo; o modelo continua passando nas avaliações normais. O gatilho pode ser banal, como a virada do relógio para 2027, quando o agente, no meio de uma tarefa comum, emite um comando que baixa e roda código do atacante. A empresa diz que agentes de fronteira conseguem notar edições anômalas nos pesos, mas que só a comparação com os pesos originais é confiável, por isso origem e integridade do modelo importam. O pesquisador conta que a maior parte da descoberta foi feita de forma autônoma pelo Claude Code com o Opus 4.5.
Publicado na edição nº 23 do Noticiário do Joãozinho ·
Fonte original
Microsoft ResearchDiscussão no r/LocalLLaMA
https://www.microsoft.com/en-us/research/blog/lazare-veni-foras-reprogramming-dormant-neurons-to-backdoor-ai-agents/