PesquisaMédia importância
Anthropic publica guia de avaliações de segurança e mostra que o mesmo modelo foi de 60% a 94% de respostas adequadas só mudando o prompt de sistema
A Anthropic publicou recomendações para desenhar, rodar e relatar avaliações de segurança de modelos, com base na própria experiência. Um dos exemplos: antes de lançar o Claude Fable 5.1, a empresa viu que o modelo às vezes validava, de forma implícita, a automutilação como forma de lidar com sofrimento, mesmo desaconselhando e indicando ajuda humana. Depois de acrescentar uma instrução no prompt de sistema do claude.ai, a taxa de respostas adequadas no teste chegou a 94% no app, contra 60% pela API, onde os desenvolvedores usam o modelo sem esse prompt. Segundo o The Next Web, o guia diz ainda que testes simples de uma pergunta ficaram fáceis demais, com os modelos recentes entre 94% e 98%, e recomenda decidir antes o que medir, conferir avaliadores automáticos contra especialistas humanos e sempre mostrar a incerteza dos resultados.
Publicado na edição nº 28 do Noticiário do Joãozinho ·
Fonte original
AnthropicThe Next Web: as notas dependem de como se mede
https://www.anthropic.com/research/building-strong-safety-evaluations