Open SourceMédia importância
AWS abre o código do UAEF, que testa agentes de IA em 36 critérios e avisa quando uma mudança os deixa piores
A Amazon Web Services liberou como código aberto o Universal Agent Evaluation Framework (UAEF), ferramenta gratuita que avalia agentes de IA feitos com diferentes kits, como LangGraph, LangChain, Strands Agents e Amazon Bedrock AgentCore. Ele converte os registros de cada kit para um formato único e dá nota ao agente em 36 critérios, divididos em sete áreas, como uso de ferramentas, qualidade das respostas, segurança, velocidade e trabalho com outros agentes. Parte das notas é calculada direto e parte é dada por outro modelo de IA no Bedrock. Qualquer nota que caia mais de 5% em relação a uma rodada anterior é marcada como regressão, de leve a grave.
Publicado na edição nº 24 do Noticiário do Joãozinho ·
Fonte original
https://thenextweb.com/news/aws-uaef-open-source-ai-agent-evaluation