Código abiertoImportancia media
AWS abre el código de UAEF, que evalúa agentes de IA en 36 criterios y avisa cuando un cambio los empeora
Amazon Web Services liberó como código abierto el Universal Agent Evaluation Framework (UAEF), una herramienta gratuita que evalúa agentes de IA hechos con distintos kits, como LangGraph, LangChain, Strands Agents y Amazon Bedrock AgentCore. Convierte los registros de cada kit a un formato único y califica al agente en 36 criterios, divididos en siete áreas, como uso de herramientas, calidad de las respuestas, seguridad, velocidad y trabajo con otros agentes. Parte de las notas se calcula directamente y parte la da otro modelo de IA en Bedrock. Cualquier nota que caiga más de 5% respecto a una ronda anterior se marca como regresión, de leve a grave.
Publicado en la edición n.º 24 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
https://thenextweb.com/news/aws-uaef-open-source-ai-agent-evaluation