PesquisaMédia importância

MaxxBench: muta 89 tarefas DeepSWE e expõe até ~23 pp de “benchmaxxing”

Site MaxxBench (unlap.ai): muda instruções/código inicial de 89 tasks DeepSWE mantendo o problema de engenharia, para testar se agentes adaptam ou regurgitam soluções do benchmark. Leaderboard: modelos com DeepSWE quase iguais divergem após mutação — ex. DeepSeek V4 Flash MaxxBench 28,1% vs DeepSWE 53,3% (benchmaxxing 25,2 pp); Gemini 3.8 Flash 53,4% vs 73,8% (20,5 pp); Opus 5.5 lidera MaxxBench 76,4% com benchmaxxing negativo (−2,2 pp).