InvestigaciónImportancia media

MaxxBench: muta 89 tareas DeepSWE y expone hasta ~23 pp de “benchmaxxing”

Sitio MaxxBench (unlap.ai): cambia instrucciones/código inicial de 89 tasks DeepSWE manteniendo el problema de ingeniería, para probar si los agentes adaptan o regurgitan soluciones del benchmark. Leaderboard: modelos casi empatados en DeepSWE divergen tras la mutación — ej. DeepSeek V4 Flash MaxxBench 28,1% vs DeepSWE 53,3% (benchmaxxing 25,2 pp); Gemini 3.8 Flash 53,4% vs 73,8% (20,5 pp); Opus 5.5 lidera MaxxBench 76,4% con benchmaxxing negativo (−2,2 pp).