Agentes e CódigoMédia importância
Agentes de código acham a solução cedo, mas não sabem parar: estudo mostra que até 60% dos passos vêm depois do patch correto
O estudo “Termination Lag” acompanhou 5 modelos, 2 frameworks de agentes e 3 conjuntos do SWE-bench, avaliando os patches intermediários durante a execução. Segundo os autores, de 38% a 82% das execuções que chegam ao patch correto acertam já na primeira edição do código-fonte; nas execuções bem-sucedidas, a mediana de 35% a 60% dos passos acontece depois de o patch certo estar pronto, quase sempre verificando e explorando; e de 1% a 8% das vezes o agente estraga uma solução que já estava correta. Os autores concluem que ensinar os agentes a reconhecer a hora de parar pode cortar muito processamento.
Publicado na edição nº 36 do Noticiário do Joãozinho ·
Fonte original
https://huggingface.co/papers/2611.14960