Agentes e CódigoMédia importância
Teste com 27 mil execuções mostra que a ferramenta em volta do modelo muda até cinco vezes o custo de um agente de código, sem acertar mais
A Runta, em parceria com a Baseten, publicou o FrontierHarness Eval v1.1, que compara os “harnesses”, as ferramentas que envolvem o modelo num agente de código. Foram 22 configurações de 18 harnesses, cinco modelos abertos (GLM-5.3, GLM Flash, DeepSeek V4.1 Flash, Muse e Kimi-K3) e 62 tarefas de terminal, num total de 27.280 execuções e cerca de 83 bilhões de tokens. Com o modelo fixo, o harness mais caro custou de 1,8 a 5 vezes mais por tarefa que o mais barato, e custo e taxa de acerto quase não andaram juntos. O melhor custo-benefício muda com o modelo: o Codex CLI foi o primeiro com o GLM-5.3 e o 16º com o Kimi-K3. Segundo o estudo, 64,5% do gasto foi para tentativas que não passaram. O teste só usou modelos abertos, servidos por um único provedor.
Publicado na edição nº 38 do Noticiário do Joãozinho ·
Fonte original
https://runta.com/blog/introducing-frontierharness-eval-v1-1/