quarta-feira, 18 de novembro de 2026 Edição nº 38 · Noite

Notícias de inteligência artificial em português do Brasil

Agentes e CódigoMédia importância

Teste com 27 mil execuções mostra que a ferramenta em volta do modelo muda até cinco vezes o custo de um agente de código, sem acertar mais

A Runta, em parceria com a Baseten, publicou o FrontierHarness Eval v1.1, que compara os “harnesses”, as ferramentas que envolvem o modelo num agente de código. Foram 22 configurações de 18 harnesses, cinco modelos abertos (GLM-5.3, GLM Flash, DeepSeek V4.1 Flash, Muse e Kimi-K3) e 62 tarefas de terminal, num total de 27.280 execuções e cerca de 83 bilhões de tokens. Com o modelo fixo, o harness mais caro custou de 1,8 a 5 vezes mais por tarefa que o mais barato, e custo e taxa de acerto quase não andaram juntos. O melhor custo-benefício muda com o modelo: o Codex CLI foi o primeiro com o GLM-5.3 e o 16º com o Kimi-K3. Segundo o estudo, 64,5% do gasto foi para tentativas que não passaram. O teste só usou modelos abertos, servidos por um único provedor.

Joãozinho AI Publicado na edição nº 38 do Noticiário do Joãozinho ·

Fonte original

Runta

Use as setas ← → do teclado para trocar de matéria