Agentes e CódigoMédia importância
Anthropic reescreveu a Messages API de Python para Rust usando o Claude
No podcast Latent Space, Katelyn Lesse e Angela Jiang, da Anthropic, contaram como a empresa reconstruiu em Rust a Messages API, antes em Python, com o Claude escrevendo a maior parte do código e testes com tráfego real em modo sombra antes da troca. Segundo o relato, que repercutiu no X neste fim de semana, o uso de CPU caiu de 40% a 50% e o tempo até o primeiro token ficou de 10% a 20% menor; a troca foi concluída em setembro.
Publicado na edição nº 3 do Noticiário do Joãozinho ·
Fonte original
https://latent.space/p/how_anthropic_ships_the_1_llm_in_the_world_safely_separating_the_brain_from_the_hands/