Negócios e InvestimentoMédia importância
Cerebras junta GPUs da AMD e seus chips gigantes na mesma inferência e diz entregar cinco vezes mais tokens por megawatt
A Cerebras lançou, já em produção, a inferência desagregada: as GPUs processam o prompt (a fase de prefill) e os sistemas CS-3 da Cerebras geram as respostas (a fase de decode). Na implantação em produção, GPUs AMD Instinct cuidam do prompt e um software chamado KV Portal leva o estado do modelo de um lado para o outro por RDMA. Segundo a empresa, num serviço com o GPT-OSS-120B medido em 14/11, o arranjo entregou cinco vezes mais vazão por megawatt que uma configuração só com CS-3, sem perder velocidade de geração. AWS, Fireworks AI, Gimlet Labs e General Compute têm acesso antecipado, e a Cerebras quer levar o modelo a centenas de megawatts até o fim de 2027.
Publicado na edição nº 38 do Noticiário do Joãozinho ·
Fonte original
https://www.cerebras.ai/blog/cerebras-launches-disaggregated-inference