Negocios e InversiónImportancia media
Cerebras une las GPU de AMD y sus chips gigantes en la misma inferencia y afirma que entrega cinco veces más tokens por megavatio
Cerebras lanzó, ya en producción, la inferencia desagregada: las GPU procesan el prompt (la fase de prefill) y los sistemas CS-3 de Cerebras generan las respuestas (la fase de decode). En la implementación en producción, las GPU AMD Instinct se encargan del prompt y un software llamado KV Portal transfiere el estado del modelo de un lado a otro mediante RDMA. Según la empresa, en un servicio con el GPT-OSS-120B medido el 14/11, la configuración entregó cinco veces más rendimiento por megavatio que una configuración solo con CS-3, sin perder velocidad de generación. AWS, Fireworks AI, Gimlet Labs y General Compute tienen acceso anticipado, y Cerebras busca llevar el modelo a cientos de megavatios para finales de 2027.
Publicado en la edición n.º 38 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
https://www.cerebras.ai/blog/cerebras-launches-disaggregated-inference