ModelosImportancia media
Edge0 libera el código de Edge0-145B, un modelo de 145.000 millones de parámetros hecho para correr en un portátil con 29 GB de memoria
Edge0 publicó como código abierto Edge0-145B y Edge0-120B, junto con el framework de inferencia y las herramientas de instalación. Según la empresa, Edge0-145B corre en un portátil compatible, como un MacBook Pro, con un pico de 29 GB de memoria, genera más de 80 tokens por segundo, procesa más de 1.100 tokens por segundo al leer el prompt, consume unos 120 W y acepta de 128.000 a 256.000 tokens de contexto. Funciona en macOS, Windows y Linux, en chips Apple de la serie M y tarjetas NVIDIA RTX. Edge0 dice que el modelo planifica, escribe y ejecuta código y revisa el resultado, y que en código, razonamiento y seguimiento de instrucciones se acerca a algunos modelos de nube de punta; las cifras son de la propia empresa.
Publicado en la edición n.º 27 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
https://edge0.ai/blog/introducing-edge0-145b-frontier-ai-capabilities-on-your-own-computer