Modelos LocalesImportancia media
Tether añade al QVAC SDK compresiones que reducen hasta cinco veces la memoria de contexto en modelos locales
Tether integró TurboQuant y TurboVec al QVAC SDK, su kit para IA local. TurboQuant comprime la caché de contexto y reduce hasta cinco veces la memoria utilizada para almacenar el contexto durante la inferencia; TurboVec compacta los índices de búsqueda, y diez millones de vectores típicos bajan de unos 61 GB a cerca de 8 GB, según el CIO. TurboQuant se incluyó en la versión 0.12.0 del SDK, para Windows y Linux con GPUs de NVIDIA, AMD e Intel.
Publicado en la edición n.º 39 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
https://www.cio.com/article/4250405/tether-solves-the-memory-challenge-for-ai-builders-who-dont-want-to-rely-on-the-cloud.html