Modelos LocaisMédia importância
Tether põe no QVAC SDK compressões que cortam em até cinco vezes a memória de contexto de modelos locais
A Tether integrou o TurboQuant e o TurboVec ao QVAC SDK, seu kit para IA local. O TurboQuant comprime o cache de contexto e reduz em até cinco vezes a memória usada para guardar o contexto durante a inferência; o TurboVec compacta índices de busca, e dez milhões de vetores típicos caem de cerca de 61 GB para perto de 8 GB, segundo o CIO. O TurboQuant entrou na versão 0.12.0 do SDK, para Windows e Linux com GPUs da NVIDIA, da AMD e da Intel.
Publicado na edição nº 39 do Noticiário do Joãozinho ·
Fonte original
https://www.cio.com/article/4250405/tether-solves-the-memory-challenge-for-ai-builders-who-dont-want-to-rely-on-the-cloud.html