ModelosMédia importância

SenseTime lança o SenseNova-Loop-9B, modelo que roda o mesmo bloco de camadas duas vezes

O SenseNova-Loop-9B-Preview, publicado em 30/10 sob licença Apache 2.0, é multimodal (texto e imagem de entrada) e foi treinado com contexto de até 262 mil tokens. Tem cerca de 9 bilhões de parâmetros, mas executa as camadas 4 a 27 duas vezes com os mesmos pesos: são 56 execuções de camada a partir de 32 camadas guardadas, o equivalente a cerca de 14,6 bilhões de parâmetros na inferência. Já há suporte via pull requests no vLLM e no SGLang.