ModelosImportancia media

SenseTime lanza SenseNova-Loop-9B, un modelo que ejecuta dos veces el mismo bloque de capas

SenseNova-Loop-9B-Preview, publicado el 30/10 bajo licencia Apache 2.0, es multimodal (texto e imagen de entrada) y se entrenó con un contexto de hasta 262 mil tokens. Tiene unos 9 mil millones de parámetros, pero ejecuta las capas 4 a 27 dos veces con los mismos pesos: son 56 ejecuciones de capa a partir de 32 capas guardadas, el equivalente a unos 14,6 mil millones de parámetros en inferencia. Ya hay soporte mediante pull requests en vLLM y SGLang.