Open SourceAlta importância
K2-Horizon: seis modelos totalmente abertos, de 0,9 bilhão a 375 bilhões de parâmetros, com dados, checkpoints e código de treino publicados
A equipe K2 publicou o K2-Horizon, uma frota de seis modelos de linguagem totalmente abertos, de um modelo denso de 0,9 bilhão de parâmetros a um MoE de 375 bilhões com 23 bilhões ativos, voltados a raciocínio e trabalho de agente em matemática, ciência, engenharia de software, pesquisa e automação de escritório. Segundo o artigo, os modelos lideram ou competem com os melhores modelos abertos do mesmo tamanho em testes de agentes e código. A equipe apresenta a Mixture-of-Value Attention (MoVA) e adaptadores de difusão chamados Uno, que aceleram a geração em até 2,2 vezes sem modelo de rascunho separado. Seguindo a definição de código aberto do LLM360, a liberação inclui checkpoints intermediários de cada etapa, dados de pré-treino (cerca de 10 trilhões de tokens sintéticos, num corpus de 22 trilhões), registros de treino e todo o código de treino, avaliação e infraestrutura.
Publicado na edição nº 36 do Noticiário do Joãozinho ·
Fonte original
Hugging Face PapersArtefatos do K2-Horizon
https://huggingface.co/papers/2611.21003