LeCun e Balestriero dizem provar a “hipótese da representação platônica” com JEPAs, e um modelo de texto de 109M supera LLMs de até 72B
No artigo “Proving and Improving the Platonic Representation Hypothesis with JEPAs”, Randall Balestriero e Yann LeCun afirmam demonstrar matematicamente por que modelos treinados em dados diferentes convergem para representações parecidas do mundo. Na parte prática, um modelo de texto JEPA de 109 milhões de parâmetros se alinha melhor aos codificadores de imagem DINOv2 e CLIP do que todos os modelos de linguagem avaliados, de até 72 bilhões. Segundo o On The Wire, é uma pré-publicação sem revisão por pares, e a prova vale num cenário idealizado.