InvestigaciónImportancia media

LeCun y Balestriero dicen probar la “hipótesis de la representación platónica” con JEPAs, y un modelo de texto de 109M supera a LLMs de hasta 72B

En el artículo “Proving and Improving the Platonic Representation Hypothesis with JEPAs”, Randall Balestriero y Yann LeCun afirman demostrar matemáticamente por qué modelos entrenados con datos diferentes convergen hacia representaciones parecidas del mundo. En la parte práctica, un modelo de texto JEPA de 109 millones de parámetros se alinea mejor con los codificadores de imagen DINOv2 y CLIP que todos los modelos de lenguaje evaluados, de hasta 72 mil millones. Según On The Wire, es una prepublicación sin revisión por pares, y la prueba vale en un escenario idealizado.