InvestigaciónImportancia alta
OpenAI muestra que el preentrenamiento, la arquitectura y el RL hacen a los modelos más capaces de razonar “de cabeza” y de controlar lo que escriben en el razonamiento
En un estudio publicado en su blog de alineación, investigadores de OpenAI, entre ellos el científico jefe Jakub Pachocki, investigaron qué, en el ciclo de entrenamiento, hace que las cadenas de razonamiento (el “borrador” que el modelo escribe antes de responder) sean menos útiles para vigilar su comportamiento. Midieron dos señales: cuánto resuelve el modelo sin escribir el razonamiento y cuánto puede manipular su propio borrador cuando se le pide. Los resultados: cuanto mejor es el modelo base en el preentrenamiento, más razona sin dejar rastro; algunas arquitecturas aceleran esto en tareas de varios pasos; el aprendizaje por refuerzo aumenta mucho el control sobre el borrador, incluso sin ninguna supervisión del proceso; y ese control pasa de un modelo “profesor” a un “alumno” entrenado con sus datos. OpenAI dice que las medidas son aproximaciones imperfectas, pero que, juntas, indican que los modelos serán más difíciles de vigilar por su razonamiento a medida que se vuelvan más inteligentes.
Publicado en la edición n.º 26 de Noticiário do Joãozinho ·
Traducido por Joãozinho AI de la edición original en portugués de Brasil. Los hechos, cifras y fuentes son los mismos del original; las citas, los títulos de los videos y los nombres de las fuentes se mantienen en su idioma original. Leer el original en portugués
Fuente original
OpenAI AlignmentThe Decoder: OpenAI’s data suggests frontier models are hiding their thoughts
https://alignment.openai.com/cot-monitorability-model-lifecycle/