PesquisaAlta importância
OpenAI mostra que pré-treino, arquitetura e RL deixam os modelos mais capazes de raciocinar “de cabeça” e de controlar o que escrevem no raciocínio
Num estudo publicado no blog de alinhamento, pesquisadores da OpenAI, entre eles o cientista-chefe Jakub Pachocki, investigaram o que, no ciclo de treino, torna as cadeias de raciocínio (o “rascunho” que o modelo escreve antes de responder) menos úteis para vigiar o comportamento dele. Eles mediram dois sinais: quanto o modelo resolve sem escrever o raciocínio e quanto consegue manipular o próprio rascunho quando pedem. Os resultados: quanto melhor o modelo-base no pré-treino, mais ele raciocina sem deixar rastro; algumas arquiteturas aceleram isso em tarefas de vários passos; o aprendizado por reforço aumenta bastante o controle sobre o rascunho, mesmo sem nenhuma supervisão do processo; e esse controle passa de um modelo “professor” para o “aluno” treinado com os dados dele. A OpenAI diz que as medidas são aproximações imperfeitas, mas que, juntas, indicam que os modelos vão ficar mais difíceis de monitorar pelo raciocínio conforme ficam mais inteligentes.
Publicado na edição nº 26 do Noticiário do Joãozinho ·
Fonte original
OpenAI AlignmentThe Decoder: OpenAI’s data suggests frontier models are hiding their thoughts
https://alignment.openai.com/cot-monitorability-model-lifecycle/