Modelo o1 da OpenAI e suas Cadeias ocultas de pensamento
Recentemente, a OpenAI lançou seu modelo o1 enfatizando suas habilidades de “raciocínio”. Mas a empresa tem sistematicamente impedido que os usuários explorem as novas capacidades.
Diferentemente dos LLMs anteriores da OpenAI, o modelo o1 foi treinado para “pensar” antes de responder a uma solicitação. Ou seja, ele possui um processo de resolução de problemas passo a passo antes de gerar uma resposta. Quando os usuários fazem uma pergunta a um modelo o1 no ChatGPT, eles têm a opção de ver uma cadeia de pensamentos do modelo. Mas ela não é a cadeia de pensamentos completa. Por design, a OpenAI oculta a cadeia bruta de pensamento. A versão mostrada a seus usuários é uma interpretação filtrada criada por um segundo modelo de IA.
Obviamente, a corrida para furar o bloqueio começou. Já surgiram vários relatos de pessoas usando diferentes técnicas de jailbreak para tentar enganar o modelo. E a OpenAI está criticando duramente qualquer tentativa de sondar o raciocínio dos LLMs o1, mesmo entre os meramente curiosos.
Nas redes sociais, usuários relatam o recebimento de e-mails de aviso e ameaças de banimento em caso de uso do termo “rastreamento de raciocínio” em conversa com modelo o1. Outros dizem que o aviso é acionado simplesmente perguntando ao ChatGPT sobre o “raciocínio” do modelo. O e-mail de aviso da OpenAI afirma que solicitações dos usuários foram sinalizadas por violar políticas de salvaguardas ou medidas de segurança da empresa.
Competição e transparência
Ao lançar o modelo o1, a OpenAI esclareceu que usaria cadeias ocultas de pensamento. A inclusão de cadeias ocultas de pensamento no novo modelo oferece uma oportunidade única de monitoramento dos LLMs. Elas permitem que a equipe técnica da OpenAI “leia a mente” dos modelos e entenda seus “processos de pensamento”. Para isso funcionar, os modelos devem ter liberdade para expressar seus pensamentos inalteradamente.
Paralelamente aos interesses técnicos, existem razões comerciais que justificam que a empresa não tenha interesse em tornar esses processos diretamente visíveis para os usuários.
É de amplo conhecimento na indústria de IA que pesquisadores de outras empresas usam regularmente as saídas do GPT-4 da OpenAI como dados de treinamento para outros modelos. Muitas vezes, os modelos treinados com esses dados se tornam concorrentes da própria OpenAI. Evidentemente, expor a cadeia bruta de pensamento de o1 seria uma bonança de dados de treinamento para seus competidores. Mas os críticos acreditam que o bloqueio prejudica a transparência da comunidade e a interpretabilidade do funcionamento dos modelos. Na comunidade de IA, não faltaram críticas à empresa.
