Os grandes modelos de linguagem (LLMs) transformaram o processamento de linguagem natural. Porém, suas propensões para gerar conteúdos aparentemente plausíveis, mas factualmente incorretos, é uma preocupação crescente. LLMs geram textos com base nos prompts fornecidos, mas não há garantias de que os conteúdos gerados sejam precisos. Na verdade, em muitas ocasiões, os LLMs produzem textos absurdos e incorretos, o que é conhecido como “alucinação”.
Neste post, exploraremos o que é alucinação em LLMs e quais são suas causas.
Alucinação em LLMs
Na geração de linguagem natural, alucinação pode ser definida como a produção de conteúdo absurdo ou incorreto. O escopo da alucinação em LLMs é dividido em categorias de factualidade e fidelidade. Alucinações de factualidade englobam a discrepância entre o conteúdo gerado e fatos verificáveis do mundo real. Já as alucinações de fidelidade se referem à divergência entre o conteúdo gerado pelos LLMs e as instruções do usuário ou o contexto.
Alucinações de fidelidade
Podemos categorizar três tipos de alucinações de fidelidade: inconsistência de instrução, inconsistência de contexto e inconsistência lógica. Inconsistência de instrução é quando a saída de um LLM se desvia da diretiva do usuário. Quando a saída do LLM contradiz as informações contextuais fornecidas pelo usuário, a inconsistência é de contexto. Já a inconsistência lógica é quando as saídas do LLM exibem contradições lógicas internas, frequentemente observadas em tarefas de raciocínio.
Em exemplo famoso de inconsistência do ChatGPT
Recentemente, por exemplo, um estudo da Carnegie Mellon mostrou um novo método para persuadir saídas ofensivas e perigosas com LLM geradores de texto. Segundo os autores, a simples adição de um “sufixo adversário” (uma sequência que parece ser uma bobagem no final de um prompt) induz LLMs a emitirem saídas perigosas.
Alucinações de factualidade e suas causas
As alucinações de factualidade dos LLMs têm origens diversas. Elas incluem a qualidade dos dados de treino, a qualidade do treinamento em si e limitações intrínsecas do processo de inferência dos LLMs.
Vieses e erros
O desempenho de LLMs depende da qualidade dos dados de treinamento. Consequentemente, fontes de dados com erros podem levar a alucinações nesses modelos. Por exemplo, métodos heurísticos para obter dados em larga escala podem introduzir informações errôneas e vieses, potencialmente resultando em alucinações em LLMs. As alucinações também podem ser influenciadas por vieses relacionados ao gênero e à nacionalidade encontrados em textos baseados na internet.
Os LLMs são geralmente treinados com dados disponíveis publicamente. Consequentemente, não é incomum eles terem capacidades limitadas em tarefas que exigem conhecimento de domínio especializado. Essas limitações podem induzir invenções factuais ou alucinações nos modelos.
Se os dados de treinamento estiverem factualmente incorretos, os LLMs podem inadvertidamente amplificar essas imprecisões. Isso causa saídas enganosas nos modelos conhecidas como “falsidades imitativas”.
Dados duplicados e conhecimento desatualizado
As redes neurais, especialmente os LLMs, tendem a memorizar dados de treinamento. Essa tendência de memorização cresce com o tamanho do modelo. Ela se torna particularmente problemática quando há informações duplicadas nos dados de treinamento. Isso pode dar origem a um viés de duplicação. Nesses casos, os LLMs priorizam excessivamente a recuperação de dados duplicados e geram materiais que se desviam do conteúdo desejado.
Além disso, como o tempo requerido para treinar um LLM é muito longo, esses modelos têm capacidades restritas de conhecimentos atualizados. Em consequência, o conhecimento factual dentro dos LLMs pode se tornar desatualizado ao longo do tempo. Com isso, os LLMs podem fornecer respostas desatualizadas ou fabricadas quando confrontados com perguntas que transcendem seu escopo temporal.
Correlações espúrias e falhas de memória
LLMs podem codificar vasto conhecimento factual dentro de seus parâmetros. Mas isso não evita que esses modelos produzam alucinações devido à utilização inferior de seus conhecimentos paramétricos. Dois desafios cruciais são as correlações espúrias e as lutas na recuperação do conhecimento.
Estudos recentes sugerem que os modelos de linguagem muitas vezes dependem de atalhos em vez de entenderem os caminhos do conhecimento factual. Alguns atalhos conhecidos são o fechamento posicional e contagem de documentos relevantes dentro dos dados de treinamento. Esses atalhos podem introduzir vieses para correlações espúrias, levando potencialmente a alucinações se os vieses refletirem informações factualmente incorretas.
Adicionalmente, alucinações em LLMs podem ocorrer devido a falhas de memória e de conhecimento. Dois desafios principais são a inadequação em recordar o conhecimento de cauda longa e as dificuldades em cenários complexos que exigem raciocínio e dedução lógica.
Concluindo
Alucinações em LLMs são definidas como a geração de conteúdos absurdos ou incorretos. Elas podem ser causadas por vários fatores e são um risco potencial em inúmeras circunstâncias. Ainda não existem soluções efetivas para mitigar alucinações em LLMs. Limpar dados de treinamento contaminados e reciclar os modelos são algumas das propostas existentes, mas elas ainda são pouco efetivas devido ao tamanho dos LLMs.
Para os usuários de LLMs como os modelos GPT 3 e GPT 4 do ChatGPT, uma opção é fornecer prompts bem detalhados e com restrições claras que limitem a liberdade dos modelos para alucinar. Além disso, é sempre importante checar os conteúdos gerados com outras fontes para minimizar as chances de erro.
