LLMs e prompts
Os grandes modelos de linguagem (LLMs) já fazem parte de nossas vidas. Como ferramentas com múltiplas possibilidades, eles podem contribuir muito para nos auxiliar. Porém, para extrair o melhor desses modelos, precisamos saber interagir com eles mediante prompts (solicitações).
Os prompts desempenham um papel fundamental na formação da saída de um modelo de linguagem. Eles fornecem instruções sobre o que o modelo deve produzir. Os prompts também devem garantir que o conteúdo gerado não esteja apenas correto, mas alinhado com a finalidade ou o público pretendido. Isso ajuda na geração de textos mais úteis e contextualmente relevantes.
Com o avanço acelerado dos LLMs, a geração de prompts adquiriu importância fundamental. Prova disso é o número crescente de cursos sobre o tema. Hoje, a engenharia de prompt já é uma área consolidada. Afinal, interações com prompts simples nem sempre são eficazes na geração de bons conteúdos.
Para extrair o máximo dos LLMs, existe um interesse crescente na criação de prompts eficientes. Como consequência, novas técnicas de criação de prompts têm surgido e se difundindo rapidamente. Neste post, apresentaremos uma técnica conhecida com Chain-of-Thought (CoT). Ela se destaca como uma das principais estratégias para garantir bom desempenho dos LLMs em problemas de raciocínio.
Chain-of-Thought (CoT): Dividir para conquistar
CoT é uma técnica de prompting usada para aprimorar as capacidades de raciocínio dos LLMs ao lidar com problemas complexos. Publicado em 2022, CoT já é um dos métodos mais popular para obter recursos de raciocínio de LLMs. Sua popularidade tem uma razão óbvia: a técnica oferece fortes benefícios de desempenho.
CoT envolve o desenvolvimento de prompts que direcionam um LLM a realizar uma série de etapas intermediárias de raciocínio. Os prompts usados em CoT guiam o modelo a dividir seu processo de pensamento em uma série de etapas lógicas, em vez de fornecer uma resposta direta.
Na prática, o uso do CoT fornece uma janela interpretável para o comportamento de um modelo. E essa janela auxilia na compreensão dos caminhos para a geração de uma resposta específica e também ajuda na depuração de processos errados.
Exemplos de interações com um LLM usando um prompt com e sem CoT. Na versão com CoT, o prompt possui um exemplo do processo de raciocínio que o LLM deve seguir (fonte).
Ao incentivar o modelo a pensar nos problemas metodicamente, o CoT leva geralmente a resultados mais precisos. Essa melhora ocorre especialmente para tarefas que exigem raciocínio em várias etapas.
Prompts que favorecem habilidades cognitivas
Segundo os autores da técnica, as habilidades de raciocínio emergem em modelos de linguagem suficientemente grandes quando algumas demonstrações de cadeia de pensamento são fornecidas como exemplos de prompting. As melhoras de desempenho observadas com CoT ocorrem principalmente em tarefas que envolvem raciocínio matemático, lógico ou simbólico.
Exemplos de respostas onde um LLM exibe sua cadeia de pensamento (CoT) para a construção de respostas. As partes com CoT aparecem pintadas (fonte).
Como usar CoT em seus Prompts?
A estratégia geral para usar CoT é simples.
Comece com a pergunta: você apresenta ao LLM a questão ou tarefa real que deseja resolver.
Divida: em seguida, você fornece uma sequência de etapas de raciocínio estruturado que demonstram como abordar o problema. Essas etapas são como mini explicações que mostram ao LLM o processo de pensamento que leva à resposta.
Se possível, forneça exemplos: o uso de exemplos contendo as etapas de raciocínio que o modelo deve seguir também contribui para um bom desempenho.
Ao ser instruído com um prompt com esses elementos, o LLM usa a “cadeia de pensamento” apresentada como um guia para raciocinar sua própria resposta. Ele analisa as informações, aplica as etapas intermediárias e, por fim, gera sua própria resposta final.
# Prompt without CoT
prompt = "What is the sum of 5 and 3?"
# Prompt with CoT
cot_steps = [
"Let's add the first number, 5.",
"Then, add the second number, 3, to the previously obtained sum.",
"The answer is the final sum.",
]
# Combine prompt and CoT steps
prompt_with_cot = "\n".join([prompt] + cot_steps)
# Use the prompt with/without CoT to generate the answer
# (the actual code for generating the answer will depend on the LLM platform)
Um exemplo prático de CoT (fonte).
Variantes de Cadeias de Pensamentos
No exemplo fornecido acima, o prompt com CoT possue apenas uma sequência de etapas que o LLM deve seguir. Esse tipo de prompt CoT com a sequência de etapas, mas sem exemplos, é chamado de cadeia de pensamento zero-shot ou Zero-Shot CoT. Ele aproveita o conhecimento inerente aos modelos para resolver problemas sem exemplos prévios ou ajuste fino para a tarefa em questão. Essa abordagem é particularmente valiosa ao lidar com tipos de problemas onde os dados de treinamento personalizados podem não estar disponíveis.
Outra variante é a chamada Few-Shot CoT. Nela, o modelo é guiado com as etapas que deve percorrer e com alguns exemplos antes de ser interpelado com o problema específico que se deseja resolver.
Variantes de prompts com CoT multimodais usam textos e imagens para mostrar as etapas de raciocínio e orientar o LLM.
Já a variante CoT automática utiliza o próprio LLM para gerar um conjunto de exemplos de pensamento para serem usados depois como prompts.
Conclusões
Na era dos LLMs que “pensam”, é importante saber usá-los bem. Assim como as demais tecnologias de IA, os LLMs podem ser ótimos aliados. Mas o poder que eles possuem só será nosso se os utilizarmos eficientemente. Portanto, para as suas próximas interações com um LLM, não se esquema de usar exemplos e explicar claramente as etapas que ele deve percorrer ao “pensar” a resposta. Se você não tem exemplos, tente pelo menos guiar o modelo nas etapas de pensamento que considera importantes.
Para conhecer mais sobre CoT, o artigo original é uma boa fonte. Outras fontes interessantes podem ser encontradas aqui, aqui e aqui.
