Técnicas de engenharia de prompt

01

Do que um prompt é feito

Prompt é simplesmente o texto que você envia para uma IA. Pode ser uma pergunta, um pedido ou uma instrução: qualquer coisa que você digita na caixa de texto.

A maioria das IAs de chat de hoje funciona com um modelo de linguagem grande (LLM). Um LLM não escreve a resposta inteira de uma vez. Ele olha o texto até ali, escolhe o próximo pedacinho de texto (chamado token), coloca no final e repete. Sabe quando o teclado do celular sugere a próxima palavra? É uma versão muito maior disso. Como o modelo vai construindo em cima do que já está escrito, as palavras do seu prompt influenciam as palavras que ele escolhe em seguida. Engenharia de prompt é usar isso de propósito: escrever o prompt de um jeito que a resposta que você quer vire a mais provável.

Se você desmontar um bom prompt, normalmente vai encontrar os elementos abaixo. Você não precisa de todos sempre: escolha os que a tarefa pede.

Para deixar tudo concreto, vamos seguir um único exemplo do começo ao fim do guia: pedir para uma IA ler avaliações de uma loja e dizer se o cliente ficou satisfeito, insatisfeito ou um pouco dos dois. Vamos começar com um pedido de uma linha. Cada vez que a resposta deixar a desejar, vamos ver o porquê e acrescentar a técnica que resolve. A coluna da direita mostra como cada elemento fica no nosso exemplo.

Cada capítulo traz uma cena 3D desse exemplo. Os blocos empilhados à esquerda são o que enviamos (o prompt), a esfera no meio é o modelo de IA e as barras à direita são respostas que o modelo pode dar. Quanto mais alta a barra, mais provável é aquela resposta. As alturas são números inventados para mostrar a tendência, não medições reais.

Na primeira cena, experimente adicionar os elementos um de cada vez. Só com a instrução e a avaliação, as barras ficam espalhadas. Conforme você adiciona mais, a barra da resposta que queremos (“mixed, em JSON”) sobe.

Algumas dicas básicas

As empresas que criam serviços de IA dão praticamente os mesmos conselhos nos seus guias de escrita de prompts:

• Diga o que você quer de forma breve, clara e completa.
• Coloque a pergunta ou a instrução no final, depois do material a que ela se refere.
• Use delimitadores (como aspas ou tags) para separar instruções de dados, e deixe claro o formato da resposta.
• Diga ao modelo o que fazer se ele não souber; por exemplo: “Se não souber, responda ‘Não sei’”.
• Ajuste o prompt com dados de treino e depois teste uma única vez com dados que você deixou separados.

Os elementos que você inclui é que dão nome a cada técnica. Só instrução e entrada? Isso é zero-shot. Acrescente exemplos e vira few-shot. Peça o raciocínio e é cadeia de pensamento. Vamos começar pelo zero-shot, o mais simples dos três.

02

Pedir sem exemplos (zero-shot)

Prompting zero-shot (sem exemplos) é descrever a tarefa sem dar nenhum exemplo: o “zero” é a quantidade de exemplos. Quase tudo o que as pessoas digitam num chat de IA é zero-shot, assim:

Classifique o sentimento da avaliação.
Avaliação: A entrega atrasou, mas o produto é excelente

O modelo já aprendeu com uma quantidade enorme de texto, então entende um pedido assim sem exemplos. Para coisas que os modelos já fazem bem (resumir, traduzir, tipos comuns de classificação), muitas vezes o zero-shot basta. Não há nada para preparar e o prompt é curto, então também é a opção mais barata.

O ponto fraco é o formato da resposta. Nosso prompt não diz qual formato usar nem o que fazer com uma avaliação que tem elogio e reclamação ao mesmo tempo. Então o modelo vai no que parece razoável: “Positivo” numa vez, um parágrafo inteiro na seguinte, JSON na outra. Uma pessoa lê qualquer uma dessas sem problema, mas se um programa precisa processar a resposta, essa inconsistência é um problema de verdade.

As respostas oscilam porque o modelo não faz ideia de que tipo de resposta queremos. Daria para descrever o formato e as regras em detalhes, mas normalmente é mais rápido mostrar.

03

Mostrar a resposta que você quer (one-shot, few-shot)

Prompting few-shot (com poucos exemplos) é colocar alguns exemplos no prompt para o modelo ver que tipo de resposta você quer. Cada exemplo junta uma entrada com a resposta que você gostaria de receber para ela. Com um exemplo, chama-se one-shot; com dois ou mais, few-shot. Algumas provas chamam o one-shot de “single-shot”.

Classifique o sentimento da avaliação.

Avaliação: Embalagem caprichada
Resposta: {"label":"positive"}

Avaliação: Gostoso, mas a porção é pequena
Resposta: {"label":"mixed"}

Avaliação: A entrega atrasou, mas o produto é excelente
Resposta:

Por que o modelo copia os exemplos?

Lembra do capítulo 1? O modelo escolhe o que vem a seguir olhando o texto anterior. No prompt acima, “uma avaliação e depois uma linha de JSON” aparece duas vezes. Então, depois da terceira avaliação, o mais natural é escrever outra linha de JSON no mesmo formato. O modelo não aprendeu nada novo: ele só continua o padrão que está vendo. Isso se chama aprendizado em contexto (in-context learning).

É aqui que muita gente se confunde, porque nada é aprendido de fato no sentido comum: o modelo em si não muda. Se você tirar os exemplos na próxima requisição, ele não vai se lembrar deles. Ou seja, você precisa enviar os exemplos toda vez, e o prompt mais longo custa um pouco mais a cada vez.

Na cena abaixo, aumente o número de exemplos de 0 para 5. O formato JSON se acerta com só um ou dois. Mas a regra “elogio mais reclamação é mixed” só pega quando entra o terceiro exemplo, que é justamente uma avaliação assim. O que seus exemplos mostram importa mais do que quantos você usa.

Como escolher bons exemplos

• Escolha exemplos parecidos com as avaliações que você vai receber de verdade.
• Inclua os casos difíceis. Se todos os exemplos forem fáceis, o modelo vai oscilar de novo quando aparecer um difícil.
• Varie as respostas. Se todos os exemplos forem positive, o modelo também vai puxar para positive.
• Mantenha todos os exemplos exatamente no mesmo formato. Exemplos bagunçados geram respostas bagunçadas.

Os exemplos definem o formato da resposta e as regras para julgar. Mas, em problemas que exigem várias etapas, só exemplos não bastam. Se eles mostram apenas respostas finais, o modelo tende a pular o raciocínio e ir direto para um número que só parece certo.