Ajuste fino (fine-tuning)

01

Ensinando o próprio modelo

Imagine uma empresa que quer uma IA para resumir os registros de chamadas da sua central de atendimento. Os resumos precisam seguir o padrão da empresa: três campos, "Motivo / Ação / Acompanhamento", com o tom e os termos que a empresa usa. Se você só pedir o resumo para um LLM já treinado, o conteúdo fica bom, mas o formato e o tom saem um pouco diferentes a cada vez.

Existem três jeitos principais de resolver isso. Você pode colocar no prompt uma descrição do formato e alguns exemplos (engenharia de prompt), buscar o material de que o modelo precisa e anexar (RAG), ou treinar um pouco mais o próprio modelo (ajuste fino). Na cena abaixo, alterne entre os métodos e veja o que muda.

Os dois primeiros só mudam o texto que você envia ao modelo. Os números dentro do modelo, os pesos, continuam iguais. O ajuste fino faz o contrário: muda os pesos. Você parte de um modelo que já terminou o pré-treinamento e treina mais um pouco com os seus dados, ajustando esses números. Isso exige bem menos dados e dinheiro do que construir um modelo do zero. É parecido com contratar alguém experiente e só ensinar como a sua empresa trabalha.

Se quiser entender como os modelos aprendem e o que são os pesos, veja o capítulo de treinamento de Como funcionam os LLMs.

Para mudar os pesos, o modelo precisa de algo com que aprender. O que você ganha com o ajuste fino depende quase totalmente dos seus dados de treino.

02

Preparando os dados de treino

O tipo mais comum de ajuste fino treina com exemplos que juntam uma entrada e a resposta correta. Na nossa empresa, um exemplo é um registro de chamada mais um bom resumo dele no padrão da casa. Normalmente você prepara isso num arquivo com um exemplo por linha, num formato como JSONL.

{"input": "Cliente diz que foi cobrado duas vezes…", "output": "Motivo: cobrança em duplicidade / Ação: estorno solicitado / Acompanhamento: SMS de confirmação em até 3 dias"}
{"input": "Cliente quer mudar o endereço de entrega…", "output": "Motivo: mudança de endereço / Ação: atualizado antes do envio / Acompanhamento: nenhum"}

O modelo olha esses exemplos e aprende "para esse tipo de entrada, responda assim". Isso também quer dizer que ele copia qualquer erro escondido nos exemplos. Na cena abaixo, experimente limpar os exemplos que você coletou.

Como são bons dados de treino

• Formato consistente: se as respostas vêm num formato diferente em cada exemplo, o modelo também aprende a ser inconsistente.
• Respostas corretas: se entrarem resumos errados, o modelo aprende o jeito errado também. Qualidade importa mais que quantidade.
• Parecidos com as entradas reais: os exemplos devem se parecer, em tamanho e tipo, com os registros de chamadas que você vai receber de verdade.
• Sem duplicatas: se o mesmo exemplo aparece várias vezes, o modelo decora demais aquele exemplo.
• Sem dados sensíveis: um modelo pode decorar os dados de treino e repetir tudo, palavra por palavra, para outra pessoa. Remova ou mascare dados pessoais, como nomes e telefones, antes de treinar.

Quantos dados você precisa? Depende da tarefa, mas, se o objetivo principal é ensinar um formato, algumas centenas a alguns milhares de exemplos bem feitos costumam bastar para fazer diferença. Além disso, você separa uma parte do que coletou e não treina com ela. Esse é o conjunto de validação, usado para conferir como o treinamento foi em exemplos que o modelo nunca viu. No próximo capítulo você vai ver como ele é usado.

Com os dados prontos, é hora de treinar. Antes, você precisa definir alguns valores, e, se eles forem mal escolhidos, o treinamento sai do rumo.