Ajuste fino (fine-tuning)

01

Enseñarle más al propio modelo

Imagina una empresa que quiere una IA para resumir los registros de llamadas de su centro de atención. Los resúmenes deben seguir el formato de la empresa: tres campos, "Motivo / Acción / Seguimiento", con el tono y los términos que usa la casa. Si le pides el resumen a un LLM ya entrenado, el contenido está bien, pero el formato y el tono cambian un poco cada vez.

Hay tres formas principales de arreglarlo. Puedes añadir al prompt una descripción del formato y algunos ejemplos (ingeniería de prompts), buscar el material que el modelo necesita y adjuntarlo (RAG), o entrenar un poco más al propio modelo (ajuste fino). En la escena de abajo, cambia de método y fíjate en qué cambia.

Los dos primeros solo cambian el texto que le envías al modelo. Los números internos del modelo, sus pesos, siguen igual. El ajuste fino hace lo contrario: cambia los pesos. Partes de un modelo que ya terminó su preentrenamiento y lo entrenas un poco más con tus datos, retocando esos números. Eso requiere muchísimos menos datos y dinero que construir un modelo desde cero. Es como contratar a alguien con experiencia y enseñarle solo cómo se hacen las cosas en tu empresa.

Si quieres saber cómo aprenden los modelos y qué son exactamente los pesos, mira el capítulo de entrenamiento de Cómo funcionan los LLM.

Para cambiar los pesos, el modelo necesita algo de lo que aprender. Lo que obtienes del ajuste fino depende casi por completo de tus datos de entrenamiento.

02

Preparar los datos de entrenamiento

El tipo de ajuste fino más común entrena con ejemplos que emparejan una entrada con la respuesta correcta. En nuestra empresa, un ejemplo es un registro de llamada más un buen resumen de esa llamada en el formato de la casa. Normalmente se preparan en un archivo con un ejemplo por línea, en un formato como JSONL.

{"input": "El cliente dice que le cobraron dos veces…", "output": "Motivo: cobro duplicado / Acción: reembolso solicitado / Seguimiento: SMS de confirmación en 3 días"}
{"input": "El cliente quiere cambiar la dirección de entrega…", "output": "Motivo: cambio de dirección / Acción: actualizada antes del envío / Seguimiento: ninguno"}

El modelo mira estos ejemplos y aprende "ante este tipo de entrada, responde así". Eso también significa que copia cualquier error escondido en los ejemplos. En la escena de abajo, prueba a limpiar los ejemplos que has reunido.

Cómo son unos buenos datos de entrenamiento

• Formato coherente: si las respuestas tienen un formato distinto en cada ejemplo, el modelo también aprende a ser incoherente.
• Respuestas correctas: si se cuelan resúmenes erróneos, el modelo aprende también la forma equivocada. Importa más la calidad que la cantidad.
• Parecidos a las entradas reales: los ejemplos deben parecerse, en longitud y en tipo, a los registros de llamadas que de verdad vas a recibir.
• Sin duplicados: si el mismo ejemplo aparece varias veces, el modelo memoriza de más ese ejemplo concreto.
• Sin datos sensibles: un modelo puede memorizar los datos de entrenamiento y repetírselos tal cual a otra persona. Elimina o enmascara los datos personales, como nombres y teléfonos, antes de entrenar.

¿Cuántos datos necesitas? Depende de la tarea, pero si sobre todo quieres enseñar un formato, unos cientos o unos pocos miles de ejemplos bien hechos suelen bastar para notar la diferencia. Además, apartas una parte de lo que reúnes y no entrenas con ella. Es el conjunto de validación, y sirve para comprobar cómo fue el entrenamiento con ejemplos que el modelo nunca ha visto. En el siguiente capítulo verás cómo se usa.

Con los datos listos, toca entrenar. Antes tienes que fijar algunos valores, y si los eliges mal, el entrenamiento se desvía.