Fine-Tuning

01

Dem Modell selbst etwas beibringen

Stell dir ein Unternehmen vor, das seine Callcenter-Gespräche von einer KI zusammenfassen lassen will. Die Zusammenfassungen müssen dem Firmenformat folgen: drei Felder, „Anlass / Maßnahme / Nachfassen“, im Ton und mit den Begriffen des Hauses. Bittest du ein fertig trainiertes LLM einfach um eine Zusammenfassung, stimmt der Inhalt – aber Format und Ton fallen jedes Mal ein bisschen anders aus.

Dafür gibt es drei Hauptwege. Du kannst dem Prompt eine Formatbeschreibung und Beispiele mitgeben (Prompt Engineering), die Unterlagen suchen, die das Modell braucht, und anhängen (RAG), oder das Modell selbst noch etwas weitertrainieren (Fine-Tuning). Wechsle in der Szene unten zwischen den Methoden und schau, was sich ändert.

Die ersten beiden ändern nur den Text, den du ans Modell schickst. Die Zahlen im Modell, seine Gewichte, bleiben gleich. Fine-Tuning macht es umgekehrt: Es verändert die Gewichte. Du startest mit einem Modell, das sein Pre-Training schon hinter sich hat, und trainierst es mit deinen Daten noch ein Stück weiter, sodass sich diese Zahlen verschieben. Das braucht viel weniger Daten und Geld, als ein Modell von Grund auf zu bauen. Ungefähr so, als würdest du eine erfahrene Fachkraft einstellen und ihr nur noch zeigen, wie ihr im Haus arbeitet.

Wie Modelle lernen und was Gewichte eigentlich sind, erfährst du im Trainingskapitel von „So funktionieren LLMs“.

Um die Gewichte zu ändern, braucht das Modell etwas, woraus es lernen kann. Was beim Fine-Tuning herauskommt, hängt fast vollständig von deinen Trainingsdaten ab.

02

Die Trainingsdaten vorbereiten

Die häufigste Form von Fine-Tuning trainiert mit Beispielen, die eine Eingabe mit der richtigen Antwort verbinden. In unserem Unternehmen ist ein Beispiel ein Gesprächsprotokoll plus eine gut geschriebene Zusammenfassung im Firmenformat. Meist legst du die Beispiele als Datei mit einem Beispiel pro Zeile an, etwa im JSONL-Format.

{"input": "Kunde meldet, dass ihm zweimal abgebucht wurde…", "output": "Anlass: Doppelabbuchung / Maßnahme: Erstattung beantragt / Nachfassen: Bestätigungs-SMS innerhalb von 3 Tagen"}
{"input": "Kunde möchte die Lieferadresse ändern…", "output": "Anlass: Adressänderung / Maßnahme: vor Versand geändert / Nachfassen: keins"}

Das Modell schaut sich diese Beispiele an und lernt: „Auf so eine Eingabe antworte ich so.“ Das heißt aber auch: Es übernimmt jeden Fehler, der sich in den Beispielen versteckt. Räum in der Szene unten die gesammelten Beispiele auf.

Woran du gute Trainingsdaten erkennst

• Einheitliches Format: Sind die Antworten von Beispiel zu Beispiel anders formatiert, lernt das Modell genau diese Uneinheitlichkeit.
• Richtige Antworten: Rutschen falsche Zusammenfassungen hinein, lernt das Modell auch den falschen Weg. Qualität zählt mehr als Menge.
• Nah an echten Eingaben: Die Beispiele sollten in Länge und Art den Gesprächsprotokollen ähneln, die später tatsächlich ankommen.
• Keine Duplikate: Taucht dasselbe Beispiel mehrfach auf, lernt das Modell genau dieses Beispiel zu sehr auswendig.
• Sensible Daten entfernt: Ein Modell kann Trainingsdaten auswendig lernen und sie jemand anderem wörtlich wiedergeben. Entferne oder maskiere personenbezogene Daten wie Namen und Telefonnummern vor dem Training.

Wie viele Daten brauchst du? Das hängt von der Aufgabe ab. Geht es vor allem darum, ein Format beizubringen, reichen oft schon einige hundert bis einige tausend gut gemachte Beispiele für einen spürbaren Unterschied. Außerdem legst du einen Teil der gesammelten Daten beiseite und trainierst nicht damit. Das ist der Validierungsdatensatz. Mit ihm prüfst du an Beispielen, die das Modell nie gesehen hat, wie gut das Training gelaufen ist. Wie das genau geht, siehst du im nächsten Kapitel.

Sind die Daten fertig, geht es ans Training. Vorher musst du ein paar Werte festlegen – und liegen die daneben, läuft das Training aus dem Ruder.