01
Warum Modelle halluzinieren
Ein Haushaltsgerätehersteller hat gerade einen Support-Chatbot gestartet. Eine Kundin fragt nach dem neuen Produkt, dem Wasserkocher K2, und der Chatbot antwortet mit vier flüssigen, selbstsicheren Sätzen. Gleiche in der Szene unten jeden Satz mit dem Produkthandbuch ab.
- Er fasst 1,7 Liter
- Noch nicht geprüft
- Er schaltet sich beim Kochen ab
- Noch nicht geprüft
- Die Garantie beträgt 2 Jahre
- Noch nicht geprüft
- Er ist spülmaschinenfest
- Noch nicht geprüft
Frage: „Erzähl mir was über den Wasserkocher K2“
Die Antwort des Modells wirkt flüssig und selbstsicher. Schalte den Abgleich mit dem Handbuch ein.
Wenn ein Modell etwas Falsches oder Unbelegtes so darstellt, als wäre es eine Tatsache, nennt man das Halluzination. Es gibt zwei Arten. Die Antwort kann Tatsachen über die Welt widersprechen, oder sie kann dem Material widersprechen, das du mitgegeben hast, bzw. darüber hinausgehen. In der Szene widerspricht „Die Garantie beträgt 2 Jahre“ dem Handbuch, und „spülmaschinenfest“ hat sich das Modell ausgedacht – davon steht im Handbuch nichts.
Der Grund liegt darin, wie ein LLM Text erzeugt. Ein LLM schlägt keine Fakten nach, bevor es antwortet. Es wählt die Wörter, die am plausibelsten als Nächstes kommen. In Beschreibungen von Wasserkochern tauchen oft Formulierungen wie „2 Jahre Garantie“ oder „spülmaschinenfest“ auf, deshalb wirken sie passend. Je weniger das Modell weiß – ein Produkt, das es im Training nie gesehen hat, Nachrichten nach dem Ende des Trainings, eine vage Frage –, desto eher füllt es die Lücken mit Erfundenem.
Steht in der Frage … → wähle das
- “Erzeugt plausibel klingende Inhalte, die nicht stimmen”Halluzination
- “Widerspricht den bereitgestellten Dokumenten oder ergänzt, was dort nicht steht”Unbelegte Antwort (Halluzination)
- “Zitiert Paper oder Quellen, die es nicht gibt”Halluzination (erfundene Quellen)
- “Die Antwort klingt sicher, also stimmt sie”Falsch – am Tonfall erkennt man das nicht
Ganz abschaffen lassen sich Halluzinationen nicht. Aber wie weit kann man sie verringern?
02
Halluzinationen verringern
Die eine Lösung gibt es nicht. Halluzinationen verringerst du, indem du mehrere Schutzmaßnahmen übereinanderlegst. Füge sie in der Szene unten nacheinander hinzu.
- Falsche Antworten
- 28%
Anteil falscher Antworten, wenn du einem Support-Chatbot für Wasserkocher nach und nach Schutzmaßnahmen hinzufügst (Beispiel)
Ohne Schutzmaßnahmen antwortet das Modell aus seinem Wissen und liegt etwa dreimal von zehn daneben (28%).
| Methode | Wie sie hilft |
|---|---|
| Grounding mit RAG | Statt Unbekanntes zu erfinden, liest das Modell das abgerufene Material und antwortet auf dieser Grundlage |
| Anweisen, „Ich weiß es nicht“ zu sagen | Verhindert, dass es eine plausible Antwort erfindet, wenn das Material die Frage nicht abdeckt |
| Quellenangaben und Grounding-Prüfung | Für jeden Satz eine Quelle verlangen und Sätze, die nicht zu den Quellen passen, automatisch markieren |
| Schritt für Schritt denken lassen | Weniger Fehler bei mehrstufigen Rechnungen und Schlussfolgerungen |
| Menschliche Prüfung | Ein Mensch prüft Antworten, die im Fehlerfall gefährlich wären, bevor sie rausgehen |
Zwei Missverständnisse kommen häufig vor. Erstens: Eine niedrigere Temperature macht Antworten einheitlicher, nicht wahrer. Zweitens: Einem Modell per Fine-Tuning Fakten beizubringen, ist keine gute Lösung. Das Modell ruft diese Fakten nicht immer zuverlässig ab, und sobald sich die Informationen ändern, musst du neu trainieren. Nutze RAG für Fakten und Fine-Tuning für Stil und Format.
Steht in der Frage … → wähle das
- “Halluzinationen verringern, indem Antworten auf aktuellen Unternehmensdaten beruhen”RAG (Grounding)
- “Nichts erfinden, wenn das Material keine Antwort hat”Anweisung „Sag, wenn du es nicht weißt“
- “Automatisch prüfen, ob jeder Satz durch die Quelle gedeckt ist”Grounding-Prüfung
- “Mit Temperature 0 verschwinden Halluzinationen”Falsch
- “Antworten in einem Bereich, in dem Fehler gefährlich sind”Menschliche Prüfung (Human-in-the-Loop)
Bei Halluzinationen macht das Modell von sich aus Fehler. Es gibt aber noch ein anderes Problem: Nutzer, die gezielt schädliche Antworten herauskitzeln wollen, und ein Modell, das Dinge sagt, die es nie sagen dürfte.
Nur mit Pro
Bis hierhin ist der Guide kostenlos
Die übrigen 5 Kapitel sind für Pro-Abonnenten freigeschaltet. Jedes bringt weitere 3D-Grafiken und „Steht in der Frage …“-Hinweise, und im letzten Kapitel prüfst du dein Wissen selbst.
- 03Guardrails
- 04Inhaltsfilter
- 05Personenbezogene Daten schützen
- 06Red Teaming und Monitoring
- 07Die passende Schutzmaßnahme
Anzeige
PasslyExam
Du kennst jetzt das Konzept. Teste es an Prüfungsfragen
PasslyExam bietet eigene Übungsfragen, Erklärungen und vollständige Probeprüfungen, die sich am offiziellen Prüfungsleitfaden jeder Zertifizierung orientieren. Die Erklärungen zeigen, warum die richtige Antwort stimmt und warum ähnlich klingende Optionen falsch sind. Registriere dich und übe jeden Tag kostenlos.