Wie große Sprachmodelle (LLMs) funktionieren

01

Ein LLM wählt, was als Nächstes kommt

LLM steht für Large Language Model, also großes Sprachmodell. „Groß“ meint zwei Dinge: die Menge an Text, mit der es trainiert wurde, und die Menge an Zahlen im Inneren des Modells. Diese Zahlen heißen Gewichte. Zu ihnen kommen wir in Kapitel 5 zurück.

Eigentlich macht ein LLM nur eine Sache: Es schaut sich den bisherigen Text an und wählt das nächste Token. Ein Token ist die Einheit, in der ein Modell liest und schreibt. Stell es dir vorerst als Wortstück vor. Das ist ziemlich ähnlich wie die Wortvorschläge auf deiner Handytastatur, nur dass das Modell viel längeren Text betrachtet und viel sorgfältiger auswählt.

In der Szene unten sind die Kacheln links der Text, den wir eingegeben haben: „Das Wetter ist“. Die Säulen dahinter sind Kandidaten für die nächste Stelle, und die Höhe jeder Säule ist die Wahrscheinlichkeit, die das Modell vergeben hat. Geh Token für Token weiter.

Sobald ein Token gewählt ist, wird es ans Ende des Textes gehängt, und das Modell schaut sich den ganzen, jetzt längeren Text noch einmal an, um das nächste zu wählen. Das wiederholt sich, bis die Antwort fertig ist. Dass jede Ausgabe wieder als Eingabe zurückfließt, nennt man autoregressive Generierung. Deshalb erscheinen Chatbot-Antworten Stück für Stück auf dem Bildschirm statt auf einmal: Sie entstehen tatsächlich Token für Token.

Und wann hört es auf? Das Modell hat auch ein spezielles Token, das „Ende“ bedeutet. Es stoppt, wenn dieses Token gewählt wird, wie im letzten Schritt der Szene, oder wenn es ein von dir festgelegtes Längenlimit erreicht.

Ein großes Modell, das mit riesigen Datenmengen vortrainiert und dann für viele verschiedene Aufgaben wiederverwendet wird (Zusammenfassen, Übersetzen, Fragen beantworten …), heißt Foundation Model (Basismodell). Ein LLM ist ein Foundation Model für Text. Modelle, die zusätzlich Bilder oder Audio verarbeiten, heißen multimodale Modelle.

In der Szene sahen die Tokens wie ganze Wörter aus. Das war eine Vereinfachung, damit es leichter nachzuvollziehen ist. Echte Tokens sehen etwas anders aus.

02

Text in Tokens zerlegen

Ein Modell kann Buchstaben nicht einfach so lesen. Der Text wird zuerst in kleine Stücke zerlegt, und jedes Stück wird gegen eine feste Zahl ausgetauscht. Diese Stücke sind die Tokens, und das Werkzeug, das zerlegt, heißt Tokenizer. Das Modell bekommt also gar keinen Text, sondern eine Liste von Zahlen.

Ein Token kann ein ganzes Wort sein, ein Teil eines Wortes oder ein Satzzeichen. Häufige Buchstabenfolgen werden zu einem einzigen Token, seltene Wörter werden in mehrere Stücke zerlegt. So lässt sich sogar ein Wort, das das Modell nie gesehen hat, aus bekannten Stücken zusammensetzen. Wechsle in der Szene unten zwischen den Sätzen und schau, wie sie zerlegt werden. Die Zahl unter jeder Kachel ist die Token-ID, die das Modell tatsächlich bekommt (IDs und Trennstellen sind Beispiele; sie unterscheiden sich von Modell zu Modell).

„Unbelievable“ ist ein einziges Wort, wurde aber zu drei Tokens. Der deutsche Satz mit derselben Bedeutung hat 24 statt 21 Zeichen und braucht 7 statt 5 Tokens. Viele Tokenizer wurden überwiegend mit englischem Text gebaut, deshalb brauchen andere Sprachen oft mehr Tokens für dieselbe Aussage. Auch Zahlen werden nicht Ziffer für Ziffer zerlegt, sondern unregelmäßig. Das ist ein Grund, warum LLMs bei großen Rechnungen oder beim Buchstabenzählen danebenliegen.

Drei Dinge, die die Token-Anzahl bestimmt

Jetzt bekommt das Modell eine Liste von Zahlen. Aber diese Zahlen sind nur Etiketten. Wenn du 3022 und 3023 siehst, kannst du nicht erkennen, ob ihre Bedeutungen nah beieinanderliegen. Es braucht einen Schritt, der Bedeutung in die Zahlen bringt.

03

Zahlen mit Bedeutung (Embeddings)

Im Modell steckt eine große Tabelle. Sie hat für jede Token-ID eine Zeile, und jede Zeile enthält Hunderte bis Tausende Zahlen. Kommt eine Token-ID herein, holt das Modell diese Zeile heraus. Ein Token so in eine Liste von Zahlen zu verwandeln, nennt man Embedding, und die Zahlenliste, die dabei herauskommt, heißt Vektor.

Anfangs sind die Zahlen in der Tabelle zufällig. Beim Training (Kapitel 5) werden sie nach und nach angepasst, sodass Tokens, die oft in ähnlichen Texten vorkommen, ähnlich aussehende Zeilen bekommen. Die Szene unten holt die Zeilen zweier Wörter aus der Tabelle und zeichnet jede Zahl als Säule. Echte Zeilen haben viel mehr Zahlen; hier sind es nur 10.

„Katze“ und „Hund“ haben fast dasselbe Säulenmuster. „Katze“ und „Auto“ sehen ziemlich verschieden aus. Wie ähnlich sich zwei Vektoren sind, misst man meist mit der Kosinus-Ähnlichkeit: Je näher an 1, desto ähnlicher. Und hier stolpern viele: Einzelne Stellen haben keine Etiketten wie „Tier-Stelle“ oder „Fahrzeug-Stelle“. Die Bedeutung entsteht erst aus dem Zusammenspiel vieler Stellen.

Embeddings tauchen auch bei Retrieval-Augmented Generation (RAG) auf. Dort verwandelt ein eigenes Embedding-Modell einen ganzen Satz oder Absatz in einen einzigen Vektor, um Dokumente zu finden, deren Bedeutung nah an der Frage liegt. Das Prinzip ist dasselbe: nahe Bedeutung, nahe Zahlen. Mehr dazu im Embedding-Kapitel des RAG-Guides.

Dasselbe Wort „Zug“ bedeutet je nach den Wörtern drumherum etwas anderes. Wie bemerkt das Modell den Unterschied?