Grundlagen des maschinellen Lernens

01

Wie sich KI, maschinelles Lernen und Deep Learning unterscheiden

Diese drei Begriffe werden oft so verwendet, als meinten sie dasselbe. Tatsächlich stecken sie ineinander. Künstliche Intelligenz (KI) ist das ganze Feld, Maschinen wie Menschen wahrnehmen und entscheiden zu lassen. Darin liegt das maschinelle Lernen, das aus Daten lernt. Und im maschinellen Lernen steckt das Deep Learning, das mit neuronalen Netzen aus vielen Schichten lernt. Die generative KI, über die gerade alle sprechen, ist eine Art Deep-Learning-Modell, das neue Texte oder Bilder erzeugt. Wähle in der Szene unten eine Schicht aus.

Die Kernfrage beim maschinellen Lernen lautet: Wer schreibt die Regeln? In einem klassischen Programm schreibt ein Mensch eine Regel wie „Wenn im Betreff ‚kostenlos‘ und ‚Gewinner‘ steht, ist es Spam.“ Beim maschinellen Lernen zeigst du dem Computer sehr viele Spam- und normale E-Mails und lässt ihn die Regeln selbst finden. Das spielt seine Stärke aus, wenn die Regeln zu zahlreich, zu kompliziert oder zu schnell veränderlich sind, als dass jemand sie alle aufschreiben könnte.

Wann maschinelles Lernen nicht passt

• Die Regeln sind schon klar und müssen immer dasselbe Ergebnis liefern (Steuerberechnung, eine feste Rabattregel)
• Es gibt keine Daten zum Lernen oder viel zu wenige
• Fehler sind nicht akzeptabel und jede Entscheidung muss begründet werden, aber das Modell lässt sich nicht so gründlich prüfen
• Aufbau und Betrieb würden mehr kosten, als es bringt

Maschinelles Lernen lernt also aus Daten. Aber wie sollten diese Daten aussehen?

02

Daten, Merkmale und Labels

Stell dir ein Unternehmen vor, das vorab wissen möchte, welche Kunden kündigen werden (Churn). Es sammelt die Daten früherer Kunden in einer Tabelle. Jede Zeile ist ein Kunde, und die Spalten enthalten Alter, Vertragsdauer in Monaten und monatliche Ausgaben. Die Werte, die das Modell für seine Entscheidung betrachtet, heißen Merkmale (Features). Die letzte Spalte sagt, ob der Kunde tatsächlich gekündigt hat. Diese Antwort, also das, was das Modell vorhersagen soll, heißt Label.

Du trainierst nicht mit allen Daten. Zuerst teilst du sie in drei Teile auf. Wenn du an die Vorbereitung auf eine Prüfung denkst: Die Trainingsdaten sind dein Lehrbuch und dein Übungsheft, die Validierungsdaten eine Probeklausur und die Testdaten die echte Prüfung.

• Trainingsdaten: Aus diesen Daten lernt das Modell.
• Validierungsdaten: Damit entscheidest du, wie du das Modell baust. Soll der Entscheidungsbaum aus Kapitel 4 zum Beispiel zwei oder drei Fragen stellen? Wie viele Durchläufe soll das Training machen? Du baust für jede Option ein Modell und nimmst das, das auf den Validierungsdaten am besten abschneidet. Solche Werte, die du vor dem Training festlegst, heißen Hyperparameter. Sie begegnen dir in Kapitel 6 wieder.
• Testdaten: Sie kommen nur einmal zum Einsatz, ganz am Ende, wenn alle Entscheidungen getroffen sind, um die Leistung zu messen.

Warum trennt man Validierungs- und Testdaten? Genau hier stolpern viele. Du hast das Modell gewählt, das auf den Validierungsdaten am besten war. Es ist also schon auf diese Daten abgestimmt, und sein Validierungsergebnis fällt etwas besser aus, als es wirklich ist. Deshalb misst du sein echtes Können mit Testdaten, die weder beim Training noch bei der Auswahl im Spiel waren. Es ist wie bei einer Prüfung, deren Fragen du vorher gesehen hast: Die Note sagt dann nichts mehr darüber, was du wirklich kannst.

Wenn du wenig Daten hast, hilft Kreuzvalidierung. Teile die Daten zum Beispiel in fünf Teile. Nutze abwechselnd einen Teil zur Validierung und die anderen vier zum Training, und bilde dann den Mittelwert der fünf Ergebnisse. So hängt dein Ergebnis weniger davon ab, wie die Daten zufällig aufgeteilt wurden. Das nennt man k-fache Kreuzvalidierung (k-fold).

Diese Tabelle hatte Antworten (ob der Kunde gekündigt hat). Viele Daten kommen aber ohne Antworten. Ob es sie gibt oder nicht, verändert, wie das Modell lernt.

03

Überwachtes, unüberwachtes und bestärkendes Lernen

Maschinelles Lernen lässt sich in drei große Arten einteilen, je nachdem, was du dem Modell zum Lernen gibst. Die Szene unten zeigt 18 Früchte nach Gewicht und Süße. Wechsle zwischen den Lernarten.

Sagst du beim überwachten Lernen eine Kategorie voraus (Spam oder nicht, Apfel / Mandarine / Traube), ist das Klassifikation. Sagst du eine Zahl voraus (Umsatz, Hauspreis), ist es Regression. Beim unüberwachten Lernen fasst das Clustering Ähnliches zusammen, aber was eine Gruppe bedeutet, muss trotzdem ein Mensch herausfinden. Assoziationsregeln finden Dinge, die gemeinsam auftreten, etwa „Wer Windeln kauft, kauft auch Bier.“ Regeln wählst du danach aus, wie oft die Artikel zusammen vorkommen (Support), wie verlässlich die Regel ist (Konfidenz) und wie viel häufiger als per Zufall sie gemeinsam auftreten (Lift).

Es gibt auch Ansätze dazwischen. Hat nur ein Teil der Daten Labels, spricht man von semi-überwachtem Lernen. Beim selbstüberwachten Lernen erzeugt das Modell seine Antworten aus den Daten selbst. Ein Beispiel ist das Vortraining (Pre-Training) eines LLM, bei dem es lernt, das nächste Token in einem Text vorherzusagen. RLHF (Reinforcement Learning from Human Feedback), das ein LLM mit menschlichem Feedback als Belohnung feinjustiert, ist eine Anwendung des bestärkenden Lernens.

Kennst du die Lernart, musst du ein konkretes Modell wählen. Fangen wir mit dem an, das am leichtesten zu verstehen ist.