Bewertungsmetriken für KI-Modelle

01

Was schiefgeht, wenn du nur auf die Accuracy schaust

Ein Kreditkartenanbieter baut ein Modell, das betrügerische Transaktionen erkennen soll. Im Test kommt eine Accuracy (Genauigkeit) von 95 % heraus. Das Modell lag also bei 95 von 100 richtig – klingt ziemlich gut. Aber was, wenn von diesen 100 Transaktionen überhaupt nur 5 Betrug waren?

In der Szene unten ist jedes Feld eine Transaktion, die roten Felder sind die echten Betrugsfälle. Felder, die das Modell als „Betrug“ markiert, treten hervor. Wechsle zwischen den beiden Modellen.

Das Modell, das immer „normal“ antwortet, hat nichts gelernt und kommt trotzdem auf 95 % Accuracy. Es hat keinen einzigen Betrugsfall erkannt. Das wirklich trainierte Modell hat mit 93 % eine niedrigere Accuracy, findet aber 4 der 5 Betrugsfälle. Das zweite Modell ist das, was dieses Unternehmen braucht.

Die Accuracy ist der Anteil aller Vorhersagen, die richtig waren. Wenn ein Ergebnis viel häufiger ist als das andere – man spricht von unausgewogenen Daten (imbalanced data) –, erreichst du eine hohe Accuracy schon, indem du immer das häufige Ergebnis rätst. Die meisten Aufgaben, bei denen das Gesuchte selten ist, funktionieren so: Betrugserkennung, Krankheitsdiagnose, Fehlerprüfung in der Produktion.

Worauf solltest du stattdessen schauen? Alles beginnt damit, Treffer und Fehler des Modells in vier Gruppen zu sortieren.

02

Konfusionsmatrix, Precision, Recall und F1

Wenn ein Modell zwischen zwei Antworten wählt, etwa „Spam oder kein Spam“, landet jedes Ergebnis in einem von vier Kästchen. Die Klasse, die du finden willst (Spam), heißt positiv, die andere (normale Mail) negativ. Dann kommt richtig davor, wenn das Modell recht hatte, und falsch, wenn es sich geirrt hat.

Genau hier kommen viele durcheinander. Angenommen, das Modell hält eine normale Mail für Spam. Es hat „positiv“ gesagt und lag falsch – das ist ein falsch positives Ergebnis (FP). Lässt es eine Spam-Mail als normal durch, ist das ein falsch negatives Ergebnis (FN). „Positiv“ oder „negativ“ ist das, was das Modell gesagt hat; „richtig“ oder „falsch“ sagt dir, ob es damit recht hatte. Die Kürzel TP, FP, FN und TN stammen aus dem Englischen und begegnen dir in fast jedem Tool.

Diese Tabelle heißt Konfusionsmatrix. Aus ihr ergeben sich zwei wichtige Kennzahlen.

Ein Klassifikationsmodell gibt meist einen Score zwischen 0 und 1 aus und stuft alles als positiv ein, was über einem von dir gewählten Schwellenwert (threshold) liegt. Die Szene unten ordnet 20 Mails nach ihrem Score. Verschieb mal die Schwelle.

Hebst du die Schwelle an, markiert das Modell nur, was ganz sicher ist: Die Precision steigt, aber mehr Spam rutscht durch, also sinkt der Recall. Senkst du die Schwelle, passiert das Gegenteil. Meist zieht das eine das andere nach unten. Deshalb legst du die Schwelle danach fest, welcher Fehler teurer ist. Bei der Krebsvorsorge, wo kein Fall übersehen werden darf, hat der Recall Vorrang. Bei einem Spamfilter, der niemals eine wichtige Mail verschlucken darf, hat die Precision Vorrang.

Mit dem F1-Score siehst du beides auf einmal. Er ist das harmonische Mittel aus Precision und Recall – ist eins davon hoch und das andere niedrig, fällt auch der F1-Score niedrig aus. Bei unausgewogenen Daten ist er ein gängiger Weg, Modelle mit einer einzigen Zahl zu vergleichen.

Aber wenn sich Precision und Recall mit jeder Schwelle ändern: Wie vergleichst du zwei Modelle, bevor du dich für eine Schwelle entschieden hast?

03

ROC-Kurve und AUC

Senk die Schwelle Stück für Stück von 1 auf 0 und miss bei jedem Schritt zwei Dinge. Die True-Positive-Rate (TPR) ist der Anteil des echten Spams, den du erwischt hast. Die False-Positive-Rate (FPR) ist der Anteil der normalen Mails, die du fälschlich aussortiert hast. Die TPR ist dasselbe wie der Recall aus Kapitel 2. Trag die FPR nach rechts und die TPR nach oben ab, verbinde die Punkte – und du hast die ROC-Kurve.

Ein gutes Modell erwischt Spam schnell und sortiert dabei nur wenige normale Mails falsch aus, deshalb schießt seine Kurve nach links oben. Ein Modell, das zufällig rät, folgt der Diagonalen. Die Fläche unter der Kurve heißt AUC (area under the curve). In der Szene unten ist die Fläche, die die Säulen füllen, die AUC.

Die AUC reicht von 0,5 (Raten) bis 1 (perfekt). Sie fasst in einer Zahl zusammen, wie gut das Modell Positive von Negativen trennt, ohne sich auf eine bestimmte Schwelle festzulegen. Damit eignet sie sich gut, um mehrere Modelle zu vergleichen, bevor du eine Schwelle wählst. Wenn du ein Modell tatsächlich in Betrieb nimmst, musst du aber doch eine Schwelle festlegen – und dann bist du wieder bei Precision und Recall aus Kapitel 2.

Bisher haben die Modelle eine Kategorie geraten, etwa „Spam oder nicht“. Ein Modell, das eine Zahl vorhersagt, etwa einen Umsatz oder einen Hauspreis, liegt nicht einfach richtig oder falsch. Du musst messen, wie weit es danebenlag.