Warum kann ein Modell hervorragend abschneiden und trotzdem nutzlos sein?
Ein Modell kann hervorragend abschneiden und trotzdem nutzlos sein, wenn es mit denselben Daten getestet wird, aus denen es gelernt hat. Möglicherweise hat es diese Beispiele nur auswendig gelernt, statt etwas zu lernen, das sich auf neue Kunden übertragen lässt.
Stellen Sie sich das fiktive Unternehmen Pantrybox vor, das mit 120 Beschäftigten Kochboxen im Abonnement anbietet. Der Analyst Kofi entwickelt ein Modell, das vorhersagen soll, wer im nächsten Monat kündigt, damit das Kundenbindungsteam diese Personen zuerst anrufen kann. Sein Bericht an die Leiterin des Kundenbereichs, Sian, lautet: 'Modell A: 99% Genauigkeit!! nutzt 85 Spalten, darunter Kunden-ID, Postleitzahl und sämtliche bisherigen Bestelldaten. Modell B (einfach, 2 Spalten): 69% bei Trainingsdaten, 68% bei Testdaten. Modell A mit neuen Daten aus dem letzten Monat: 71%. Etwa 30% der Kundschaft kündigen jeden Monat.' Sian möchte wissen, welches Modell sie einsetzen soll und warum das mit 99% im letzten Monat so schlecht abgeschnitten hat.
| Modell | Genauigkeit auf den Trainingsdaten | Genauigkeit testen | Was es vorschlägt |
|---|---|---|---|
| Modell A, 85 Spalten | 99% | 71% | Überanpassung: Kunden aus den Trainingsdaten auswendig gelernt |
| Modell B, 2 Spalten | 69% | 68% | Unteranpassung: kaum besser als immer 'bleibt' zu raten |
Wie erkennen Sie Schritt für Schritt Überanpassung und Unteranpassung?
Ermitteln Sie beide Probleme, indem Sie die Leistung bei den Trainingsdaten mit der Leistung bei Daten vergleichen, die das Modell noch nie gesehen hat, und beide mit einer einfachen Vergleichsbasis abgleichen. Das Muster dieser drei Werte zeigt Ihnen, welches Problem vorliegt.
1. Halten Sie Daten zurück
Legen Sie vor dem Training einen Testdatensatz beiseite, den das Modell nie zu sehen bekommt. Ein Modell mit den Daten zu testen, aus denen es gelernt hat, ist ein grundlegender Fehler: Ein Modell, das lediglich Gesehenes wiederholt, erzielt dabei ein perfektes Ergebnis, sagt aber nichts voraus.
2. Legen Sie einen Ausgangswert fest
Ermitteln Sie, welches Ergebnis eine einfache Regel erzielen würde. Bei Pantrybox bleiben jeden Monat etwa 70% der Kunden. Wer also für alle Kunden 'bleibt' vorhersagt, liegt zu etwa 70% richtig. Ein nützliches Modell muss deutlich besser abschneiden.
3. Vergleichen Sie Trainings- und Testdaten
Ein hoher Trainingswert bei deutlich niedrigerem Testwert deutet auf Überanpassung hin. Niedrige Werte bei beiden, nahe am Vergleichswert, deuten auf Unteranpassung hin. Ähnlich gute Werte bei beiden sprechen für eine angemessene Anpassung.
4. Prüfen Sie die Stabilität
Bei der Kreuzvalidierung wird das Modell mehrmals mit unterschiedlichen Teilmengen der Trainingsdaten trainiert und getestet. Anschließend werden die Ergebnisse gemittelt. Wenn die Bewertungen zwischen den Teilmengen stark schwanken, ist das Modell nicht robust.
5. Wählen Sie eine Lösung, die zum Problem passt
Überanpassung und Unteranpassung erfordern gegensätzliche Maßnahmen. Benennen Sie daher das Problem, bevor Sie etwas ändern.
Wie beheben Sie Überanpassung und Unteranpassung?
Beheben Sie Überanpassung, indem Sie das Modell vereinfachen oder seine Daten repräsentativer machen. Beheben Sie Unteranpassung, indem Sie dem Modell mehr nützliche Informationen oder mehr Flexibilität geben. Einfach gesagt:
Bei Überanpassung
Entfernen Sie Spalten, die Personen statt Verhalten identifizieren, etwa die Kundenkennung. Verwenden Sie Trainingsdaten, die die Kunden repräsentieren, die Sie tatsächlich bewerten werden. Bevorzugen Sie ein einfacheres Modell und setzen Sie Regularisierung ein: Sie bestraft Komplexität während des Trainings, sodass das Modell einfachere Muster bevorzugt.
Bei Unteranpassung
Fügen Sie Merkmale hinzu, die plausibel mit einer Kündigung zusammenhängen, etwa ausgelassene Lieferungen, kürzlich eingegangene Beschwerden oder eine Preisänderung. Lassen Sie ein flexibleres Modell zu und prüfen Sie, ob die Daten so stark verrauscht oder falsch gekennzeichnet sind, dass kein Modell daraus lernen könnte.
Für beide
Lassen Sie den Testdatensatz bis zum Schluss unangetastet. Wenn Sie das Modell wiederholt anhand des Testdatensatzes optimieren, fließen Informationen daraus in das Modell ein. Das Testergebnis liefert dann keine unverfälschte Einschätzung mehr.
Wie sieht eine schwache und eine verbesserte Entscheidung auf Basis eines Modells zur Vorhersage von Kundenabwanderung aus?
Die schwache Entscheidung fällt auf Modell A, weil 99% die größte Zahl auf der Folie ist. Im Einsatz ist es kaum besser als bloßes Raten, und das Kundenbindungsteam verschwendet Anrufe auf Kunden, die ohnehin nicht abwandern würden.
Die verbesserte Entscheidung lautet: 'Modell A hat einzelne Kunden auswendig gelernt: Es enthält die Kunden-ID und genaue Bestelldaten, hat also bereits bekannte Personen wiedererkannt, statt zu lernen, warum Menschen kündigen. Modell B ist zu einfach, um den Basiswert von 70% zu übertreffen. Nächster Schritt: Modell C verwendet sechs Verhaltensmerkmale, darunter ausgelassene Lieferungen im letzten Monat, Supportanfragen und Wochen seit der letzten Menüänderung. Kunden-ID und Postleitzahl werden entfernt. Ziel: ein Testergebnis deutlich über 70%, das nur wenige Prozentpunkte vom Trainingsergebnis abweicht, geprüft mit fünffacher Kreuzvalidierung, bevor sich das Kundenbindungsteam darauf verlässt.' Sian weiß jetzt, warum das Modell mit 99% gescheitert ist und wie ein gutes Ergebnis aussehen sollte.
Wie prüfen Sie, ob ein Modell weder überangepasst noch unterangepasst ist?
Prüfen Sie ein Modell: Sein Testergebnis sollte nahe am Trainingsergebnis liegen, deutlich besser als der Referenzwert sein und sowohl über die Teilstichproben der Kreuzvalidierung als auch bei Daten aus einem neuen Monat stabil bleiben. Fragen Sie außerdem, ob ein Merkmal erst nach dem Ergebnis bekannt wäre, etwa ein Kündigungsgrund. Das ist ein Datenleck und lässt beide Ergebnisse besser aussehen, als das Modell tatsächlich ist.
Was sind häufige Fehler im Umgang mit Überanpassung und Unteranpassung?
Der häufigste Fehler ist, die Genauigkeit auf den Trainingsdaten so darzustellen, als wäre sie die Genauigkeit im Praxiseinsatz. Weitere Fehler: den Vergleichswert ignorieren, sodass 70% beeindruckend wirken, obwohl Raten denselben Wert erreicht; in der Hoffnung auf einen höheren Wert jede verfügbare Spalte hinzufügen; bei der Abstimmung bereits in die Testdaten schauen; und Überanpassung als Anlass für mehr Komplexität sehen, obwohl meist das Gegenteil nötig ist.
Wo ist diese Lektion bei Tosheo.ai eingeordnet?
Diese Lektion gehört zur Kategorie Maschinelles Lernen und folgt im Kurs für maschinelles Lernen auf die Einführung in Modelle. In der Praxisaufgabe bei Tosheo.ai erhalten Sie einen fiktiven Modellbericht zur Analyse. Die Rückmeldung anhand des Kriterienrasters prüft, ob Sie Trainings-, Test- und Referenzergebnisse verglichen haben, bevor Sie eine Korrektur empfehlen. Das Angebot vermittelt berufliche Grundlagen für die Zusammenarbeit mit Datenteams. Der optionale Programmierpfad behandelt das Training und die Bewertung von Modellen im Programmcode.
Quellen und Geltungsbereich
Google-Crashkurs zum maschinellen Lernen: Überanpassung (geprüft am 19 October 2026) ↗
scikit-learn-Benutzerhandbuch: Kreuzvalidierung (geprüft am 19 October 2026) ↗