Overfitting (Überanpassung) tritt im Machine Learning auf, wenn ein Modell zufällige Schwankungen und Ausreißer der Trainingsdaten auswendig lernt, statt verallgemeinerbare Muster zu erfassen. Auf den bekannten Trainingsdaten erreicht es dadurch sehr niedrige Fehlerraten, liefert bei neuen, ungesehenen Daten jedoch ungenaue Vorhersagen.
Erklärung
Das Risiko für Overfitting steigt besonders dann, wenn ein Modell im Verhältnis zur Anzahl der verfügbaren Trainingsbeispiele zu viele freie Parameter oder Eingabemerkmale (Features) besitzt. Im B2B-Umfeld umfasst die Datenbasis etwa beim Deal Scoring oder bei der Kündigungsprognose häufig nur wenige hundert abgeschlossene Verträge pro Jahr. Lernt der Algorithmus zufällige Korrelationen aus dieser Stichprobe, etwa eine bestimmte Postleitzahl oder Saisonspitze, schlagen seine Prognosen bei künftigen Kunden fehl. Erkannt wird Überanpassung durch die strikte Trennung in Trainings-, Validierungs- und Testdaten sowie durch Kreuzvalidierung (Cross-Validation): Sinkt der Trainingsfehler weiter, während der Validierungsfehler wieder ansteigt, passt sich das Modell zu stark an. Gegenmaßnahmen sind kleinere Modellarchitekturen, das Entfernen redundanter Merkmale, Regularisierung (L1, L2, Dropout) sowie ein vorzeitiger Trainingsabbruch (Early Stopping).