Double Descent bezeichnet ein im Machine Learning beobachtetes Verhalten, bei dem der Testfehler eines Modells mit wachsender Modellgröße oder Trainingsdauer zunächst sinkt, an der sogenannten Interpolationsschwelle ansteigt und bei noch stärkerer Überparametrisierung ein zweites Mal abfällt.
Erklärung
Nach dem klassischen Bias-Variance-Tradeoff der Statistik müsste ein Modell mit deutlich mehr freien Parametern als Trainingsbeispielen das Rauschen der Trainingsdaten auswendig lernen und auf ungesehenen Testdaten dauerhaft schlechter abschneiden. Bei tiefen neuronalen Netzen, großen Sprachmodellen und Ensemble-Verfahren tritt der höchste Testfehler jedoch genau in der Übergangszone auf, in der das Modell die Trainingsdaten gerade eben fehlerfrei interpolieren kann. Jenseits dieser Schwelle glättet das Optimierungsverfahren (etwa Stochastic Gradient Descent) die gelernte Funktion implizit, sodass deutlich größere Netze wieder besser auf neue Daten generalisieren. Für Machine-Learning-Teams bedeutet das praktisch, ein Modell bei steigendem Validierungsfehler nicht vorschnell als zu groß zu verwerfen, sondern Modellkapazität, Regularisierung und Datenrauschen gemeinsam zu prüfen.