Plattform
Plattform-ÜbersichtAI Adoption & Multi-ModellSelbstbefüllendes KI-CRMSales & Branchen CRMSales CRM Use CasesRecruiting CRM Use CasesB2B Kontakt-SucheMulti-Channel-KampagnenProjekte & AufgabenTeam-MessengerSocial Media StudioFunnel & NewsletterMeetings & Terminbuchung
Beratung, Preise & Ressourcen
KI-Transformation & StrategieManaged ServicesAlexander Weltzsch · Executive AdvisoryDennis Hilger · B2B Growth AdvisoryPreise & LizenzrechnerÜber unsKI im UnternehmenTech und KI GlossarLeitfaden für erfolgreiche LandingpagesGeschäftsbedingungen und RichtlinienKontakt & Live-Demo
← Zurück zum Tech und KI Glossar (A–Z)
Tech und KI Glossar · Buchstabe · Buchstabe D

Double Descent

Double Descent

Definition

Double Descent bezeichnet ein im Machine Learning beobachtetes Verhalten, bei dem der Testfehler eines Modells mit wachsender Modellgröße oder Trainingsdauer zunächst sinkt, an der sogenannten Interpolationsschwelle ansteigt und bei noch stärkerer Überparametrisierung ein zweites Mal abfällt.

Erklärung

Nach dem klassischen Bias-Variance-Tradeoff der Statistik müsste ein Modell mit deutlich mehr freien Parametern als Trainingsbeispielen das Rauschen der Trainingsdaten auswendig lernen und auf ungesehenen Testdaten dauerhaft schlechter abschneiden. Bei tiefen neuronalen Netzen, großen Sprachmodellen und Ensemble-Verfahren tritt der höchste Testfehler jedoch genau in der Übergangszone auf, in der das Modell die Trainingsdaten gerade eben fehlerfrei interpolieren kann. Jenseits dieser Schwelle glättet das Optimierungsverfahren (etwa Stochastic Gradient Descent) die gelernte Funktion implizit, sodass deutlich größere Netze wieder besser auf neue Daten generalisieren. Für Machine-Learning-Teams bedeutet das praktisch, ein Modell bei steigendem Validierungsfehler nicht vorschnell als zu groß zu verwerfen, sondern Modellkapazität, Regularisierung und Datenrauschen gemeinsam zu prüfen.