Regularisierung (Regularization) umfasst mathematische und strukturelle Verfahren im Machine Learning, die die Komplexität eines Modells während des Trainings begrenzen, um eine Überanpassung (Overfitting) an die Trainingsdaten zu verhindern.
Erklärung
In betrieblichen Datensätzen stehen einer begrenzten Zahl historischer Beobachtungen oft Dutzende potenzieller Eingabemerkmale (Features) gegenüber, sodass ein ungebremstes Modell zufälliges Rauschen mitlernt. Klassische Regularisierungsverfahren ergänzen deshalb die Zielfunktion um einen Strafterm für große Parametergewichte: Die L1-Regularisierung (Lasso) addiert die absoluten Beträge der Gewichte und setzt schwache Merkmale exakt auf null, wodurch sie gleichzeitig eine automatische Merkmalsauswahl durchführt. Die L2-Regularisierung (Ridge, im Deep Learning auch Weight Decay) bestraft die quadrierten Gewichte und verteilt den Einfluss gleichmäßiger über korrelierte Variablen, während Elastic Net beide Ansätze kombiniert. In tiefen neuronalen Netzen kommen ergänzend strukturelle Verfahren wie Dropout (zufälliges Deaktivieren einzelner Neuronen pro Trainingsschritt) und Early Stopping zum Einsatz. Über den Regularisierungsparameter (Lambda), der per Kreuzvalidierung bestimmt wird, steuern Entwickler die Balance zwischen Unteranpassung (Underfitting) und Überanpassung.