Hyperparameter sind übergeordnete Konfigurationswerte eines Machine-Learning-Verfahrens, die vor dem Trainingslauf festgelegt werden und sowohl die Modellarchitektur als auch den Optimierungsprozess steuern.
Erklärung
Anders als Modellgewichte werden Hyperparameter nicht direkt durch Gradientenabstieg aus den Trainingsdaten berechnet, sondern von Entwicklern oder automatisierten Suchverfahren vorgegeben. Zu den Architektur-Hyperparametern zählen etwa die Anzahl der Schichten und Aufmerksamkeitsköpfe eines Netzes oder die maximale Baumtiefe bei Gradient-Boosted-Decision-Trees; zu den Trainings-Hyperparametern gehören Lernrate, Batch-Größe, Regularisierungsstärke (etwa Weight Decay oder Dropout) und Epochenanzahl. Da ungünstige Einstellungen zu Overfitting oder instabilem Training führen, vergleichen Data-Science-Teams verschiedene Kombinationen systematisch auf einem separaten Validierungsdatensatz, beispielsweise mittels Random Search, Bayes'scher Optimierung oder Early-Stopping-Verfahren wie Hyperband. Erst nach Abschluss dieser Auswahl wird die finale Modellgüte einmalig auf einem unabhängigen Testdatensatz gemessen.