Eine Loss Function (Verlustfunktion) ist eine mathematische Funktion, die die Abweichung zwischen der Vorhersage eines Machine-Learning-Modells und dem tatsächlichen Zielwert (Ground Truth) als einzelnen Fehlerwert berechnet.
Erklärung
Während des Trainings dient dieser Fehlerwert als direktes Optimierungssignal: Über Gradientenabstieg werden die Modellgewichte so angepasst, dass der Verlust über die Trainingsdaten hinweg sinkt. Welche Verlustfunktion zum Einsatz kommt, richtet sich nach dem Aufgabentyp und dem gewünschten Fehlerverhalten. Bei Regressionsaufgaben wie Umsatz- oder Bedarfsprognosen bestraft der mittlere quadratische Fehler (Mean Squared Error, MSE) große Ausreißer überproportional stark, während der mittlere absolute Fehler (MAE) oder der Huber-Loss robuster gegenüber einzelnen Extremwerten wie ungewöhnlichen Großaufträgen reagiert. Für Klassifikationen wie Lead-Scoring sowie für die Wortvorhersage in Sprachmodellen wird meist die Kreuzentropie (Cross-Entropy Loss) genutzt, die falsch zugewiesene Wahrscheinlichkeiten logarithmisch gewichtet. Bei stark unausgewogenen B2B-Datensätzen, etwa seltenen Kündigungs- oder Betrugsfällen, verhindern gewichtete Verlustfunktionen oder der Focal Loss, dass das Modell die seltene Klasse ignoriert.