Gradient Descent (Gradientenabstieg) ist ein iterativer Optimierungsalgorithmus, der die Parameter eines Machine-Learning-Modells schrittweise anpasst, um den Wert einer Verlustfunktion (Loss Function) zu minimieren.
Erklärung
In jedem Trainingsschritt berechnet der Algorithmus über Backpropagation den Gradienten, also die partiellen Ableitungen der Verlustfunktion nach allen Modellgewichten. Dieser Vektor zeigt in die Richtung des stärksten Fehleranstiegs; das Modell korrigiert seine Gewichte daher in die entgegengesetzte Richtung. Die Schrittweite dieser Korrektur legt die Lernrate (Learning Rate) fest: Ist sie zu groß, überspringt der Algorithmus das Minimum und divergiert; ist sie zu klein, konvergiert das Training nur langsam oder verharrt in flachen Regionen. In der Praxis berechnen Verfahren wie Mini-Batch Stochastic Gradient Descent (SGD) oder Adam den Gradienten jeweils auf kleinen Teilmengen (Batches) der Trainingsdaten, um Speicherbedarf und Rechenzeit bei großen Datensätzen wie CRM-Historien oder Textkorpora zu begrenzen.