Was ist Gradient Descent (Gradientenabstieg)

Definition

Gradient Descent (Gradientenabstieg) ist ein Optimierungsalgorithmus, der verwendet wird, um die Fehlerfunktion (Loss Function) eines Modells zu minimieren, indem die Parameter des Modells schrittweise in Richtung des steilsten Abstiegs angepasst werden.

Erklärung

Der Algorithmus berechnet den Gradienten (die mathematische Ableitung) der Fehlerfunktion in Bezug auf die aktuellen Gewichte des neuronalen Netzwerks. Anschließend werden die Gewichte in der dem Gradienten entgegengesetzten Richtung angepasst, um sich dem globalen oder lokalen Minimum der Fehlerfunktion zu nähern. Die Schrittweite dieser Anpassung wird durch die sogenannte Lernrate (Learning Rate) gesteuert. Im SaaS- und Deep-Learning-Kontext ist Gradient Descent das mathematische Arbeitspferd hinter dem Training fast aller KI-Modelle. Ohne diese effiziente Optimierungsmethode wäre das Trainieren komplexer Modelle für CRM-Analysen, Absatzprognosen oder Sprachverarbeitung in akzeptabler Zeit und mit moderaten Hardware-Ressourcen nicht denkbar.