Was ist Gradient Descent (Descente de Gradient)

Définition

La Descente de Gradient est un algorithme d'optimisation utilisé pour minimiser la fonction de coût (Loss Function) d'un modèle, en ajustant progressivement ses paramètres dans la direction de la plus forte pente.

Explication

L'algorithme calcule le gradient (la dérivée mathématique) de la fonction de coût par rapport aux poids actuels du réseau neuronal. Ensuite, les poids sont ajustés dans la direction opposée à celle du gradient, afin de se rapprocher du minimum global ou local de la fonction de coût. L'amplitude de ce pas d'ajustement est contrôlée par ce que l'on appelle le taux d'apprentissage (Learning Rate). Dans le contexte du SaaS et du Deep Learning, la Descente de Gradient est le pilier mathématique qui sous-tend l'entraînement de la quasi-totalité des modèles d'IA. Sans cette méthode d'optimisation efficace, l'entraînement de modèles complexes pour des analyses CRM, des prévisions de ventes ou le traitement du langage ne serait pas envisageable dans des délais acceptables et avec des ressources matérielles modérées.