Was ist Surapprentissage (Overfitting)

Définition

Le surapprentissage (overfitting) décrit un phénomène en Machine Learning où un modèle s'adapte de manière excessive aux détails spécifiques et au bruit des données d'entraînement. Ainsi, bien que le modèle obtienne d'excellents résultats sur les données d'entraînement connues, il perd sa capacité de généralisation et échoue lorsqu'il est appliqué à de nouvelles données, jamais vues auparavant.

Explication

Dans le contexte B2B et SaaS, le surapprentissage représente un risque considérable, car les données historiques sont souvent limitées ou fortement influencées par des effets saisonniers. Par exemple, si un modèle prédictif destiné à l'évaluation des opportunités commerciales (deal scoring) mémorise des détails non pertinents des données d'entraînement, il fournira des prévisions erronées pour de nouveaux clients potentiels. Dans ce cas, le modèle n'a pas développé une compréhension approfondie des véritables facteurs de succès, mais a simplement intégré le bruit. Pour détecter le surapprentissage à un stade précoce, les ensembles de données sont divisés en données d'entraînement et de test distinctes. Parmi les contre-mesures efficaces dans le processus de développement logiciel B2B, on trouve des techniques telles que la régularisation, la réduction de la complexité du modèle, le Data Augmentation ainsi que l'arrêt précoce du processus d'entraînement (Early Stopping).