Bonjour ! Dans la leçon précédente, nous avons vu comment diviser un jeu de données en ensembles d'entraînement et de test. Cette séparation est la pierre angulaire d'une évaluation honnête de nos modèles. Aujourd'hui, nous allons utiliser cette technique pour diagnostiquer deux des problèmes les plus courants et les plus fondamentaux en apprentissage automatique : le surapprentissage et le sous-apprentissage.
L'objectif de cette leçon est de vous apprendre à définir, identifier et comprendre ces deux problèmes. Nous plongerons ensuite dans le concept théorique qui les sous-tend : le compromis biais-variance (bias-variance tradeoff). La maîtrise de cette notion est absolument essentielle pour construire des modèles qui non seulement fonctionnent bien sur les données qu'ils ont vues, mais qui sont aussi capables de généraliser leurs connaissances à de nouvelles données.
1. Sous-apprentissage et Surapprentissage : Deux extrêmes d'un même problème
Imaginez un modèle d'apprentissage automatique comme un étudiant se préparant à un examen. Les données d'entraînement sont les exercices de révision, et les données de test sont l'examen final.
-
Le sous-apprentissage (Underfitting) : C'est comme un étudiant qui a à peine lu le cours. Son modèle mental du sujet est trop simpliste. Il obtient de mauvais résultats aux exercices de révision et, sans surprise, échoue lamentablement à l'examen final. Le modèle est trop simple pour capturer les relations complexes dans les données.
-
Le surapprentissage (Overfitting) : C'est l'étudiant zélé qui a mémorisé par cœur les réponses de tous les exercices de révision, y compris les erreurs et les cas particuliers. Il excelle sur les exercices (score parfait !), mais dès que l'examen final présente des questions légèrement différentes, il est perdu. Il n'a pas compris les concepts sous-jacents. Le modèle a "appris le bruit" dans les données d'entraînement au lieu d'apprendre le signal.
L'article suivant de CUDO Compute offre d'excellentes définitions et analogies pour ces deux concepts.
Underfitting vs Overfitting in Machine Learning - CUDO Compute
Cet article décompose clairement les concepts de surapprentissage et de sous-apprentissage avec des analogies simples et des caractéristiques clés.
Lisez d'abord la section "What is overfitting?". Notez bien les trois caractéristiques clés : un modèle trop complexe, une mauvaise généralisation, et un écart important entre l'erreur d'entraînement (faible) et l'erreur de test (élevée). Ensuite, lisez la section suivante, "What is underfitting?". Retenez ici que le modèle est trop simple et obtient de mauvais résultats à la fois sur les données d'entraînement et de test.
Un bon modèle est un modèle qui trouve un équilibre, comme un étudiant qui a bien compris les concepts et peut donc réussir à la fois les exercices de révision et l'examen final.
2. Le diagnostic : Comment identifier le problème ?
Maintenant que nous avons les définitions, comment savoir si notre modèle souffre de sous-apprentissage ou de surapprentissage ? C'est là que la division entraînement/test de la leçon précédente devient notre principal outil de diagnostic. Nous allons comparer les performances du modèle sur ces deux ensembles de données.
Andrew Ng, dans sa vidéo, propose une méthode de diagnostic très claire et chiffrée.
Cette vidéo du cours sur l'apprentissage automatique d'Andrew Ng est une référence pour diagnostiquer le biais et la variance en pratique.
Regardez attentivement le segment clé de cette vidéo. Andrew Ng y explique comment utiliser l'erreur sur l'ensemble d'entraînement (training set error) et l'erreur sur l'ensemble de développement/test (dev set error) pour poser un diagnostic. Voici les scénarios qu'il présente : Erreur d'entraînement : 1%, Erreur de test : 11% -> Le modèle est excellent sur les données qu'il connaît mais mauvais sur les nouvelles. C'est un cas de haute variance (surapprentissage). Erreur d'entraînement : 15%, Erreur de test : 16% -> Le modèle est mauvais partout. Il ne parvient même pas à bien apprendre les données d'entraînement. C'est un cas de haut biais (sous-apprentissage). Erreur d'entraînement : 15%, Erreur de test : 30% -> Le pire des deux mondes. Le modèle est mauvais sur les données d'entraînement (haut biais) et encore plus mauvais sur les données de test (haute variance). Erreur d'entraînement : 0.5%, Erreur de test : 1% -> Le modèle est performant sur les deux ensembles. C'est un bon ajustement (good fit).
Ces comparaisons sont le moyen le plus direct de comprendre le comportement de votre modèle. Un écart important entre les deux erreurs signale un surapprentissage. Des erreurs élevées sur les deux ensembles signalent un sous-apprentissage.
3. Le compromis Biais-Variance
Les problèmes de surapprentissage et de sous-apprentissage sont les deux faces d'une même pièce : le compromis biais-variance. Comprendre ce compromis est fondamental. L'erreur totale d'un modèle peut être décomposée en trois parties :
Erreur Totale = Biais² + Variance + Erreur Irréductible
- L'Erreur Irréductible est le bruit inhérent aux données. Nous ne pouvons rien y faire.
- Le Biais est l'erreur due à des hypothèses trop simplistes dans le modèle. Un modèle avec un biais élevé a tendance à ignorer les relations complexes dans les données. Un biais élevé cause le sous-apprentissage.
- La Variance est l'erreur due à une trop grande sensibilité du modèle aux petites fluctuations dans les données d'entraînement. Un modèle avec une variance élevée modélise même le bruit aléatoire des données. Une variance élevée cause le surapprentissage.
La vidéo suivante de StatQuest explique ce concept de manière exceptionnellement intuitive.
Machine Learning Fundamentals: Bias and Variance
Cette vidéo utilise une analogie visuelle claire pour illustrer la différence entre le biais et la variance, et comment ils se rapportent à des modèles simples ou complexes.
Regardez ces parties clés : Définition du biais : montre comment un modèle simple (une ligne droite) est incapable de capturer la vraie relation (une courbe), ce qui constitue le biais. Définition de la variance : explique comment un modèle complexe (une ligne sinueuse) s'adapte parfaitement à un ensemble de données mais très mal à un autre. Cette instabilité est la variance. Le compromis : résume l'idée qu'un modèle idéal a un faible biais et une faible variance, ce qui nécessite de trouver un "sweet spot" (juste milieu) entre un modèle trop simple et un modèle trop complexe.
L'image ci-dessous, utilisant une analogie de tir à la cible, est une visualisation classique de ces concepts.
Le compromis vient du fait qu'il est souvent impossible de minimiser simultanément le biais et la variance.
- Si vous augmentez la complexité de votre modèle (par exemple, en utilisant un polynôme de degré plus élevé ou un réseau de neurones plus profond), vous réduisez son biais (il peut mieux s'adapter aux données), mais vous augmentez sa variance (il risque davantage d'apprendre le bruit).
- Si vous simplifiez votre modèle, vous réduisez sa variance (il devient plus stable), mais vous augmentez son biais (il risque de manquer la complexité des données).
Votre objectif en tant que praticien de l'apprentissage automatique est de trouver le niveau de complexité qui minimise la somme du biais et de la variance, comme le montre ce graphique classique.
4. Causes et Stratégies de Correction (Aperçu)
Maintenant que nous pouvons diagnostiquer le problème, comment le résoudre ? Voici un aperçu des causes et des solutions, que nous explorerons en détail dans les prochains modules.
L'article de Lightly AI résume très bien ces stratégies.
Mastering the Bias-Variance Tradeoff in Machine Learning
Cet article fournit un tableau récapitulatif très utile et une liste de stratégies concrètes pour corriger le surapprentissage et le sous-apprentissage.
Commencez par consulter le tableau dans la section "Underfitting vs Overfitting". Il résume parfaitement les différences en termes de complexité, d'erreurs, de biais et de variance. Ensuite, parcourez la section "Strategies to Balance Bias and Variance". Ne vous souciez pas de comprendre chaque technique en détail pour l'instant. Concentrez-vous sur les idées générales : Pour corriger le haut biais (sous-apprentissage) : On cherche à rendre le modèle plus puissant. Les stratégies incluent l'augmentation de la complexité du modèle (par exemple, utiliser un algorithme plus complexe) ou l'ajout de plus de caractéristiques (feature engineering). Pour corriger la haute variance (surapprentissage) : On cherche à contraindre le modèle ou à lui donner de meilleures données. Les stratégies incluent l'obtention de plus de données, la simplification du modèle, ou l'utilisation de techniques de régularisation (comme Lasso/Ridge ou le Dropout), qui pénalisent la complexité.
Nous aborderons la régularisation dans le module 8 et l'ajustement des modèles dans le module 9, mais il est crucial de comprendre dès maintenant quel problème chaque technique cherche à résoudre.
Conclusion
Aujourd'hui, nous avons exploré les concepts de surapprentissage, de sous-apprentissage et le compromis biais-variance. Ce sont des idées centrales que vous rencontrerez constamment dans votre parcours en apprentissage automatique.
Points clés à retenir :
- Le sous-apprentissage (haut biais) se produit lorsqu'un modèle est trop simple pour capturer les tendances des données, entraînant une performance médiocre sur les ensembles d'entraînement et de test.
- Le surapprentissage (haute variance) se produit lorsqu'un modèle est trop complexe et apprend le bruit des données d'entraînement, ce qui se traduit par une excellente performance sur l'ensemble d'entraînement mais une mauvaise performance sur l'ensemble de test.
- Le diagnostic se fait en comparant les erreurs d'entraînement et de test.
- Le compromis biais-variance est le défi central qui consiste à trouver un modèle suffisamment complexe pour capturer les signaux importants sans pour autant mémoriser le bruit.
- Des stratégies existent pour combattre ces deux problèmes, soit en augmentant la complexité du modèle (pour réduire le biais), soit en la réduisant ou en ajoutant des données (pour réduire la variance).
Jusqu'à présent, nous avons parlé d'"erreur" de manière qualitative. Pour qu'un algorithme puisse s'entraîner, il a besoin d'une mesure quantitative de son erreur. Dans la prochaine leçon, nous allons formaliser cela en définissant le rôle de la fonction de coût/perte (cost/loss function), la métrique que les modèles d'apprentissage automatique cherchent à minimiser.