Bonjour !
Dans notre leçon précédente, vous avez découvert le flux de travail fondamental du Machine Learning : la séparation des données en ensembles d'entraînement et de test pour évaluer la capacité d'un modèle à généraliser sur des données inconnues. Nous avons vu que la performance sur l'ensemble d'entraînement n'est pas un bon indicateur de la performance future.
Aujourd'hui, nous allons explorer la raison théorique derrière ce phénomène. L'objectif de cette leçon est de vous amener à décrire le compromis biais-variance comme un défi central de la modélisation prédictive. Ce concept est sans doute l'un des plus importants en Machine Learning, car il régit la relation entre la complexité d'un modèle, le sur-apprentissage (overfitting) et le sous-apprentissage (underfitting).
Pour vous qui venez de l'économétrie, ce concept trouvera un écho particulier. Il est directement analogue au compromis que vous connaissez bien entre le biais d'un estimateur (par exemple, dû à l'omission de variables pertinentes) et son efficacité (la variance de l'estimateur).
1. Une Introduction Intuitive au Biais et à la Variance
Commençons par une explication très visuelle et intuitive de ces deux concepts. La chaîne "StatQuest" est réputée pour sa clarté.
Machine Learning Fundamentals: Bias and Variance
La vidéo "Machine Learning Fundamentals: Bias and Variance" de StatQuest with Josh Starmer utilise un exemple simple pour illustrer les concepts de biais, de variance, et leur lien avec le sur-apprentissage.
Veuillez regarder les segments suivants (00:22 à 05:49) : Introduction (jusqu'à 01:17) : Présentation du problème de prédiction. Biais (01:45 - 02:27) : Illustré par un modèle linéaire simple qui ne peut pas capturer la vraie relation (sous-apprentissage). Variance (02:27 - 04:19) : Illustrée par un modèle très flexible qui s'adapte trop au bruit des données d'entraînement (sur-apprentissage). Le compromis (04:19 - 05:49) : Comparaison des deux modèles et définition de l'objectif : trouver le juste milieu.
Pour résumer et synthétiser :
-
Biais (Bias) : C'est l'erreur due aux hypothèses simplificatrices du modèle. Un modèle à fort biais est trop simple pour capturer la structure sous-jacente des données. Il "sous-apprend" (underfitting).
- Symptômes : Performance médiocre à la fois sur l'ensemble d'entraînement et sur l'ensemble de test.
-
Variance (Variance) : C'est l'erreur due à la sensibilité du modèle aux petites fluctuations de l'ensemble d'entraînement. Un modèle à forte variance est trop complexe et capture le bruit aléatoire en plus du signal. Il "sur-apprend" (overfitting).
- Symptômes : Excellente performance sur l'ensemble d'entraînement, mais performance médiocre sur l'ensemble de test.
Le schéma suivant, souvent appelé "cible de fléchettes", est une analogie classique pour visualiser ces concepts.
2. Le Pont avec l'Économétrie : Biais d'Omission et Perte d'Efficacité
Votre formation en économétrie vous a déjà préparé à ce type de compromis. Le document suivant établit un parallèle direct entre le vocabulaire de la modélisation économétrique et celui du Machine Learning.
Econometrics: Model Specification
L'article "Econometrics: Model Specification" relie explicitement le choix des variables dans un modèle de régression au compromis biais-variance.
Veuillez lire les sections intitulées "How to specify?", "Estimation bias", "Efficiency loss" et "Bias-variance trade-off". Concentrez-vous sur la manière dont l'auteur formalise le problème : Trop peu de variables (modèle restreint) conduit à un biais (biais de variable omise). Trop de variables (modèle non restreint) conduit à une perte d'efficacité (variance plus élevée des estimateurs).
Ce parallèle est puissant :
- Le biais en ML (sous-apprentissage) est analogue au biais de variable omise. En choisissant un modèle trop simple, vous omettez des relations importantes, ce qui biaise systématiquement vos prédictions.
- La variance en ML (sur-apprentissage) est analogue à la perte d'efficacité. En incluant trop de variables (ou des termes polynomiaux trop élevés), votre modèle devient "instable". Ses coefficients (et donc ses prédictions) changeraient radicalement si vous utilisiez un échantillon d'entraînement légèrement différent.
3. Visualiser le Compromis : La Courbe d'Erreur en U
Maintenant que nous avons l'intuition et le lien avec l'économétrie, formalisons la relation entre la complexité du modèle, l'erreur d'entraînement et l'erreur de test.
Statistical Learning: 2.3 Model Selection and Bias Variance Tradeoff
Cette vidéo du cours de Stanford sur l'Apprentissage Statistique, par les créateurs du domaine, montre la visualisation classique du compromis biais-variance.
Veuillez regarder les segments de 01:57 à 09:41. Portez une attention particulière à : La forme des courbes (01:57 - 05:49) : Observez comment l'erreur sur les données de test (courbe rouge) diminue puis augmente, formant un "U", tandis que l'erreur sur les données d'entraînement (courbe grise) ne fait que diminuer. La décomposition de l'erreur (05:49 - 09:41) : Voyez comment la courbe d'erreur de test est la somme de la variance (croissante), du biais au carré (décroissant) et de l'erreur irréductible.
La vidéo illustre le point central : en tant que praticien du ML, votre objectif est de trouver le niveau de complexité qui se situe au creux de la courbe en U de l'erreur de test. C'est le "sweet spot" où le modèle généralise le mieux.
4. La Décomposition Mathématique de l'Erreur
Approfondissons la décomposition mathématique de l'erreur de prédiction. Un excellent ouvrage, conçu pour les économistes, décompose formellement l'erreur quadratique moyenne de prédiction (MSPE - Mean Squared Prediction Error).
Chapter 5 Bias-Variance Trade-off
Le livre "Causal Inference and Machine Learning" propose une discussion formelle du compromis biais-variance. Nous allons nous concentrer sur la définition mathématique et l'interprétation d'une simulation.
Veuillez étudier les sections suivantes : Section 5.1 "Bias-Variance Trade-off" : Concentrez-vous sur la décomposition de l'erreur quadratique moyenne de prédiction (MSPE). L'équation clé est : \mathbb{E}[\text{MSPE}] = \text{Bias}^2 + \text{Variance} + \sigma^2 Section 5.1.1 "Simulation for Polynomial Regression" : Ne vous attardez pas sur le code, mais analysez attentivement la Table 5.2. Observez comment, à mesure que le degré du polynôme (la complexité du modèle) augmente, le Bias^2 diminue tandis que la Variance augmente. L'erreur totale (In-sample MSPEs) diminue d'abord, puis se stabilise/augmente légèrement, illustrant parfaitement le compromis.
Cette décomposition formelle est la pierre angulaire du concept :
- Biais au carré ($(\text{Bias})^2$) : Mesure à quel point la prédiction moyenne de notre modèle s'écarte de la vraie valeur. C'est une mesure de l'erreur systématique.
- Variance : Mesure la variabilité des prédictions du modèle pour un point donné si nous l'entraînions sur différents ensembles de données d'entraînement. C'est une mesure de l'instabilité du modèle.
- Erreur Irréductible ($\sigma^2$) : Représente le bruit inhérent aux données elles-mêmes. C'est la limite inférieure de l'erreur qu'aucun modèle, aussi parfait soit-il, ne peut franchir.
Le défi de la modélisation prédictive consiste donc à minimiser la somme des deux premiers termes, l'erreur réductible.
Testez votre compréhension !
Vous évaluez deux modèles de scoring de crédit. Après entraînement, vous mesurez leur performance sur l'ensemble d'entraînement et l'ensemble de test, en utilisant l'erreur quadratique moyenne (MSE).
- Modèle Alpha :
- MSE sur l'entraînement : 0.25
- MSE sur le test : 0.28
- Modèle Beta :
- MSE sur l'entraînement : 0.05
- MSE sur le test : 0.45
- Quel modèle souffre probablement d'un biais élevé (sous-apprentissage) ?
- Quel modèle souffre probablement d'une variance élevée (sur-apprentissage) ?
- Lequel des deux modèles choisiriez-vous pour une mise en production ? Pourquoi ?
Voir la réponse
-
Le Modèle Alpha souffre probablement d'un biais relativement élevé. Son erreur est modérée mais similaire sur les deux ensembles. Cela suggère qu'il est trop simple et ne capture pas toute la complexité des données, mais il généralise de manière stable ce qu'il a appris. Il est en situation de sous-apprentissage (underfitting).
-
Le Modèle Beta souffre clairement d'une variance élevée. Il a une erreur extrêmement faible sur les données d'entraînement, ce qui signifie qu'il a "mémorisé" ces données presque parfaitement. Cependant, sa performance s'effondre sur les données de test, qu'il n'a jamais vues. C'est le signe classique du sur-apprentissage (overfitting).
-
Il faudrait choisir le Modèle Alpha. Bien qu'il ne soit pas parfait, sa performance sur l'ensemble de test est nettement meilleure que celle du Modèle Beta (MSE de 0.28 contre 0.45). Il est bien plus fiable car sa capacité à généraliser à de nouvelles données est prouvée. Le Modèle Beta est dangereux car sa performance en conditions réelles serait probablement très mauvaise.
Conclusion de la Leçon
Aujourd'hui, nous avons décortiqué le dilemme fondamental de la modélisation prédictive : le compromis biais-variance. C'est l'équilibre délicat entre un modèle trop simple qui ignore des informations cruciales et un modèle trop complexe qui s'accroche au bruit.
Les points clés à retenir :
- L'erreur de prédiction se décompose en Biais, Variance et Erreur Irréductible.
- Le biais est l'erreur de simplification (sous-apprentissage), tandis que la variance est l'erreur d'instabilité (sur-apprentissage).
- L'augmentation de la complexité d'un modèle réduit le biais mais augmente la variance.
- L'objectif est de trouver le niveau de complexité qui minimise l'erreur totale sur des données de test, réalisant ainsi le meilleur compromis possible.
Cette compréhension est essentielle pour guider vos choix de modèles, les ajuster et diagnostiquer pourquoi un modèle pourrait ne pas bien fonctionner.
Dans notre prochaine leçon, nous commencerons à explorer les algorithmes d'apprentissage supervisé concrets. Nous débuterons avec des modèles que vous connaissez bien, la régression linéaire et logistique, mais nous examinerons comment l'approche du Machine Learning les utilise et les évalue différemment de l'économétrie traditionnelle, précisément pour gérer ce compromis biais-variance.