Fundamentals of Machine Learning

1. Les Composants d'un Projet de Machine Learning

Commençons par le vocabulaire utilisé pour décrire les données. En économétrie, vous parlez de variable dépendante et de variables explicatives ou régresseurs. Le Machine Learning utilise une terminologie parallèle.

Pour une introduction rapide et visuelle à ces termes, je vous propose de regarder quelques courts extraits d'une vidéo de synthèse.

Pour résumer et faire le lien avec votre expertise :

• Features (ou attributs) : Ce sont les variables d'entrée que le modèle utilise pour faire une prédiction. C'est l'équivalent direct de vos variables explicatives ou régresseurs. En finance, cela pourrait être l'âge d'un client, son revenu, le montant de son dernier achat, etc.
• Target (ou label, réponse) : C'est la variable de sortie que nous essayons de prédire. C'est l'équivalent de votre variable dépendante. Il peut s'agir d'une valeur continue (ex: le prix d'une action, problème de régression) ou d'une catégorie (ex: "défaut" / "pas de défaut", problème de classification).
• Instance (ou observation, échantillon) : Il s'agit d'une seule ligne de votre jeu de données, contenant à la fois les features et la target. Par exemple, les informations complètes sur un client unique.

Le document de travail de la FEDEA, "Machine Learning for Applied Economic Analysis", confirme cette terminologie et le parallèle avec l'économétrie dans sa section 2, que vous pouvez consulter pour une référence textuelle.

2. Le Principe Fondamental : Séparer les Données pour Évaluer la Généralisation

Dans la leçon précédente, nous avons vu que le but du ML est la performance prédictive sur des données nouvelles et inconnues. Mais comment peut-on estimer cette performance si nous n'avons accès qu'aux données que nous possédons déjà ? La réponse est la pratique la plus importante et la plus distinctive du Machine Learning : la séparation des données.

L'idée est de simuler une situation réelle en mettant de côté une partie de nos données. Cette partie ne sera jamais utilisée pour "entraîner" le modèle, mais uniquement pour le "tester", comme un examen final.

Pour comprendre la logique derrière cette séparation, les deux clips suivants sont très clairs.

Ce processus, connu sous le nom de méthode holdout, est la stratégie la plus simple. Un document très accessible détaille cette approche ainsi que des variantes plus robustes.

En résumé, voici les concepts clés :

• Training Set (Ensemble d'entraînement) : La majorité des données (souvent 70-80%). Le modèle utilise cet ensemble pour apprendre les relations entre les features et la target. C'est l'équivalent de l'échantillon sur lequel vous estimeriez une régression OLS.
• Test Set (Ensemble de test) : Une partie des données (souvent 20-30%) mise de côté. Le modèle ne voit jamais ces données pendant l'entraînement. Une fois l'entraînement terminé, on utilise le modèle pour faire des prédictions sur le test set et on compare ces prédictions aux vraies valeurs pour obtenir une estimation honnête de sa performance.
• Validation Set (Ensemble de validation) : Parfois, un troisième ensemble est créé. Son rôle principal est de régler les "hyperparamètres" du modèle (par exemple, la complexité d'un arbre de décision). Nous aborderons les hyperparamètres plus tard, mais il est bon de savoir que cet ensemble existe pour éviter d'utiliser le test set pour prendre des décisions de modélisation, ce qui biaiserait l'évaluation finale.
• Cross-Validation (Validation croisée) : Une technique plus sophistiquée où l'ensemble d'entraînement est divisé en plusieurs "plis" (par exemple, 5). Le modèle est entraîné 5 fois, à chaque fois sur 4 plis et testé sur le 5ème. La performance finale est la moyenne des 5 tests. C'est une méthode plus robuste pour estimer la performance, surtout avec des jeux de données de taille modeste.

3. Les Métriques d'Évaluation : Comment Mesurer la Performance ?

Une fois le modèle entraîné, comment quantifier sa "bonté" sur l'ensemble de test ? Les métriques dépendent de la nature de la tâche : régression ou classification.

A. Métriques de Régression

Pour les problèmes de régression, où l'on prédit une valeur continue (ex: le prix d'un bien immobilier), les métriques sont très similaires à celles que vous connaissez en économétrie.

• Mean Squared Error (MSE) - Erreur Quadratique Moyenne : La moyenne des carrés des différences entre les valeurs prédites et les valeurs réelles. Elle pénalise fortement les grandes erreurs.
  $\text{MSE}=\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$
• Root Mean Squared Error (RMSE) - Racine de l'Erreur Quadratique Moyenne : La racine carrée de la MSE. Son avantage est qu'elle est dans la même unité que la variable cible, ce qui la rend plus interprétable.

B. Métriques de Classification

Pour les problèmes de classification (ex: prédire si un client fera défaut), l'évaluation est plus nuancée.

Le piège de l'exactitude (Accuracy)

L'exactitude, ou accuracy (pourcentage de prédictions correctes), semble être une métrique intuitive. Cependant, elle peut être très trompeuse, surtout avec des données déséquilibrées.

Imaginons un modèle de détection de fraude. Si seulement 0,1% des transactions sont frauduleuses, un modèle "stupide" qui prédit "pas de fraude" pour chaque transaction aura une exactitude de 99,9% ! Pourtant, il est complètement inutile.

La vidéo suivante explique ce problème et introduit l'outil fondamental pour l'évaluation en classification : la matrice de confusion.

Au-delà de l'exactitude : Précision et Rappel

La matrice de confusion nous permet de calculer des métriques plus fines qui racontent une histoire plus complète. Les deux plus importantes sont la précision et le rappel (precision and recall).

Synthétisons ces concepts cruciaux :

• Matrice de Confusion : Un tableau qui croise les classes réelles et les classes prédites.

  • Vrai Positif (TP) : Réel = Positif, Prédit = Positif. (Le client a fait défaut, et on l'a prédit).
  • Vrai Négatif (TN) : Réel = Négatif, Prédit = Négatif. (Le client n'a pas fait défaut, et on l'a prédit).
  • Faux Positif (FP) / Erreur de Type I : Réel = Négatif, Prédit = Positif. (Le client n'aurait pas fait défaut, mais on a prédit qu'il le ferait. On refuse un prêt à un bon client).
  • Faux Négatif (FN) / Erreur de Type II : Réel = Positif, Prédit = Négatif. (Le client a fait défaut, mais on avait prédit qu'il ne le ferait pas. On accorde un prêt à un mauvais client).

• Précision : Mesure la fiabilité des prédictions positives.
  $\text{Preˊcision}=\frac{TP}{TP+FP}$
  Question : Parmi tous les clients que j'ai prédits comme "à risque de défaut", combien l'étaient réellement ?
  Objectif : Minimiser les Faux Positifs. Crucial quand le coût d'un FP est élevé (ex: bloquer la carte de crédit d'un bon client).

• Rappel (Recall) ou Sensibilité : Mesure la capacité à détecter tous les cas positifs.
  $\text{Rappel}=\frac{TP}{TP+FN}$
  Question : Parmi tous les clients qui ont réellement fait défaut, combien ai-je réussi à identifier ?
  Objectif : Minimiser les Faux Négatifs. Crucial quand le coût d'un FN est élevé (ex: accorder un prêt qui ne sera jamais remboursé).

• Le Compromis Précision-Rappel : Améliorer l'un dégrade souvent l'autre. Un modèle plus "prudent" (haute précision) manquera plus de cas positifs (faible rappel). Un modèle plus "agressif" (haut rappel) fera plus de fausses alertes (faible précision). Le choix dépend du contexte métier.

• Score F1 : La moyenne harmonique de la précision et du rappel. C'est une métrique qui cherche un équilibre entre les deux.
  $F1=2\times \frac{\text{Preˊcision}\times \text{Rappel}}{\text{Preˊcision}+\text{Rappel}}$

Conclusion de la Leçon

Aujourd'hui, nous avons jeté les bases pratiques du Machine Learning supervisé. Vous êtes maintenant équipé du vocabulaire et des concepts essentiels pour comprendre comment un modèle est construit et, surtout, comment sa performance est évaluée de manière rigoureuse.

Les points clés à retenir :

1. Terminologie : Un jeu de données est composé d'instances (lignes), décrites par des features (variables d'entrée) qui sont utilisées pour prédire une target (variable de sortie).
2. Séparation des données : C'est une règle d'or. On divise les données en ensemble d'entraînement (pour apprendre) et ensemble de test (pour évaluer la performance finale sur des données inconnues), afin de mesurer la capacité de généralisation du modèle.
3. Évaluation en Classification : L'exactitude (accuracy) est souvent insuffisante. La matrice de confusion est l'outil central pour calculer des métriques plus révélatrices comme la précision et le rappel, qui permettent de comprendre le type d'erreurs que fait le modèle.
4. Contexte Métier : Le choix de la "bonne" métrique d'évaluation dépend toujours du problème concret et des coûts relatifs des différents types d'erreurs (Faux Positifs vs. Faux Négatifs).

Votre bagage en économétrie vous donne une perspective unique sur ces concepts, notamment en ce qui concerne la rigueur de l'évaluation et la compréhension des compromis.

Dans la prochaine leçon, nous aborderons un autre concept central en modélisation prédictive : le compromis biais-variance. Ce concept lie la complexité d'un modèle, sa performance sur les données d'entraînement et de test, et les phénomènes d'overfitting (sur-apprentissage) et d'underfitting (sous-apprentissage).