Understanding Classification Model Performance: The Confusion Matrix

Bonjour !

Dans nos leçons précédentes, nous avons exploré divers modèles de classification, des régressions logistiques aux forêts aléatoires et aux réseaux de neurones. Nous savons maintenant comment construire ces modèles, mais une question cruciale demeure : comment savoir s'ils sont performants ? Et qu'est-ce que la "performance" signifie réellement dans un contexte financier ?

Cette leçon aborde l'évaluation des modèles de classification. L'objectif est de vous apprendre à évaluer la performance d'un modèle en utilisant la matrice de confusion et les métriques qui en découlent : l'exactitude (accuracy), la précision et le rappel (recall). Nous verrons pourquoi l'exactitude seule peut être dangereusement trompeuse, en particulier pour des problèmes financiers comme la détection de fraude ou le scoring de crédit, où les événements d'intérêt sont rares et où le coût des erreurs n'est pas symétrique.

1. Le Piège de l'Exactitude (Accuracy)

L'exactitude, définie comme la proportion de prédictions correctes sur l'ensemble des cas, est la mesure la plus intuitive de la performance d'un modèle. Cependant, elle peut masquer des problèmes graves, surtout lorsque les classes sont déséquilibrées. Imaginons un modèle de détection de fraude sur les transactions par carte de crédit. Si seulement 0,1% des transactions sont frauduleuses, un modèle trivial qui prédit "non-fraude" pour chaque transaction aura une exactitude de 99,9% ! Bien qu'impressionnant en apparence, ce modèle est totalement inutile, car il ne détecte aucune fraude.

Le document suivant, tiré d'un cours de l'Université de la Colombie-Britannique, illustre parfaitement ce problème avec un exemple concret de détection de fraude.

Lecture 9: Classification metrics — CPSC 330 ...

Pour comprendre pourquoi l'exactitude est une métrique insuffisante, nous allons examiner ce texte qui met en évidence ses limites dans un cas de données déséquilibrées.

Lisez la première partie de ce document, jusqu'à la section "Confusion matrix" (incluse). Concentrez-vous sur l'analyse de l'exemple du "DummyClassifier". Notez comment un modèle de base atteint une exactitude de 99,8% simplement en prédisant toujours la classe la plus fréquente ("non-fraude"). Cela motive la nécessité d'outils d'évaluation plus sophistiqués.

Cet exemple montre clairement que nous avons besoin d'un moyen de décomposer les erreurs du modèle pour comprendre ce qu'il fait bien et ce qu'il fait mal. C'est le rôle de la matrice de confusion.

2. La Matrice de Confusion : Une Vision Détaillée des Erreurs

La matrice de confusion est un tableau qui compare les prédictions d'un modèle aux valeurs réelles. Pour une classification binaire (par exemple, "Fraude" vs. "Non-Fraude"), elle comporte quatre quadrants.

Mastering Classification Metrics in Machine Learning — Ce diagramme présente la structure d'une matrice de confusion et les formules des métriques clés qui en sont dérivées : Exactitude, Précision, Rappel (Recall), et Spécificité.

Les quatre quadrants sont :

Vrais Positifs (True Positives - TP) : Le modèle a prédit "Positif" (ex: Fraude), et la réalité était "Positif". Le modèle a eu raison.
Faux Positifs (False Positives - FP) : Le modèle a prédit "Positif", mais la réalité était "Négatif" (ex: Non-Fraude). Le modèle a tort, c'est une fausse alarme.
Faux Négatifs (False Negatives - FN) : Le modèle a prédit "Négatif", mais la réalité était "Positif". Le modèle a tort, et c'est souvent l'erreur la plus coûteuse (une fraude non détectée).
Vrais Négatifs (True Negatives - TN) : Le modèle a prédit "Négatif", et la réalité était "Négatif". Le modèle a eu raison.

Votre formation en statistiques et en économétrie vous a familiarisé avec les concepts d'erreurs de test d'hypothèse :

L'erreur de Type I correspond à un Faux Positif (rejeter une hypothèse nulle vraie).
L'erreur de Type II correspond à un Faux Négatif (ne pas rejeter une hypothèse nulle fausse).

La matrice de confusion est simplement un outil systématique pour comptabiliser ces types d'erreurs sur un ensemble de données de test.

La vidéo suivante explique très clairement ces concepts.

TP, FP, TN, FN, Accuracy, Precision, Recall, F1-Score, Sensitivity, Specificity, ROC, AUC

Cette vidéo de "ML & DL Explained" fournit une introduction claire et visuelle à la matrice de confusion et à ses composantes.

Regardez le segment de 01:26 à 03:23. Il définit chaque quadrant de la matrice de confusion et fait explicitement le lien avec les erreurs de Type I (Faux Positif) et de Type II (Faux Négatif), ce qui devrait bien s'aligner avec vos connaissances statistiques.

Pour une définition formelle et académique de ces termes, le document suivant est une excellente référence.

Evaluation metrics and statistical tests for machine learning

L'article "Evaluation metrics and statistical tests for machine learning" publié dans Nature offre des définitions précises et formelles des métriques de classification.

Lisez le début de la section "Binary classification". Concentrez-vous sur le premier paragraphe qui définit TP, TN, FP, FN et présente la matrice de confusion comme un outil pour calculer les métriques d'évaluation.

3. Métriques Clés : Précision, Rappel et le Compromis Inhérent

À partir de la matrice de confusion, nous pouvons calculer des métriques bien plus informatives que la simple exactitude.

Exactitude (Accuracy) : Elle se calcule maintenant comme $\frac{T P + T N}{T P + T N + F P + F N}$ . C'est la proportion de prédictions correctes sur l'ensemble. Nous avons déjà vu ses limites.
Précision (Precision) : Elle se calcule comme $\frac{T P}{T P + F P}$ .
- Question intuitive : "Parmi toutes les transactions que j'ai signalées comme frauduleuses, quelle proportion était réellement frauduleuse ?"
- Importance : Une haute précision signifie que le modèle génère peu de fausses alarmes. C'est crucial pour ne pas importuner les clients ou surcharger les équipes d'analystes avec de fausses pistes.
Rappel (Recall), aussi appelé Sensibilité (Sensitivity) ou Taux de Vrais Positifs (True Positive Rate) : Il se calcule comme $\frac{T P}{T P + F N}$ .
- Question intuitive : "Parmi toutes les fraudes qui ont réellement eu lieu, quelle proportion mon modèle a-t-il réussi à détecter ?"
- Importance : Un rappel élevé signifie que le modèle manque peu de cas positifs. C'est fondamental pour minimiser les pertes financières dues à des fraudes non détectées.

La vidéo que nous avons commencée précédemment explique maintenant comment dériver ces métriques.

TP, FP, TN, FN, Accuracy, Precision, Recall, F1-Score, Sensitivity, Specificity, ROC, AUC

Continuons avec la vidéo "ML & DL Explained" pour voir comment la précision, le rappel et d'autres métriques sont calculées à partir de la matrice de confusion.

Regardez le segment de 06:14 à 08:52. Il définit l'exactitude, la précision et le rappel avec des visualisations claires. Notez également l'introduction du F1-Score, qui est une moyenne harmonique de la précision et du rappel, souvent utilisée comme une métrique unique pour équilibrer les deux.

Le Compromis Précision-Rappel

Il est essentiel de comprendre qu'il existe presque toujours un compromis entre la précision et le rappel.

Si vous voulez un rappel très élevé (ne manquer aucune fraude), vous pouvez rendre votre modèle extrêmement sensible. Le problème est qu'il signalera aussi de nombreuses transactions légitimes (faiblesse de la précision).
Si vous voulez une précision très élevée (chaque alerte doit être une fraude avérée), vous pouvez rendre votre modèle très strict. Mais il risque alors de manquer de nombreuses fraudes moins évidentes (faiblesse du rappel).

Le choix de l'équilibre dépend de l'objectif métier. Pour une banque, le coût d'une fraude non détectée (FN) est souvent bien plus élevé que le coût de la vérification d'une fausse alerte (FP). On pourrait donc privilégier un rappel plus élevé, même au détriment de la précision.

4. Mise en Pratique : Un Exemple Chiffré

Appliquons ces concepts à un exemple concret de scoring de crédit. Un modèle a été entraîné pour prédire si un prêt sera en défaut ("Positif") ou remboursé ("Négatif"). Sur un échantillon de test de 1000 prêts, voici les résultats :

En réalité, 100 prêts ont fait défaut et 900 ont été remboursés.
Le modèle a correctement identifié 70 des prêts en défaut.
Le modèle a incorrectement classé 50 prêts remboursés comme étant en défaut.

Testez votre compréhension !

À partir de ces informations, construisez la matrice de confusion et calculez l'exactitude, la précision et le rappel du modèle.

Voir la réponse

1. Construire la matrice de confusion :

Vrais Positifs (TP) : 70 (prêts en défaut correctement identifiés).
Faux Négatifs (FN) : Le nombre total de défauts réels était de 100. Le modèle en a trouvé 70, donc il en a manqué 100 - 70 = 30. Donc, FN = 30.
Faux Positifs (FP) : 50 (prêts remboursés incorrectement classés en défaut).
Vrais Négatifs (TN) : Le nombre total de prêts remboursés était de 900. Le modèle en a incorrectement classé 50 comme étant en défaut, donc il en a correctement classé 900 - 50 = 850. Donc, TN = 850.

La matrice de confusion est :

	Prédit : Défaut	Prédit : Remboursé
Réel : Défaut	TP = 70	FN = 30
Réel : Remboursé	FP = 50	TN = 850

2. Calculer les métriques :

Exactitude = $\frac{T P + T N}{T o t a l} = \frac{70 + 850}{1000} = \frac{920}{1000} = 92%$ .
- Le modèle est correct dans 92% des cas.
Précision = $\frac{T P}{T P + F P} = \frac{70}{70 + 50} = \frac{70}{120} \approx 58.3%$ .
- Lorsque le modèle prédit un défaut, il a raison dans 58.3% des cas.
Rappel = $\frac{T P}{T P + F N} = \frac{70}{70 + 30} = \frac{70}{100} = 70%$ .
- Le modèle a réussi à identifier 70% de tous les défauts qui se sont produits.

Pour un autre exemple calculé de bout en bout, la vidéo suivante est un excellent exercice.

Confusion Matrix Solved Example Accuracy Precision Recall F1 Score Prevalence by Mahesh Huddar

Cette vidéo de Mahesh Huddar propose un exemple entièrement chiffré où toutes les métriques sont calculées pas à pas à partir d'une matrice de confusion donnée.

Regardez les segments qui calculent les métriques qui nous intéressent : introduction (00:00-01:39), calcul de l'exactitude (01:28-02:20), calcul du rappel (02:40-03:27), et calcul de la précision (04:13-05:08). Suivez les calculs pour vous assurer de bien maîtriser le processus.

Conclusion

Aujourd'hui, nous avons établi un cadre robuste pour évaluer les modèles de classification, bien au-delà de la simple exactitude.

Points clés à retenir :

L'exactitude est une métrique trompeuse pour les données déséquilibrées, courantes en finance.
La matrice de confusion (TP, TN, FP, FN) est l'outil fondamental pour analyser les erreurs d'un modèle, en faisant le lien avec les erreurs de Type I (FP) et de Type II (FN).
La précision mesure la fiabilité des prédictions positives (minimiser les fausses alarmes).
Le rappel (ou sensibilité) mesure la capacité du modèle à identifier tous les cas positifs réels (minimiser les oublis).
Le choix de la métrique à optimiser (précision vs. rappel) dépend directement des coûts métier associés aux différents types d'erreurs.

Dans la leçon précédente, nous avons terminé notre exploration de l'apprentissage supervisé. Nous sommes maintenant prêts à aborder un nouveau paradigme passionnant. Dans notre prochaine leçon, nous ferons nos premiers pas dans l'apprentissage non supervisé. Au lieu de prédire une variable cible connue, notre objectif sera de découvrir des structures et des motifs cachés dans les données elles-mêmes. Nous explorerons ses principaux objectifs : le clustering (pour la segmentation client), la détection d'anomalies (pour la fraude) et la réduction de dimensionnalité.