Bonjour !
Dans notre leçon précédente, nous avons établi une distinction essentielle entre l'approche économétrique (axée sur l'inférence et l'interprétation des coefficients β̂) et l'approche du Machine Learning (axée sur la performance prédictive ŷ). Nous avons vu comment des outils comme la régression LASSO sacrifient le caractère non biaisé des coefficients pour obtenir une meilleure prédiction.
Aujourd'hui, nous allons explorer une famille de modèles qui est au cœur du Machine Learning moderne : les arbres de décision et les méthodes d'ensemble, en particulier les forêts aléatoires (Random Forests). L'objectif de cette leçon est de vous apprendre à appliquer ces méthodes à des tâches comme le scoring de crédit.
Vous découvrirez des modèles qui fonctionnent d'une manière fondamentalement différente des régressions. Au lieu de trouver la meilleure ligne ou courbe paramétrique, ils segmentent l'espace des données à l'aide de règles simples. Cette approche s'avère extrêmement puissante pour capturer des relations non linéaires complexes, un défi courant en finance.
1. Les Arbres de Décision : Une Approche "Si... Alors..."
Un arbre de décision est un modèle prédictif qui utilise une série de règles simples, organisées en une structure arborescente, pour arriver à une décision. C'est l'un des modèles les plus intuitifs et interprétables en Machine Learning.
Imaginez une banque qui décide d'approuver ou de refuser une demande de crédit. Un arbre de décision pourrait ressembler à ceci :
Pour comprendre la logique sous-jacente et pourquoi ces modèles sont si importants, je vous propose de regarder les premières parties d'une excellente conférence du MIT sur le sujet.
MIT: Machine Learning 6.036, Lecture 12: Decision trees and random forests (Fall 2020)
Cette vidéo, "Decision trees and random forests" par Tamara Broderick du MIT, offre une introduction conceptuelle très claire. Nous nous concentrerons sur la définition des arbres et leur fonctionnement.
Regardez les deux segments suivants : What is a decision tree? (00:08:38 - 00:17:47) : Ce segment définit la structure d'un arbre de décision avec des exemples de classification (risque médical) et de régression. Axis-aligned partition (00:17:47 - 00:24:44) : Ce segment est crucial. Il explique comment un arbre de décision segmente l'espace des caractéristiques en rectangles. C'est la clé pour comprendre comment le modèle capture les non-linéarités.
Comment un arbre est-il construit ?
L'algorithme de construction d'un arbre est "glouton" (greedy). Il fonctionne de manière récursive :
- Trouver la meilleure division : À chaque nœud, l'algorithme examine toutes les variables et tous les seuils possibles. Il choisit la variable et le seuil qui séparent les données de la manière la plus "pure" possible. La "pureté" est souvent mesurée par l'indice de Gini ou l'entropie, qui sont faibles lorsque les groupes résultants sont très homogènes (par exemple, un groupe ne contenant que des "bons" payeurs et l'autre que des "mauvais" payeurs).
- Répéter : L'algorithme répète ce processus sur chaque sous-groupe créé, jusqu'à ce qu'un critère d'arrêt soit atteint (par exemple, une profondeur maximale de l'arbre, ou un nombre minimum de données dans une feuille).
Le grand avantage des arbres est leur interprétabilité. On peut littéralement lire les règles de décision. Cependant, leur principal inconvénient est leur tendance au sur-apprentissage (overfitting). Un arbre peut facilement devenir trop complexe et mémoriser le bruit des données d'entraînement, ce qui nuit à sa capacité de généralisation.
2. Les Forêts Aléatoires (Random Forests) : La Puissance du Collectif
Comment surmonter la faiblesse d'un seul arbre ? En en utilisant plusieurs ! C'est l'idée derrière les méthodes d'ensemble. Une forêt aléatoire est une méthode d'ensemble qui combine de nombreux arbres de décision.
Le principe est le suivant : si vous interrogez un seul expert, vous obtenez un avis. Si vous interrogez une centaine d'experts et que vous faites la moyenne de leurs avis, vous obtenez généralement une prédiction beaucoup plus robuste et précise.
Pour que cette "sagesse des foules" fonctionne, il faut que les experts (les arbres) soient diversifiés et non corrélés. La forêt aléatoire y parvient grâce à deux sources de randomisation :
- Bagging (Bootstrap Aggregating) : Chaque arbre est entraîné sur un échantillon différent des données, tiré avec remise de l'ensemble d'entraînement initial. Cela garantit que chaque arbre voit une version légèrement différente des données.
- Randomisation des caractéristiques : Lors de la construction de chaque nœud dans un arbre, l'algorithme ne considère qu'un sous-ensemble aléatoire des variables disponibles pour trouver la meilleure division. Cela empêche les arbres d'être dominés par quelques variables très prédictives et les force à explorer d'autres relations.
La conférence du MIT que nous avons commencée explique ce concept de manière très efficace.
MIT: Machine Learning 6.036, Lecture 12: Decision trees and random forests (Fall 2020)
Continuons avec la conférence du MIT pour comprendre la magie des ensembles.
Regardez la section sur les Ensemble Methods and Random Forests (01:07:19 - 01:20:29). Concentrez-vous sur la définition du Bagging et sur la manière dont la forêt aléatoire ajoute une randomisation supplémentaire au niveau des caractéristiques.
Pour renforcer ces concepts avec la terminologie française, je vous suggère la lecture suivante.
Université du Québec à Trois-Rivières
Ce mémoire de l'Université du Québec à Trois-Rivières, "Le modèle de forêt de décision", détaille le fonctionnement des forêts aléatoires en français.
Veuillez lire la section 5.4 "Le modèle de forêt de décision" (pages 58-63). Cette section explique les concepts de Bagging, la randomisation des nœuds, et le processus d'entraînement et de prédiction. C'est un excellent complément en français à la vidéo du MIT.
Le résultat est un modèle extrêmement puissant, souvent parmi les plus performants "prêts à l'emploi" pour des données tabulaires. Le compromis ? On perd l'interprétabilité directe d'un seul arbre. Il est beaucoup plus difficile d'expliquer la logique derrière le vote de 500 arbres que de suivre les branches d'un seul.
3. Application au Scoring de Crédit
Les arbres et les forêts sont particulièrement bien adaptés au scoring de crédit. Contrairement à une régression logistique, qui suppose des relations additives et linéaires (dans l'espace des log-odds), les arbres capturent nativement les effets de seuil et les interactions.
Par exemple, une forêt aléatoire peut apprendre une règle comme : SI (revenu < 30k€) ET (âge < 25 ans) ALORS risque_élevé, sans que vous ayez à spécifier manuellement ce terme d'interaction dans un modèle de régression.
L'article suivant, écrit par des économistes, compare directement la régression logistique et les forêts aléatoires dans ce contexte.
Machine Learning or Econometrics for Credit Scoring
L'article "Machine Learning or Econometrics for Credit Scoring" compare les performances des modèles économétriques traditionnels et des méthodes de ML pour le scoring de crédit.
Lisez les sections 2.2 ("Machine Learning for non-linear effects") et 2.3. La section 2.2 explique pourquoi les forêts aléatoires sont si performantes pour capturer les effets de seuil. La Figure 3 de la section 2.3 est particulièrement parlante : elle montre comment la performance de la forêt aléatoire (Random Forest) domine celle des régressions logistiques (linéaire et non-linéaire) lorsque de tels effets sont présents.
Pour voir comment cela se traduit en pratique, regardons des extraits d'un projet de data science en Python qui construit un modèle de risque de crédit.
Credit Risk Modeling Using Machine Learning – Full Python Data Science Project (Step-by-Step)
Cette vidéo, "Credit Risk Modeling Using Machine Learning", montre pas à pas la construction d'un modèle de scoring. Nous allons nous concentrer sur les moments clés où les modèles sont entraînés et comparés.
Regardez les extraits suivants : Importation des modèles (00:36:42 - 00:39:33) : Notez l'importation de DecisionTreeClassifier et RandomForestClassifier depuis la bibliothèque scikit-learn. Entraînement d'un arbre de décision (00:42:58 - 00:45:32) : L'auteur entraîne un seul arbre de décision et obtient une précision d'environ 0.58. Notez l'utilisation de class_weight='balanced' pour gérer le déséquilibre des classes (moins de défauts que de non-défauts), un problème courant en scoring. Entraînement d'une forêt aléatoire (00:45:32 - 00:47:50) : En entraînant une forêt aléatoire sur les mêmes données, la précision passe à 0.61. C'est une démonstration directe de l'amélioration de la performance grâce à l'effet d'ensemble.
Ce projet illustre une approche typique en ML : tester plusieurs modèles, les régler via des techniques comme la validation croisée (GridSearchCV est utilisé dans la vidéo), et sélectionner celui qui offre la meilleure performance prédictive sur l'ensemble de test.
Testez votre compréhension !
Un économiste a l'habitude d'utiliser la régression logistique pour le scoring de crédit. Un collègue lui suggère d'essayer une forêt aléatoire. L'économiste est sceptique, car il pense que son modèle logistique, en incluant des termes quadratiques et des interactions bien choisies, peut déjà capturer la non-linéarité.
En vous basant sur la leçon, quel argument principal pourriez-vous avancer pour convaincre l'économiste que la forêt aléatoire pourrait tout de même être plus performante ?
Voir la réponse
L'argument principal est que la forêt aléatoire découvre automatiquement et de manière flexible les effets de seuil et les interactions complexes, sans nécessiter de spécification manuelle.
- Découverte des seuils : Dans une régression, l'économiste doit décider a priori où placer les seuils (par ex. créer une variable binaire pour
âge > 65). L'arbre de décision trouve les seuils optimaux en se basant sur les données. - Interactions d'ordre élevé : Le modèle de régression devient très complexe si l'on veut inclure des interactions entre trois variables ou plus. Une forêt aléatoire peut capturer ces interactions profondes naturellement, car chaque chemin de la racine à une feuille est une conjonction de règles (une interaction).
- Robustesse : En agrégeant des centaines d'arbres, la forêt est moins sensible au bruit et aux particularités de l'échantillon d'entraînement que ne le serait un modèle de régression unique, même bien spécifié.
En somme, la forêt aléatoire automatise la recherche d'une structure non-linéaire complexe que l'économiste devrait essayer de deviner et de spécifier manuellement.
Conclusion de la Leçon
Aujourd'hui, nous avons fait un grand pas dans le monde des modèles de Machine Learning non-linéaires.
Les points clés à retenir :
- Arbres de Décision : Ce sont des modèles interprétables et intuitifs qui partitionnent les données via des règles simples. Leur force est leur lisibilité, leur faiblesse est leur tendance au sur-apprentissage.
- Forêts Aléatoires : Cette méthode d'ensemble combine de nombreux arbres de décision pour créer un prédicteur très puissant et robuste. Elle y parvient en utilisant le Bagging et la randomisation des caractéristiques pour décorréler les arbres.
- Le Compromis Fondamental : En passant d'un seul arbre à une forêt, on gagne significativement en performance prédictive, mais on perd en interprétabilité directe. C'est un exemple classique du compromis entre précision et transparence.
- Application en Finance : Les forêts aléatoires sont particulièrement efficaces pour des problèmes comme le scoring de crédit car elles excellent à modéliser les effets de seuil et les interactions non-linéaires, qui sont omniprésents dans les données financières.
Dans la prochaine leçon, nous aborderons une autre famille de modèles au cœur de l'IA moderne : les réseaux de neurones. Nous verrons leur structure conceptuelle et comprendrons pourquoi ils sont si puissants pour la reconnaissance de motifs dans des données complexes.