Bonjour !
Dans la leçon précédente, nous avons établi une distinction fondamentale entre l'Intelligence Artificielle (IA) en tant que domaine général et le Machine Learning (ML) en tant que sous-ensemble clé qui permet aux machines d'apprendre à partir de données.
Aujourd'hui, nous allons approfondir notre compréhension du Machine Learning en explorant ses trois principaux modes d'apprentissage, ou "paradigmes". L'objectif de cette leçon est de vous permettre de distinguer clairement l'apprentissage supervisé, l'apprentissage non supervisé et l'apprentissage par renforcement.
Comprendre ces trois approches est essentiel, car elles structurent la quasi-totalité des applications du ML en finance et ailleurs. Pour chaque paradigme, nous verrons son principe, le type de données qu'il utilise, les problèmes qu'il résout, et nous ferons le lien avec des concepts que vous connaissez bien en économétrie et en analyse quantitative.
Les trois grands paradigmes du Machine Learning
Pour commencer, visualisons ces trois catégories. L'image ci-dessous offre une représentation simple et claire de chaque paradigme.
Pour une présentation orale de ces trois concepts, la vidéo suivante est une excellente ressource. Nous l'utiliserons tout au long de cette leçon.
Machine Learning : Supervisé VS Non-Supervisé VS Renforcement - Démonstration & Cas Concrets
Cette vidéo de la chaîne "Comprendre l'informatique" introduit et explique clairement les trois paradigmes du Machine Learning avec des exemples concrets.
Pour commencer, regardez l'introduction de 00:30 à 02:39. Elle pose le cadre et présente les trois types d'apprentissage que nous allons détailler.
Maintenant, explorons chaque paradigme en détail.
1. L'Apprentissage Supervisé : Apprendre avec un professeur
L'apprentissage supervisé est le paradigme le plus courant et celui qui se rapproche le plus des méthodes statistiques et économétriques que vous maîtrisez.
Le principe : L'algorithme est entraîné sur un jeu de données étiquetées (ou "labellisées"). Cela signifie que pour chaque observation d'entrée (les variables explicatives, notées ), la sortie correcte (la variable cible, notée ) est déjà connue. L'objectif de l'algorithme est d'apprendre la fonction de mappage qui relie les entrées à la sortie : . L'humain "supervise" l'apprentissage en fournissant les bonnes réponses.
Le lien avec l'économétrie : C'est très similaire à un modèle de régression classique. Quand vous estimez un modèle prix_maison = β₀ + β₁ * surface + β₂ * nb_chambres + ε, vous utilisez une méthode supervisée. Vous avez des données historiques où vous connaissez à la fois les caractéristiques des maisons () et leur prix de vente (). La grande différence de perspective en ML est que l'objectif principal n'est pas d'interpréter les coefficients (inférence causale), mais de construire le modèle qui prédira le plus précisément possible le prix de nouvelles maisons (prédiction).
Pour approfondir, je vous invite à regarder la section de la vidéo qui détaille ce paradigme.
Machine Learning : Supervisé VS Non-Supervisé VS Renforcement - Démonstration & Cas Concrets
Cette partie de la vidéo "Machine Learning : Supervisé VS Non-Supervisé VS Renforcement" explique en détail le fonctionnement de l'apprentissage supervisé.
Regardez la section de 02:39 à 12:15. Portez une attention particulière à la distinction entre les problèmes de régression (prédire une valeur continue) et de classification (prédire une catégorie).
Les deux principaux types de problèmes en apprentissage supervisé sont :
- La Régression : La variable cible est une valeur continue.
- Exemple financier : Prédire le prix d'une action, estimer la valeur d'un bien immobilier (le "Zestimate" de Zillow mentionné dans l'article ci-dessous est un cas d'école), prévoir la demande de crédit.
- La Classification : La variable cible est une catégorie discrète.
- Exemple financier : Déterminer si une transaction par carte de crédit est frauduleuse ou non (2 classes), accorder ou refuser un prêt (2 classes), classer un client dans un segment de risque (faible, moyen, élevé - 3 classes).
L'article suivant, bien que simple, donne des exemples concrets d'utilisation en finance.
Apprentissage supervisé et non supervisé : les différencier et les combiner
Cet article du MagIT, intitulé "Apprentissage supervisé et non supervisé : les différencier...", illustre avec des exemples pratiques comment ces approches sont utilisées dans le monde de l'entreprise, y compris en finance.
Lisez la première partie "Introduction (simplifiée) aux techniques de machine learning" pour renforcer la définition, puis lisez la section "Apprentissage supervisé ou non supervisé dans le domaine de la finance" pour voir des applications concrètes.
2. L'Apprentissage Non Supervisé : Découvrir l'inconnu
Ici, il n'y a plus de "professeur". L'algorithme doit se débrouiller seul.
Le principe : L'algorithme travaille sur des données non étiquetées. Il n'y a pas de variable cible . L'objectif est d'explorer les données pour y trouver des structures, des motifs ou des anomalies cachées.
Le lien avec l'économétrie : Cela se rapproche de l'analyse exploratoire des données (EDA) ou de techniques comme l'Analyse en Composantes Principales (ACP) que vous utilisez peut-être pour réduire la dimensionnalité de vos variables avant de construire un modèle. L'objectif est de comprendre la structure inhérente aux données.
La section suivante de la vidéo explique ce concept.
Machine Learning : Supervisé VS Non-Supervisé VS Renforcement - Démonstration & Cas Concrets
Cette partie de la vidéo se concentre sur l'apprentissage non supervisé.
Regardez l'extrait de 12:15 à 15:25. Notez comment l'algorithme regroupe les données sur la base de similarités, sans connaître les étiquettes à l'avance.
Les principaux types de problèmes en apprentissage non supervisé sont :
- Le Clustering (ou segmentation) : Regrouper les observations similaires en "clusters" ou segments.
- Exemple financier : Segmenter une base de clients en fonction de leur comportement d'achat pour proposer des produits financiers ciblés.
- La Réduction de Dimensionnalité : Réduire le nombre de variables tout en conservant le maximum d'information.
- Exemple financier : Simplifier un ensemble complexe de centaines d'indicateurs macroéconomiques en quelques facteurs principaux pour analyser le risque de marché.
- La Détection d'Anomalies : Identifier les observations qui sortent de la norme.
- Exemple financier : Détecter des schémas de transactions inhabituels pouvant indiquer un nouveau type de fraude non encore répertorié, ou un délit d'initié.
3. L'Apprentissage par Renforcement : Apprendre par l'expérience
Ce dernier paradigme est différent des deux autres et s'inspire de la psychologie comportementale.
Le principe : Un agent (l'algorithme) est placé dans un environnement. Il apprend en effectuant des actions et en observant les résultats. Pour chaque action, il reçoit une récompense (positive) ou une punition (négative). Son objectif est d'apprendre une politique (une stratégie) d'actions qui maximise la récompense totale sur le long terme. C'est un apprentissage par essais et erreurs.
Le lien avec l'économie : Ce concept est extrêmement proche de la programmation dynamique (DP) et de la théorie du contrôle optimal, des outils centraux dans de nombreux modèles économiques dynamiques. L'idée de maximiser une fonction de valeur sur un horizon temporel en prenant une séquence de décisions optimales est exactement le cœur de l'apprentissage par renforcement.
Regardons d'abord l'explication intuitive dans la vidéo.
Machine Learning : Supervisé VS Non-Supervisé VS Renforcement - Démonstration & Cas Concrets
Cette dernière partie de la vidéo explique l'apprentissage par renforcement avec l'analogie du dressage d'un animal.
Regardez de 15:25 à 19:28. Repérez bien les concepts clés : agent, environnement, action, récompense.
Pour aller plus loin et solidifier le lien avec votre expertise, je vous propose un court extrait d'un article académique qui fait explicitement le pont entre l'apprentissage par renforcement (notamment l'algorithme Q-learning) et la programmation dynamique.
Machine learning and structural econometrics: contrasts ...
Cet article, "Machine learning and structural econometrics: contrasts...", est écrit par des économistes. Il établit un parallèle direct entre les méthodes d'apprentissage par renforcement et la programmation dynamique, un sujet qui devrait vous être familier.
Lisez d'abord le dernier paragraphe de la section 2 (commençant par "The literature on ML has three broad categories...") qui positionne les trois paradigmes. Ensuite, lisez la section 4.1, en particulier les deux paragraphes qui décrivent le Q-learning comme une méthode pour résoudre des problèmes de programmation dynamique (DP).
Les applications financières de ce paradigme sont parmi les plus avancées :
- Trading Algorithmique : Un agent peut apprendre une stratégie de trading optimale en étant récompensé pour les gains et puni pour les pertes.
- Gestion de Portefeuille Dynamique : Un agent apprend à réallouer un portefeuille d'actifs au fil du temps pour maximiser le rendement ajusté au risque.
- Robo-Advisors : Création de systèmes qui adaptent dynamiquement leurs recommandations d'investissement en fonction des objectifs du client et de l'évolution des marchés.
Testez votre compréhension !
Une banque souhaite développer trois nouveaux systèmes basés sur le Machine Learning. Pour chaque cas, identifiez le paradigme le plus approprié (supervisé, non supervisé ou par renforcement) et justifiez votre choix.
- Système 1 : Analyser les commentaires laissés par les clients sur l'application mobile pour identifier les principaux thèmes de satisfaction et d'insatisfaction (par exemple, "lenteur de l'app", "nouveau design", "service client").
- Système 2 : Prédire, pour chaque client, la probabilité qu'il souscrive à un nouveau produit d'épargne dans les 3 prochains mois, en se basant sur les données de dizaines de milliers de clients qui ont déjà été confrontés à cette offre.
- Système 3 : Créer un algorithme qui gère un petit fonds d'investissement en achetant et vendant des actions de manière autonome, avec l'objectif de battre la performance d'un indice de référence sur 12 mois.
Voir la réponse
-
Apprentissage Non Supervisé (Clustering) : Le plus approprié ici est l'apprentissage non supervisé. Les commentaires sont des données textuelles brutes et non étiquetées. L'objectif n'est pas de prédire une valeur connue, mais de découvrir des groupes de commentaires (clusters) qui parlent de thèmes similaires. L'algorithme identifierait lui-même les thèmes émergents.
-
Apprentissage Supervisé (Classification) : C'est un cas d'école pour l'apprentissage supervisé. Les données historiques sont étiquetées : pour chaque client passé, on sait s'il a souscrit () ou non (). L'objectif est d'apprendre un modèle qui prédit cette étiquette (ou la probabilité associée) pour les clients actuels.
-
Apprentissage par Renforcement : Ce problème est parfaitement adapté à l'apprentissage par renforcement. L'algorithme est un agent qui prend des actions (acheter, vendre, conserver) dans un environnement (le marché boursier). Il reçoit des récompenses (gains) ou des punitions (pertes) et doit apprendre une politique de trading qui maximise ses gains futurs.
Synthèse : Supervisé vs. Non-Supervisé vs. Renforcement
Pour résumer et consolider les différences, voici un tableau comparatif. Il s'inspire de l'image ci-dessous, qui est une excellente ressource visuelle.
| Caractéristique | Apprentissage Supervisé | Apprentissage Non Supervisé | Apprentissage par Renforcement |
|---|---|---|---|
| Objectif Principal | Prédire une sortie à partir d'exemples | Découvrir la structure cachée des données | Apprendre une séquence d'actions optimale |
| Données d'Entrée | Données étiquetées () | Données non étiquetées () | Pas de jeu de données initial. L'agent interagit avec un environnement. |
| Feedback | Supervision directe (les "bonnes réponses" sont fournies) | Pas de feedback direct | Feedback indirect via des récompenses/punitions |
| Approche | Apprendre une fonction de mappage | Trouver des motifs, des groupes, des anomalies | Apprentissage par essais et erreurs |
| Exemples en Finance | - Scoring de crédit - Détection de fraude (connue) - Prévision de prix |
- Segmentation de clientèle - Détection d'anomalies (nouvelles fraudes) - Analyse de thèmes dans des rapports |
- Trading algorithmique - Optimisation de portefeuille - Tarification dynamique |
Conclusion
Aujourd'hui, nous avons décomposé le vaste domaine du Machine Learning en ses trois composantes fondamentales.
Points clés à retenir :
- L'apprentissage supervisé utilise des données étiquetées pour faire des prédictions (régression ou classification). C'est le paradigme le plus proche de l'économétrie prédictive.
- L'apprentissage non supervisé explore des données non étiquetées pour découvrir des structures cachées (clustering, détection d'anomalies). Il est excellent pour la segmentation et l'analyse exploratoire.
- L'apprentissage par renforcement apprend une stratégie optimale par l'interaction et l'expérience, en maximisant une récompense. Il est conceptuellement lié à la programmation dynamique et puissant pour les problèmes de décision séquentielle.
Avoir cette grille de lecture est indispensable. Lorsque vous rencontrerez une nouvelle application de l'IA en finance, l'une des premières questions à vous poser sera : "De quel paradigme d'apprentissage s'agit-il ?". La réponse vous donnera immédiatement des indices sur le type de problème résolu, les données nécessaires et l'approche utilisée.
Dans la prochaine leçon, nous reviendrons plus en détail sur les aspects pratiques de la construction d'un modèle de Machine Learning, en particulier dans le cadre supervisé. Nous définirons des concepts essentiels comme les variables (features), la distinction cruciale entre données d'entraînement et de test, et les premières métriques pour l'évaluation d'un modèle.