Bonjour !
Dans la leçon précédente, nous avons conclu notre exploration de l'apprentissage supervisé en apprenant à évaluer rigoureusement les modèles de classification. Vous savez maintenant que le but est de prédire une variable cible connue (par exemple, "défaut" ou "non-défaut") et que des métriques comme la précision et le rappel sont cruciales pour juger de la performance d'un modèle.
Aujourd'hui, nous changeons de paradigme pour entrer dans le monde de l'apprentissage non supervisé (unsupervised learning). Ici, il n'y a pas de "bonne réponse" ou de variable cible à prédire. L'objectif est de laisser l'algorithme explorer les données et découvrir par lui-même des structures, des groupes ou des anomalies cachées. C'est un peu comme passer de la modélisation économétrique confirmatoire, où l'on teste une hypothèse, à une analyse exploratoire des données à grande échelle.
Cette leçon a pour but de vous présenter les trois principaux objectifs de l'apprentissage non supervisé : le clustering, la détection d'anomalies et la réduction de dimensionnalité. Comprendre ces objectifs est fondamental pour savoir quel outil utiliser pour résoudre un problème donné en finance lorsque les données ne sont pas étiquetées.
1. Qu'est-ce que l'Apprentissage Non Supervisé ?
En apprentissage non supervisé, nous ne disposons que d'un ensemble de données d'entrée, que nous notons , sans aucune variable de sortie correspondante . La tâche de l'algorithme est de trouver des motifs ou une structure inhérente aux données.
Pour avoir une définition claire et un aperçu des principales tâches, la vidéo suivante est un excellent point de départ.
Supervised vs. Unsupervised Learning
Cette courte vidéo d'IBM Technology distingue clairement l'apprentissage supervisé de l'apprentissage non supervisé et introduit ses trois tâches principales.
Regardez les segments de 00:00 à 00:32 et de 01:36 à 02:05. Concentrez-vous sur la distinction fondamentale : l'absence de données étiquetées ("labeled data") et l'objectif de découvrir des "motifs cachés". Notez les trois tâches mentionnées : le clustering, l'association et la réduction de dimensionnalité. Nous nous concentrerons sur une variante du clustering (détection d'anomalies) et les deux autres.
Dans le domaine financier, cette approche est particulièrement pertinente. Les marchés sont complexes, dynamiques, et il est souvent coûteux, voire impossible, d'obtenir des données parfaitement étiquetées (par exemple, savoir à l'avance si un mouvement de marché est une "anomalie" ou le début d'une nouvelle "tendance"). L'apprentissage non supervisé nous aide à donner un sens à ce chaos apparent.
Le document suivant, de la CFA Institute Research Foundation, contextualise parfaitement l'utilité de ces méthodes en finance.
Unsupervised Learning I: Overview of Techniques
Cet extrait de rapport explique pourquoi l'apprentissage non supervisé est si précieux dans les contextes financiers.
Lisez les deux premiers paragraphes de l'introduction. Portez une attention particulière aux raisons pour lesquelles l'apprentissage non supervisé est utile en finance : données étiquetées rares ou obsolètes, marchés dynamiques et rupture des relations traditionnelles.
Maintenant que le cadre est posé, explorons les trois objectifs principaux.
2. Objectif n°1 : Le Clustering (Regroupement)
Le clustering est sans doute l'objectif le plus intuitif de l'apprentissage non supervisé. Son but est de regrouper des observations similaires en sous-ensembles, appelés "clusters". Les points de données au sein d'un même cluster doivent être très similaires entre eux, et très différents des points des autres clusters.
- Application financière principale : Segmentation de la clientèle. Une banque peut utiliser le clustering pour regrouper ses clients en fonction de leur comportement transactionnel, de leurs données démographiques et de leur utilisation des services. Cela permet de créer des offres marketing ciblées, d'adapter les services et de mieux gérer la relation client.
Votre expérience en analyse de données économiques peut vous amener à voir le clustering comme une méthode pour identifier des "types" ou des "profils" dans une population, ce qui est exactement son utilité.
La vidéo d'IBM que nous avons vue précédemment définit le clustering et donne l'exemple de la segmentation client.
Supervised vs. Unsupervised Learning
Revenons à la vidéo d'IBM pour une définition rapide et un exemple de clustering.
Regardez le court segment de 02:05 à 02:32. Il illustre parfaitement l'idée de regrouper des clients en fonction de similarités.
Il existe de nombreux algorithmes pour effectuer du clustering, tels que K-means, DBSCAN ou le clustering hiérarchique. Nous les étudierons en détail dans les leçons suivantes. Pour l'instant, l'important est de retenir l'objectif : trouver des groupes homogènes dans les données.
3. Objectif n°2 : La Détection d'Anomalies
La détection d'anomalies (ou outlier detection) vise à identifier les observations qui s'écartent considérablement du reste des données. En économétrie, les outliers sont souvent considérés comme une nuisance statistique à corriger ou à supprimer. En machine learning, ils peuvent être le signal le plus précieux.
- Applications financières critiques :
- Détection de fraude : Une transaction par carte de crédit avec un montant, une heure et un lieu inhabituels pour un client donné est une anomalie qui doit déclencher une alerte.
- Surveillance du marché : Des volumes de transactions ou des mouvements de prix anormaux peuvent indiquer une manipulation de marché ou un événement systémique.
La vidéo suivante explique de manière très intuitive ce qu'est une anomalie et pourquoi sa détection est cruciale, notamment dans le secteur bancaire.
Complete Anomaly Detection Tutorials Machine Learning And Its Types With Implementation | Krish Naik
Cette vidéo de Krish Naik donne une excellente intuition de ce qu'est la détection d'anomalies avec des exemples concrets du monde réel.
Regardez le début de la vidéo, de 00:00 à 02:35. L'animateur y explique le concept en utilisant l'exemple de transactions bancaires frauduleuses et de diagnostics médicaux. Cela met en évidence le passage d'une vision de l'outlier comme "bruit" à celle de l'outlier comme "signal important".
Certains algorithmes de clustering, comme DBSCAN, peuvent identifier les anomalies comme des points n'appartenant à aucun cluster. D'autres algorithmes, comme Isolation Forest ou Local Outlier Factor (LOF), sont spécifiquement conçus pour cette tâche.
4. Objectif n°3 : La Réduction de Dimensionnalité
La réduction de dimensionnalité a pour but de réduire le nombre de variables (ou "dimensions") d'un jeu de données tout en préservant au maximum l'information pertinente. Imaginez avoir un tableau avec des centaines de colonnes (indicateurs économiques, ratios financiers, etc.). Il serait très difficile de visualiser les relations et d'entraîner des modèles efficaces. La réduction de dimensionnalité cherche à distiller cette information en un plus petit nombre de nouvelles variables, appelées "composantes principales" ou "facteurs latents".
C'est un concept qui devrait particulièrement résonner avec votre formation. L'Analyse en Composantes Principales (ACP ou PCA en anglais) est une technique statistique classique qui est au cœur de cet objectif.
- Applications financières :
- Analyse de la courbe des taux : L'une des applications les plus célèbres en finance est la décomposition des mouvements de la courbe des taux d'intérêt. Des études ont montré que plus de 95% de ses variations peuvent être expliquées par seulement trois facteurs : le niveau, la pente et la courbure.
- Construction de modèles factoriels : En gestion de portefeuille, on peut réduire des centaines de caractéristiques d'actions à quelques facteurs de risque macroéconomiques ou stylistiques.
Le rapport de la CFA Institute décrit magnifiquement cette application de la PCA à la courbe des taux.
Unsupervised Learning I: Overview of Techniques
Pour une application concrète et très parlante pour un économiste, nous allons lire la section sur l'Analyse en Composantes Principales et son utilisation pour analyser la courbe des taux.
Dans la section "Dimension Reduction Techniques", lisez les deux premiers paragraphes sur l'Analyse en Composantes Principales (PCA). Concentrez-vous sur l'exemple de la décomposition de la courbe des taux par Litterman et Scheinkman. C'est un cas d'école montrant comment une technique non supervisée peut révéler la structure fondamentale d'un phénomène financier complexe.
Testez votre compréhension !
Imaginez que vous travaillez pour une société d'investissement. Vous disposez d'un vaste ensemble de données sur 500 actions, avec pour chacune 150 variables (ratios financiers, volatilité historique, données de momentum, etc.). Les modèles que vous essayez de construire sont lents et peu performants.
Quel(s) objectif(s) de l'apprentissage non supervisé pourriez-vous poursuivre pour aborder ce problème et comment ?
Voir la réponse
L'objectif principal ici serait la réduction de dimensionnalité.
- Pourquoi ? Vous avez un grand nombre de variables (150), ce qui peut entraîner le "fléau de la dimensionnalité" : les modèles deviennent complexes, lents à entraîner et peuvent surapprendre le bruit dans les données.
- Comment ? Vous pourriez appliquer une technique comme l'Analyse en Composantes Principales (PCA) pour transformer les 150 variables en un nombre beaucoup plus restreint de composantes (par exemple, 10 à 15) qui capturent la majorité de la variance des données originales.
- Bénéfice : Ces nouvelles composantes, non corrélées entre elles, pourraient ensuite être utilisées comme entrées pour vos modèles de prédiction (apprentissage supervisé), les rendant plus simples, plus rapides et potentiellement plus robustes.
Secondairement, vous pourriez aussi utiliser le clustering sur les actions (soit sur les données brutes, soit après réduction de dimensionnalité) pour identifier des groupes d'actions qui se comportent de manière similaire (par exemple, des "actions de valeur", des "actions de croissance à forte volatilité", etc.).
Synthèse des Objectifs
Pour résumer et comparer ces trois objectifs, le tableau suivant est très utile. Il met en évidence le but, le type de problème, le résultat et les algorithmes associés à chaque tâche.
Conclusion
Aujourd'hui, nous avons jeté les bases de l'apprentissage non supervisé en explorant ses trois objectifs fondamentaux. Contrairement à l'apprentissage supervisé où le but est de prédire une cible connue, l'apprentissage non supervisé nous permet d'explorer et de découvrir la structure cachée dans nos données.
Points clés à retenir :
- L'apprentissage non supervisé travaille avec des données non étiquetées pour trouver des motifs intrinsèques.
- Le clustering vise à créer des groupes d'observations similaires (ex: segmentation de clients).
- La détection d'anomalies a pour but d'identifier les observations atypiques (ex: détection de fraude).
- La réduction de dimensionnalité cherche à simplifier les données en réduisant le nombre de variables tout en conservant l'information essentielle (ex: analyse factorielle de la courbe des taux).
Maintenant que nous comprenons le "pourquoi", nous allons explorer le "comment". Dans notre prochaine leçon, nous plongerons dans la pratique du clustering en étudiant l'un des algorithmes les plus populaires et les plus fondamentaux : le K-means. Nous verrons comment il fonctionne pour segmenter des données, comme pour la segmentation de la clientèle.