Bonjour !
Dans la leçon précédente, nous avons exploré comment identifier les "exceptions" dans les données financières, comme les transactions frauduleuses, à l'aide de la détection d'anomalies. Nous avons vu que ces techniques, tout comme le clustering, s'appuient sur les caractéristiques (features) que nous fournissons au modèle. Mais que se passe-t-il lorsque nous avons des dizaines, voire des centaines de caractéristiques, comme les rendements de nombreux actifs ou les points d'une courbe de taux ? L'analyse devient non seulement complexe et coûteuse en calcul, mais aussi sujette à ce que l'on appelle la "malédiction de la dimensionnalité" (curse of dimensionality), où les modèles peuvent perdre de leur pertinence.
Aujourd'hui, nous abordons une troisième grande tâche de l'apprentissage non supervisé : la réduction de dimensionnalité. Notre objectif est de décrire comment la réduction de dimensionnalité (par exemple, l'Analyse en Composantes Principales ou ACP) peut être utilisée pour simplifier des ensembles de données financiers complexes. Cette technique est un pilier de l'analyse quantitative, et votre bagage en statistique et en économétrie vous donnera une perspective unique pour en apprécier la puissance et l'élégance.
1. Le Problème : Trop de Dimensions
Imaginez un portefeuille de 500 actions. Chaque jour, vous avez 500 nouvelles valeurs de rendement. Ces rendements sont rarement indépendants ; les actions du même secteur ont tendance à évoluer ensemble, et la plupart sont influencées par le mouvement général du marché. Analyser 500 variables corrélées est inefficace. Ne serait-il pas plus simple de résumer l'essentiel de ces mouvements en quelques facteurs sous-jacents ?
C'est précisément le but de la réduction de dimensionnalité : transformer un grand nombre de variables corrélées en un plus petit nombre de variables non corrélées, appelées composantes principales, tout en conservant le maximum d'information (de "variance") possible.
L'image suivante illustre les étapes conceptuelles de la technique la plus célèbre pour y parvenir : l'Analyse en Composantes Principales (ACP, ou PCA en anglais).
2. L'Intuition derrière l'ACP (PCA)
L'idée centrale de l'ACP est de trouver un nouveau système de coordonnées pour nos données. Le premier axe de ce nouveau système (la première composante principale, PC1) est orienté dans la direction où les données sont les plus étalées, c'est-à-dire là où la variance est maximale. Le deuxième axe (PC2) est orthogonal (à 90 degrés) du premier et pointe dans la direction de la plus grande variance restante, et ainsi de suite.
Pour une introduction intuitive à ce concept de redondance de l'information, je vous propose de visionner la vidéo suivante.
Analyzing Stock Returns with Principal Component Analysis in Python
Cette vidéo de Roman Paolucci, intitulée "Analyzing Stock Returns with Principal Component Analysis in Python", commence par une excellente analogie pour expliquer pourquoi nous cherchons à éliminer la redondance dans les données.
Regardez le segment de 00:00 à 02:30. L'analogie des caméras de sécurité qui se chevauchent illustre parfaitement l'idée de combiner des informations redondantes en une seule vue plus efficace. C'est le cœur de l'ACP.
Maintenant que nous avons l'idée, voyons comment cela se traduit géométriquement. En projetant les données sur la première composante principale, nous pouvons représenter des données 2D sur une seule ligne tout en perdant le moins d'information possible.
Principal Component Analysis (PCA) | Dimensionality Reduction Techniques (2/5)
La vidéo "Principal Component Analysis (PCA)" de la chaîne DeepFindr offre une visualisation très claire de ce processus de projection.
Regardez de 00:00 à 06:08, puis de 07:28 à 09:15. Concentrez-vous sur l'exemple des villes (taille vs coût de la vie) pour comprendre la notion de variance. Observez comment la projection sur la "bonne" ligne (la PC1) préserve mieux la relation entre les points de données. La deuxième partie explique que maximiser la variance est équivalent à minimiser la distance (l'erreur de projection).
3. Les Fondements Mathématiques de l'ACP
Votre expertise en méthodes quantitatives vous rend apte à apprécier la mécanique derrière l'ACP. Le processus s'appuie sur des concepts d'algèbre linéaire qui vous sont probablement familiers.
-
La Matrice de Covariance : Le point de départ est la matrice de covariance de nos données. Cette matrice est essentielle car elle contient non seulement la variance de chaque variable (sur la diagonale) mais aussi la covariance entre chaque paire de variables (hors diagonale), décrivant ainsi comment elles varient ensemble.
-
Vecteurs Propres et Valeurs Propres (Eigenvectors & Eigenvalues) : La "magie" de l'ACP opère ici. Pour une matrice de covariance, on peut calculer ses vecteurs propres et ses valeurs propres.
- Les vecteurs propres nous donnent les directions des composantes principales. Ce sont les axes de notre nouveau système de coordonnées.
- Les valeurs propres nous indiquent la quantité de variance de l'ensemble de données initial qui est capturée par chaque composante principale correspondante.
Ainsi, l'ACP consiste simplement à classer les vecteurs propres par ordre décroissant de leurs valeurs propres. Le vecteur propre avec la plus grande valeur propre est notre PC1, le deuxième est notre PC2, et ainsi de suite.
La vidéo suivante explique très bien ce lien entre transformations linéaires, covariance, et le couple vecteurs/valeurs propres.
Principal Component Analysis (PCA) | Dimensionality Reduction Techniques (2/5)
Retournons à la vidéo de DeepFindr, qui explique de manière très visuelle comment les vecteurs propres de la matrice de covariance deviennent nos composantes principales.
Regardez de 10:43 à 16:43. La première partie explique ce que capture la matrice de covariance. La seconde partie, plus dense, fait le lien crucial : une transformation par la matrice de covariance "étire" l'espace de données, et les vecteurs propres sont les directions de cet étirement. Leur longueur (la valeur propre) correspond à l'ampleur de l'étirement (la variance).
En pratique, bien que la décomposition en valeurs propres (eigen-decomposition) de la matrice de covariance soit la base théorique, les algorithmes modernes utilisent une technique plus robuste numériquement appelée Décomposition en Valeurs Singulières (SVD). Les deux approches sont mathématiquement liées et aboutissent au même résultat.
Pour une explication concise de ce lien, vous pouvez consulter la ressource suivante.
Term Structure Analysis using PCA
Le document "Term Structure Analysis using PCA" présente une section qui formalise la relation entre l'ACP, la matrice de covariance et la SVD. C'est un excellent complément pour consolider votre compréhension mathématique.
Parcourez les sections 2.2 à 2.6 (pages 3 à 7). Ne vous attardez pas sur chaque équation, mais saisissez la logique générale : comment les vecteurs singuliers de la SVD (matrice V) sont équivalents aux vecteurs propres de la matrice de covariance, et comment on peut reconstruire les données à partir d'un nombre réduit de composantes.
4. Applications de l'ACP en Finance
C'est là que la théorie prend vie. L'ACP est utilisée abondamment en finance pour distiller des signaux à partir de données bruyantes et complexes.
Exemple 1 : Analyse des Rendements d'Actions
Appliquons l'ACP à un portefeuille d'actions. Les composantes principales peuvent souvent être interprétées de manière très intuitive.
Analyzing Stock Returns with Principal Component Analysis in Python
La vidéo de Roman Paolucci, que nous avons commencée plus tôt, applique maintenant l'ACP aux rendements d'actions (Apple, Amazon, GM, Microsoft).
Regardez de 14:14 à 22:41. La première partie montre comment décider du nombre de composantes à conserver en examinant la "variance expliquée cumulée". La seconde partie, la plus intéressante, est l'interprétation des composantes : PC1 : Le facteur de marché (toutes les actions ont des poids similaires). PC2 : Le facteur sectoriel (les valeurs technologiques s'opposent à l'automobile). PC3 : Un facteur plus idiosyncratique.
Exemple 2 : Analyse de la Courbe des Taux d'Intérêt (Term Structure)
C'est l'application la plus classique de l'ACP en finance. Une courbe des taux est définie par de nombreux points (maturités), ce qui en fait un objet de haute dimension. L'ACP a montré de manière robuste que la quasi-totalité (souvent >95%) des mouvements de la courbe des taux peut être expliquée par seulement trois facteurs.
PCA of Fixed-Income Returns - by Lihong - The Logbook
Cet article de blog, "PCA of Fixed-Income Returns", explique de manière très directe et visuelle comment l'ACP décompose les mouvements de la courbe des taux.
Lisez la section "The Principal Components of Yield Curve Changes". Observez le graphique des "factor loadings" et mémorisez l'interprétation des trois premières composantes, qui est un résultat standard en finance : PC1 : Le Niveau (Level). Un mouvement parallèle de toute la courbe (hausse ou baisse générale des taux). Explique la majorité de la variance (~70-90%). PC2 : La Pente (Slope). Un changement de l'écart entre les taux courts et les taux longs (pentification ou aplatissement). PC3 : La Courbure (Curvature). Un mouvement du "ventre" de la courbe par rapport à ses extrémités.
Ces trois facteurs non corrélés (Niveau, Pente, Courbure) fournissent une base beaucoup plus simple et interprétable pour analyser le risque de taux d'intérêt d'un portefeuille obligataire que de suivre des dizaines de taux différents.
5. Considérations Pratiques
Avant de conclure, deux points importants sont à noter pour une application correcte de l'ACP.
-
Mise à l'échelle des données (Scaling) : L'ACP est sensible à l'échelle des variables. Une variable avec une très grande variance (par exemple, le prix d'une action) dominera l'analyse par rapport à une variable à faible variance (un taux de rendement). Par conséquent, la pratique standard est de centrer et réduire les données avant d'appliquer l'ACP (c'est-à-dire soustraire la moyenne et diviser par l'écart-type pour chaque variable).
-
Non-stationnarité : En finance, les relations statistiques ne sont pas stables dans le temps. Les composantes principales calculées sur la période 2010-2015 ne seront pas nécessairement les mêmes que celles de 2015-2020. Il est crucial d'en être conscient. Des techniques comme l'ACP sur fenêtre glissante (rolling PCA) sont utilisées pour suivre l'évolution de ces facteurs.
Analyzing Stock Returns with Principal Component Analysis in Python
La vidéo de Roman Paolucci se termine sur ce point crucial de la non-stationnarité, qui est souvent négligé dans les introductions à l'ACP.
Regardez de 24:23 à 27:30. Observez comment la variance expliquée par chaque composante évolue dans le temps. C'est une mise en garde importante contre une application aveugle du modèle.
Testez votre compréhension !
Vous réalisez une ACP sur les rendements journaliers de plusieurs grandes banques européennes et du CAC 40. Vous constatez que la première composante principale (PC1) explique 85% de la variance totale, et que les "loadings" (poids) pour toutes les banques et l'indice sont tous positifs et de magnitude similaire.
Comment interprétez-vous cette PC1 et quelle est son utilité pour un gestionnaire de risque ?
Voir la réponse
Interprétation : La PC1 représente clairement le facteur de marché systémique. Le fait que tous les poids soient positifs et similaires indique que lorsque ce facteur bouge, tous les actifs bougent dans la même direction, ce qui est la définition du risque de marché (le "bêta"). Il capture la tendance générale du marché boursier qui affecte toutes les grandes valeurs financières.
Utilité pour le gestionnaire de risque : Cette PC1 lui fournit une mesure unidimensionnelle du risque de marché de son portefeuille. Au lieu de suivre des dizaines de positions corrélées, il peut suivre l'exposition de son portefeuille à ce seul facteur. Si son portefeuille a une forte exposition à la PC1, cela signifie qu'il est très sensible aux mouvements généraux du marché. Il pourrait alors décider de se couvrir (hedger) contre ce facteur spécifique pour réduire son risque systémique global.
Conclusion
Aujourd'hui, nous avons ajouté un outil fondamental à notre boîte à outils de machine learning : la réduction de dimensionnalité via l'ACP. Nous avons vu que cette technique permet de transformer des ensembles de données complexes et de grande dimension en un ensemble plus restreint de facteurs non corrélés et interprétables.
Points clés à retenir :
- La réduction de dimensionnalité vise à simplifier les données en réduisant le nombre de variables tout en conservant le maximum d'information (variance).
- L'ACP réalise cela en trouvant de nouveaux axes (les composantes principales) qui correspondent aux vecteurs propres de la matrice de covariance des données.
- Les valeurs propres associées indiquent la part de la variance totale expliquée par chaque composante, nous permettant de décider combien de composantes conserver.
- En finance, l'ACP permet d'identifier des facteurs économiques et de marché sous-jacents, comme les facteurs de Niveau, Pente et Courbure pour la courbe des taux, ou le risque de marché pour les actions.
- Pour une application correcte, il est essentiel de mettre les données à l'échelle et d'être conscient de la non-stationnarité des facteurs financiers.
Nous avons maintenant terminé notre exploration des trois principaux piliers de l'apprentissage non supervisé : trouver des groupes (clustering), identifier des exceptions (détection d'anomalies), et simplifier les données (réduction de dimensionnalité).
Dans notre prochaine leçon, nous entrerons dans le domaine du trading algorithmique. Nous verrons comment les techniques de machine learning, y compris celles que nous avons étudiées ainsi que des modèles de séries temporelles, sont utilisées pour prendre des décisions de trading automatisées à grande vitesse.