Bonjour ! Dans la leçon précédente, nous avons appris à mettre en œuvre l'algorithme K-Means avec Scikit-learn. Nous avons vu l'importance cruciale de la mise à l'échelle des données et comment utiliser la méthode du coude pour déterminer un nombre optimal de clusters, ce qui vous a permis de mener une analyse de clustering complète.
Aujourd'hui, nous abordons une autre technique fondamentale de l'apprentissage non supervisé : l'Analyse en Composantes Principales (ACP), ou Principal Component Analysis (PCA) en anglais. L'objectif de cette leçon est de construire une solide intuition de ce qu'est la PCA et pourquoi elle est si utile. Nous nous concentrerons sur son rôle dans la réduction de dimensionnalité, un processus qui consiste à simplifier des données complexes tout en préservant l'essentiel de leur information.
1. Le problème des données multi-dimensionnelles
Imaginez que vous ayez un jeu de données avec deux caractéristiques (ou "features"), comme la taille et le poids. Vous pouvez facilement le visualiser sur un graphique 2D. Si vous en avez trois, vous pouvez utiliser un graphique 3D, bien que ce soit déjà plus difficile à interpréter. Mais que se passe-t-il si vous avez 10, 50, ou des centaines de caractéristiques ? C'est un scénario très courant en machine learning.
Cette abondance de dimensions pose plusieurs problèmes :
- Visualisation impossible : Notre cerveau est limité à 3 dimensions.
- "Malédiction de la dimensionnalité" ("Curse of dimensionality") : Plus il y a de dimensions, plus les données deviennent éparses, ce qui peut rendre les algorithmes de ML moins efficaces et plus gourmands en calculs.
- Redondance : Souvent, de nombreuses caractéristiques sont corrélées et contiennent des informations similaires.
La PCA est une solution élégante à ce problème. Elle nous permet de réduire le nombre de dimensions tout en perdant le moins d'information possible.
2. L'idée fondamentale : Trouver de nouvelles perspectives
L'idée centrale de la PCA est de changer de système de coordonnées. Au lieu de regarder les données depuis la perspective des axes d'origine (nos caractéristiques initiales), la PCA trouve de nouveaux axes qui capturent mieux la structure des données.
Imaginez un nuage de points en 2D qui est allongé et incliné. Les deux caractéristiques d'origine, X et Y, ne décrivent pas parfaitement la direction principale de ce nuage.
La PCA identifie une nouvelle direction, appelée Première Composante Principale (PC1), qui est la ligne qui passe au mieux à travers les données. "Au mieux" signifie ici "le long de laquelle les données sont le plus étalées". En d'autres termes, PC1 est l'axe qui capture le maximum de variance dans les données.
Ensuite, la PCA trouve une deuxième direction, la Deuxième Composante Principale (PC2), qui est perpendiculaire (orthogonale) à PC1 et qui capture le maximum de la variance restante. Ce processus continue pour autant de dimensions que vous avez.
StatQuest: Principal Component Analysis (PCA), Step-by-Step
La chaîne "StatQuest with Josh Starmer" propose une explication visuelle exceptionnelle de ce processus.
Pour commencer, regardez la section qui illustre le problème de la visualisation de données à plus de 3 dimensions. Ensuite, concentrez-vous sur la section qui explique comment trouver PC1. L'auteur montre comment, après avoir centré les données, on fait pivoter une ligne pour trouver celle qui maximise la somme des distances au carré des points projetés par rapport à l'origine. C'est l'idée clé : trouver l'axe de variance maximale.
3. Que sont les composantes principales ?
Une fois ces nouveaux axes trouvés, que représentent-ils ? Les composantes principales ne sont pas simplement l'une des caractéristiques d'origine. Ce sont de nouvelles caractéristiques, créées comme des combinaisons linéaires (des mélanges pondérés) des caractéristiques initiales.
StatQuest: Principal Component Analysis (PCA), Step-by-Step
Reprenons la vidéo de StatQuest pour comprendre la nature de ces composantes.
Regardez la section qui introduit l'analogie de la "recette de cocktail". PC1 est un mélange de "X parts de Caractéristique 1" et "Y parts de Caractéristique 2". Les proportions (appelées loading scores) nous indiquent l'importance de chaque caractéristique d'origine dans la construction de cette nouvelle composante. Cette section introduit également les termes d'eigenvector (le vecteur propre, qui donne la direction de la composante) et d'eigenvalue (la valeur propre, qui mesure la variance capturée).
C'est là que votre bagage mathématique, même s'il est un peu lointain, peut vous être utile. La direction de chaque composante principale est un vecteur propre de la matrice de covariance des données, et la quantité de variance qu'elle capture est la valeur propre correspondante. Ne vous inquiétez pas des calculs ; l'important est de retenir ce lien :
- Vecteur propre (Eigenvector) = Direction de la composante principale.
- Valeur propre (Eigenvalue) = Importance (variance) de cette composante.
Les composantes sont classées par ordre décroissant de leur valeur propre. Ainsi, PC1 est toujours la plus importante, suivie de PC2, et ainsi de suite.
4. Réduire les dimensions en pratique
Le but est de réduire la dimensionnalité. Comment fait-on ? Puisque les premières composantes (PC1, PC2...) capturent la majorité de l'information (variance), on peut décider de ne conserver que celles-ci et d'ignorer les dernières, qui ne contiennent que du "bruit" ou de l'information moins pertinente.
Ce processus de projection nous donne une nouvelle représentation de nos données, avec moins de dimensions.
Principal Component Analysis explained visually
Le site Setosa.io offre une visualisation interactive brillante qui démontre la puissance de la PCA sur des données réelles et complexes.
Explorez les trois exemples sur cette page. Interagissez avec les points dans l'exemple 2D pour voir comment les axes des PC s'ajustent. Ensuite, dans l'exemple 3D, observez comment la PCA trouve le "meilleur angle de caméra" pour projeter les données 3D sur un plan 2D. Enfin, l'exemple à 17 dimensions est le plus révélateur. Vous partez d'un tableau de 17 colonnes difficile à interpréter. En projetant les données sur les deux premières composantes principales, un schéma clair apparaît immédiatement : l'Irlande du Nord se distingue nettement. C'est l'essence même de la PCA : transformer la complexité en clarté.
5. Les étapes de la PCA (Intuitivement)
Résumons le processus de la PCA en quelques étapes conceptuelles. L'article de Built In les décrit bien.
Principal Component Analysis (PCA) Explained | Built In
Cet article décompose le processus de manière très claire. Nous nous concentrons ici sur l'intuition derrière chaque étape, pas sur les mathématiques.
Lisez la description de l'Étape 1 : Standardisation. C'est crucial ! Comme pour K-Means, la PCA est sensible aux échelles des variables. Il faut donc les standardiser pour que chaque caractéristique contribue équitablement. Ensuite, parcourez l'Étape 2 : Calcul de la matrice de covariance. Cette étape sert à comprendre comment les variables varient les unes par rapport aux autres. L'Étape 3 : Décomposition en valeurs/vecteurs propres est le cœur mathématique. C'est ici que l'on trouve les directions (vecteurs propres) et leur importance (valeurs propres). Enfin, lisez l'explication de l'Étape 4 : Sélection des caractéristiques et de l'Étape 5 : Projection des données. C'est là que la réduction de dimensionnalité a lieu : on choisit de ne garder que les k premières composantes les plus importantes et on projette nos données d'origine sur ce nouvel espace de plus faible dimension.
Conclusion
Dans cette leçon, nous avons exploré l'intuition derrière l'Analyse en Composantes Principales. Vous devriez maintenant avoir une compréhension conceptuelle solide de son objectif et de son fonctionnement.
Points clés à retenir :
- La PCA est une technique de réduction de dimensionnalité qui transforme un grand nombre de variables corrélées en un plus petit nombre de nouvelles variables non corrélées.
- Ces nouvelles variables sont appelées composantes principales.
- Le but est de maximiser la variance capturée, car la variance est une mesure de l'information. PC1 capture le plus de variance, PC2 le plus de variance restante (et est orthogonale à PC1), etc.
- Géométriquement, la PCA revient à trouver un nouveau système d'axes (une rotation) qui offre la meilleure perspective pour observer la structure des données.
- Les composantes principales correspondent aux vecteurs propres de la matrice de covariance, et leur importance est donnée par les valeurs propres correspondantes.
- La standardisation des données est une étape de prétraitement essentielle avant d'appliquer la PCA.
Dans la prochaine leçon, nous mettrons cette intuition en pratique. Nous utiliserons Scikit-learn pour appliquer la PCA à un jeu de données, analyser la quantité de variance expliquée par chaque composante et visualiser les résultats.