Variance and Standard Deviation

Pourquoi la dispersion est-elle importante ?

Imaginez deux archers, Ali et Badr, qui tirent chacun cinq flèches sur une cible. Leurs résultats sont les suivants (en distance du centre en cm) :

• Ali : 1, 0, -1, 2, -2 (Moyenne = 0 cm)
• Badr : 10, -8, -12, 5, 5 (Moyenne = 0 cm)

Les deux ont une moyenne de 0, ce qui signifie qu'en moyenne, ils touchent le centre. Cependant, Ali est un archer beaucoup plus régulier et prévisible. Ses tirs sont tous regroupés près du centre. Badr est très irrégulier ; ses tirs sont très dispersés. L'écart-type nous donnera un nombre unique pour quantifier cette "régularité" ou "dispersion".

Cette image illustre bien l'idée de base : l'écart-type ("Écart-type" en français) mesure la dispersion des valeurs individuelles (les hauteurs des personnes) par rapport à la moyenne.

La Variance : Mesurer la dispersion au carré

Pour mesurer la dispersion, notre première intuition pourrait être de calculer la distance de chaque point de données à la moyenne ($x_i-\mu$) et d'en faire la moyenne. Le problème, comme nous l'avons vu avec les archers, est que certaines de ces distances (ou écarts) sont positives et d'autres négatives. Si nous les additionnons simplement, elles s'annuleront, nous donnant une dispersion proche de zéro même pour des données très étalées.

La solution consiste à mettre chaque écart au carré avant d'en faire la moyenne. Cela a deux avantages :

1. Tous les écarts deviennent positifs.
2. Les écarts plus grands (les valeurs les plus éloignées de la moyenne) sont pénalisés plus lourdement.

Ce "moyenne des écarts au carré" est ce que nous appelons la variance, notée ${\sigma }^2$ (sigma au carré).

La vidéo suivante, en arabe, explique très clairement cette logique. Elle répond à la question fondamentale : "Pourquoi mettons-nous les écarts au carré ?".

Formellement, la variance d'une population est définie comme suit :
${\sigma }^2=\frac{{\sum }_{i=1}^N(x_i-\mu {)}^2}{N}$
Où :

• ${\sigma }^2$ est la variance de la population.
• $x_i$ est chaque valeur de l'ensemble de données.
• $\mu$ est la moyenne de la population.
• $N$ est le nombre total de valeurs dans la population.

La variance nous donne une mesure de la dispersion, mais son unité est le carré de l'unité des données d'origine (par exemple, cm², euros²). Ce n'est pas très intuitif à interpréter. C'est là que l'écart-type entre en jeu.

L'Écart-Type : La mesure de dispersion interprétable

L'écart-type (ou standard deviation en anglais), noté $\sigma$, est tout simplement la racine carrée de la variance.
$\sigma =\sqrt{{\sigma }^2}=\sqrt{\frac{{\sum }_{i=1}^N(x_i-\mu {)}^2}{N}}$

En prenant la racine carrée, nous ramenons la mesure de dispersion à l'unité d'origine des données (cm, euros, etc.). L'écart-type peut donc être interprété comme la "distance typique" ou "l'écart moyen" des points de données par rapport à la moyenne.

• Un faible écart-type indique que les points de données sont très regroupés autour de la moyenne.
• Un écart-type élevé indique que les points de données sont très dispersés.

L'organigramme suivant résume parfaitement les étapes du calcul.

Population vs. Échantillon : Une distinction cruciale

Jusqu'à présent, nous avons supposé que nous avions les données de toute la population (par exemple, les notes de tous les élèves de France). En réalité, et surtout en apprentissage automatique, nous travaillons presque toujours avec un échantillon (un sous-ensemble de la population, par exemple les notes de 1000 élèves).

Lorsque nous calculons la variance ou l'écart-type à partir d'un échantillon, notre objectif est d'estimer la variance ou l'écart-type de la population entière. Il s'avère que si nous utilisons la même formule qu'auparavant (en divisant par $n$, la taille de l'échantillon), nous sous-estimons systématiquement la véritable dispersion de la population.

Pour corriger ce biais, lorsque nous travaillons avec un échantillon, nous divisons par $n-1$ au lieu de $n$. C'est ce qu'on appelle la correction de Bessel.

La formule de la variance de l'échantillon ($s^2$) est :
$s^2=\frac{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}{n-1}$
Et l'écart-type de l'échantillon ($s$) est :
$s=\sqrt{\frac{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}{n-1}}$
Où $\bar{x}$ est la moyenne de l'échantillon et $n$ est la taille de l'échantillon.

La vidéo StatQuest ci-dessous est l'une des meilleures ressources pour comprendre intuitivement pourquoi cette correction est nécessaire.

En pratique, en apprentissage automatique, vous utiliserez presque toujours les formules de l'échantillon (division par $n-1$).

Mettre en pratique : Le calcul pas à pas

Maintenant que nous comprenons la théorie, suivons un exemple de calcul complet. L'article de Khan Academy, en français, est parfait pour cela. Il vous guidera à travers le calcul pour la population et l'échantillon.

Conclusion

Dans cette leçon, nous avons ajouté deux outils statistiques fondamentaux à notre boîte à outils : la variance et l'écart-type. Vous comprenez maintenant non seulement comment les calculer, mais aussi ce qu'ils représentent et pourquoi la distinction entre population et échantillon est si importante.

Voici les points clés à retenir :

• La variance et l'écart-type sont des mesures de la dispersion des données autour de la moyenne.
• La variance est la moyenne des écarts au carré, mais ses unités sont difficiles à interpréter.
• L'écart-type est la racine carrée de la variance. Il est exprimé dans les mêmes unités que les données, ce qui en fait une mesure de dispersion plus intuitive.
• Il existe une distinction essentielle entre les formules pour la population (division par $N$) et pour l'échantillon (division par $n-1$). En apprentissage automatique, nous utilisons presque toujours la formule de l'échantillon.

Après avoir appris à décrire le centre (tendance centrale) et la dispersion de nos données, nous sommes prêts à aborder l'incertitude. Dans la prochaine leçon, nous entrerons dans le domaine des probabilités. Les probabilités sont le langage mathématique qui nous permet de raisonner sur le hasard et l'incertitude, une compétence fondamentale pour comprendre comment les modèles d'apprentissage automatique font des prédictions.