Understanding Probability and Conditional Probability

Qu'est-ce que la probabilité ? L'idée fondamentale

Avant de nous lancer dans les calculs, il est crucial de clarifier ce que nous mesurons. La plupart des gens pensent que la probabilité concerne des résultats uniques (comme obtenir "face" en lançant une pièce). C'est une simplification qui peut prêter à confusion. En réalité, la probabilité s'applique à des événements, qui sont des ensembles de résultats.

La vidéo suivante explique cette distinction fondamentale de manière très intuitive. Comprendre cela rendra tout le reste beaucoup plus clair.

Pour résumer, voici les idées clés :

• L'espace échantillon ($S$) est l'ensemble de tous les résultats individuels possibles d'une expérience.
• Un événement ($E$) est un sous-ensemble de l'espace échantillon ; c'est une collection d'un ou plusieurs résultats.
• La probabilité d'un événement est le rapport entre le nombre de résultats dans l'événement et le nombre total de résultats dans l'espace échantillon (en supposant que tous les résultats sont équiprobables) :
  $P(E)=\frac{\text{Nombre de reˊsultats dans }E}{\text{Nombre total de reˊsultats dans }S}$

Toutes les probabilités, aussi complexes soient-elles, obéissent à trois règles fondamentales (les axiomes de Kolmogorov) :

1. Non-négativité : La probabilité d'un événement n'est jamais négative. $P(E)\ge 0$.
2. Totalité : La probabilité de l'ensemble de l'espace échantillon est 1. $P(S)=1$. (Quelque chose doit se produire).
3. Additivité : Si deux événements ne peuvent pas se produire en même temps (ils sont mutuellement exclusifs ou "disjoints"), la probabilité que l'un ou l'autre se produise est la somme de leurs probabilités individuelles. $P(E_1\cup E_2)=P(E_1)+P(E_2)$.

La Probabilité Conditionnelle : Mettre à jour nos croyances

Imaginez que vous essayez de deviner la probabilité de pluie. Votre estimation initiale pourrait être de 30 %. Mais si vous regardez dehors et que vous voyez des nuages noirs, votre estimation change. Vous avez utilisé de nouvelles informations pour mettre à jour votre probabilité. C'est l'essence de la probabilité conditionnelle.

La probabilité conditionnelle répond à la question : "Quelle est la probabilité de l'événement A, sachant que l'événement B s'est déjà produit ?".

Conceptuellement, lorsque nous recevons une nouvelle information (que l'événement B s'est produit), notre univers de possibilités se rétrécit. Nous ne considérons plus l'ensemble de l'espace échantillon $S$, mais seulement les résultats où B est vrai.

La vidéo suivante explique cette idée d'un "univers qui rétrécit" de manière très claire.

Calculer la Probabilité Conditionnelle

L'intuition est excellente, mais nous avons besoin d'une formule. La probabilité conditionnelle de A sachant B est notée $P(A|B)$ et est définie comme suit :

$P(A|B)=\frac{P(A\cap B)}{P(B)}$

Où :

• $P(A|B)$ est la probabilité conditionnelle de A sachant B.
• $P(A\cap B)$ est la probabilité conjointe (ou joint probability), c'est-à-dire la probabilité que A et B se produisent ensemble.
• $P(B)$ est la probabilité de l'événement B. On suppose que $P(B)>0$.

La ressource suivante, en arabe, est excellente pour comprendre d'où vient cette formule.

Une façon très courante de visualiser et de calculer ces probabilités en pratique est d'utiliser un tableau de contingence.

La vidéo suivante de StatQuest, bien qu'en anglais, utilise ce type de tableau de manière très efficace pour montrer le calcul étape par étape.

Clarifier les concepts et les erreurs courantes

Pour finir, consolidons notre compréhension en abordant quelques points clés et erreurs fréquentes. L'article suivant, en français, est une excellente ressource pour cela.

Conclusion

Dans cette leçon, nous avons jeté les bases de la théorie des probabilités, une pierre angulaire de l'apprentissage automatique. Vous êtes maintenant capable de définir et de comprendre les concepts de probabilité et de probabilité conditionnelle.

Voici les points clés à retenir :

• La probabilité s'applique à des événements, qui sont des ensembles de résultats possibles.
• La probabilité conditionnelle, $P(A|B)$, est la probabilité que l'événement A se produise, sachant que l'événement B a déjà eu lieu.
• L'idée clé de la probabilité conditionnelle est que l'information sur B réduit l'espace échantillon, changeant ainsi la probabilité de A.
• La formule de calcul est : $P(A|B)=\frac{P(A\cap B)}{P(B)}$.
• Il est crucial de ne pas confondre $P(A|B)$ avec $P(B|A)$. La probabilité d'avoir des nuages sachant qu'il pleut est de 100 %, mais la probabilité qu'il pleuve sachant qu'il y a des nuages est bien moindre.

Nous avons vu que $P(A|B)$ nous dit comment la connaissance de B affecte la probabilité de A. Mais que se passe-t-il si nous connaissons $P(B|A)$ et que nous voulons trouver $P(A|B)$ ? C'est une situation extrêmement courante en apprentissage automatique. Par exemple, nous connaissons la probabilité qu'un email contenant le mot "gratuit" soit un spam, et nous voulons calculer la probabilité qu'un email soit un spam, sachant qu'il contient le mot "gratuit". La prochaine leçon portera sur le théorème de Bayes, l'outil mathématique élégant et puissant qui nous permet de faire exactement cela.