Bonjour ! Dans la leçon précédente, nous avons vu comment la corrélation nous permet de mesurer la force et la direction d'une relation linéaire entre deux variables. Nous avons ainsi conclu notre exploration des fondations statistiques. Il est maintenant temps d'aborder un nouveau pilier des mathématiques pour le machine learning : le calcul différentiel.
Cette leçon introduit un concept qui est au cœur de l'apprentissage automatique : la dérivée. Notre objectif est de comprendre comment la dérivée représente un taux de changement instantané et, plus important encore, comment elle est utilisée pour trouver les points les plus bas (minima) d'une fonction. Cette idée d'optimisation est fondamentale, car c'est précisément ce que fait un algorithme d'apprentissage lorsqu'il "apprend" : il ajuste ses paramètres pour minimiser une fonction d'erreur, ou de "coût".
Du taux de changement moyen au taux de changement instantané
Vous vous souvenez probablement comment calculer la pente (ou le coefficient directeur) d'une droite : c'est la "montée" divisée par "l'avancée" (en anglais, rise over run). Cette pente est un taux de changement constant. Pour chaque pas que vous faites sur l'axe des x, vous montez (ou descendez) d'une quantité fixe sur l'axe des y.
Mais que se passe-t-il si la fonction n'est pas une ligne droite, mais une courbe ? Son taux de changement n'est plus constant. Il varie à chaque point. Comment, alors, définir le taux de changement en un point unique ?
L'analogie du compteur de vitesse d'une voiture est très utile ici.
Intuition Behind Derivatives — The Speedometer Story - Medium
Cet article utilise l'excellente métaphore du compteur de vitesse pour expliquer la différence entre la vitesse moyenne et la vitesse instantanée.
Lisez l'introduction et les deux premières sections de l'article : The Speedometer: Your First Derivative Teacher et From Average Speed to Instantaneous Speed. L'idée principale est que votre vitesse moyenne sur une heure est facile à calculer, mais le compteur de vitesse vous donne votre vitesse à cet instant précis. C'est l'essence même d'une dérivée.
Pour trouver ce taux de changement instantané, l'idée est de calculer le taux de changement moyen (la pente d'une droite) sur un intervalle de plus en plus petit. À mesure que cet intervalle devient infinitésimal, la droite qui coupe la courbe en deux points (la sécante) se transforme en une droite qui ne fait que "toucher" la courbe en un seul point (la tangente). La pente de cette tangente est le taux de changement instantané en ce point : c'est la dérivée.
L'image ci-dessous illustre ce processus.
La vidéo suivante de 3Blue1Brown est une magnifique explication visuelle de ce concept. Elle aborde le "paradoxe" apparent du changement en un seul instant et montre comment le calcul différentiel le résout de manière élégante.
The paradox of the derivative | Chapter 2, Essence of calculus
Cette vidéo, intitulée "The paradox of the derivative", est un classique pour comprendre l'intuition derrière la dérivée.
Regardez attentivement ces passages clés : L'introduction du paradoxe : un "taux de changement instantané" est un oxymore. Comment peut-il y avoir un changement dans un seul instant ? La résolution du paradoxe : un compteur de vitesse réel ne mesure pas la vitesse en un instant, mais sur un tout petit intervalle de temps. C'est l'approximation que nous allons formaliser. La définition mathématique : la dérivée n'est pas le ratio pour un petit intervalle \Delta t, mais ce vers quoi ce ratio tend lorsque \Delta t s'approche de zéro. Visuellement, c'est la pente de la ligne tangente.
La dérivée comme outil d'optimisation
Maintenant que nous avons l'intuition, demandons-nous : à quoi cela sert-il en machine learning ?
La plupart des problèmes d'apprentissage automatique peuvent être formulés comme des problèmes d'optimisation. Nous définissons une fonction de coût (ou loss function) qui mesure à quel point les prédictions de notre modèle sont erronées. Notre but est de trouver les paramètres du modèle (ses "poids") qui rendent ce coût minimal.
Imaginez que la fonction de coût ressemble à un paysage de montagnes et de vallées. Nous voulons trouver le point le plus bas de la vallée la plus profonde. Comment la dérivée nous aide-t-elle ?
- Si la dérivée (la pente) en un point est positive, cela signifie que la fonction est croissante. Pour trouver un minimum, il faut aller dans la direction opposée (vers la gauche).
- Si la dérivée est négative, la fonction est décroissante. Pour trouver un minimum, il faut continuer dans cette direction (vers la droite).
- Si la dérivée est nulle, la pente est horizontale. Nous sommes peut-être au fond d'une vallée (un minimum local) ou au sommet d'une colline (un maximum local).
C'est le point crucial : les minima et maxima d'une fonction se trouvent aux points où sa dérivée est égale à zéro.
Pour formaliser cela, nous utilisons le "test de la dérivée première". L'article suivant explique très clairement comment l'appliquer.
Mastering Derivatives for Machine Learning
Cet article explique pas à pas comment utiliser la dérivée pour trouver les minima et maxima d'une fonction.
Concentrez-vous sur les sections suivantes : Lisez la section The First Derivative Test. Elle explique la logique : le signe de la dérivée nous dit si la fonction monte ou descend, et une dérivée nulle indique un point critique (minimum ou maximum). Suivez attentivement l'exemple de calcul. Il vous montre comment : Prendre une fonction, par exemple f(X) = 2X³ - 3X² - 12X. Calculer sa dérivée f'(X). Trouver les valeurs de X pour lesquelles f'(X) = 0. Ce sont les points critiques. Analyser le signe de la dérivée autour de ces points pour déterminer s'il s'agit d'un minimum (la pente passe de négative à positive) ou d'un maximum (la pente passe de positive à négative).
La dérivée en pratique pour le Machine Learning
Nous n'avons pas besoin de calculer les dérivées manuellement à chaque fois. Des règles existent pour les fonctions les plus courantes, et surtout, les bibliothèques comme PyTorch (que nous verrons plus tard) les calculent pour nous. Ce qui est essentiel, c'est de comprendre ce que la dérivée représente et pourquoi nous la calculons.
La vidéo suivante de Kylie Ying résume parfaitement le lien entre les dérivées et l'optimisation en machine learning.
Intro to Derivatives | Calculus for Machine Learning
Cette vidéo, "Intro to Derivatives | Calculus for Machine Learning", fait un excellent travail pour connecter le concept mathématique à son application pratique.
Regardez le début de la vidéo pour une introduction rapide sur l'importance des dérivées en ML. Ensuite, sautez directement à la section finale qui explique comment on utilise les dérivées pour trouver le maximum d'une fonction de récompense ou le minimum d'une fonction de perte (loss function). C'est exactement le problème que nous cherchons à résoudre en entraînant un modèle.
Conclusion
Cette leçon a jeté les bases d'un des outils les plus puissants pour l'apprentissage automatique. En comprenant la dérivée, vous comprenez le mécanisme fondamental qui permet aux modèles de s'améliorer.
Voici les points clés à retenir :
- La dérivée d'une fonction en un point est son taux de changement instantané à ce point.
- Géométriquement, c'est la pente de la ligne tangente au graphique de la fonction.
- Le signe de la dérivée indique si la fonction est croissante (
+) ou décroissante (-). - Les minima et maxima d'une fonction se trouvent aux points où sa dérivée est nulle.
- En machine learning, nous utilisons cette propriété pour optimiser les modèles, c'est-à-dire pour trouver les paramètres qui minimisent la fonction de coût.
Dans notre voyage, nous avons jusqu'ici considéré des fonctions d'une seule variable. Cependant, les modèles de machine learning ont souvent des millions de paramètres, ce qui signifie que nos fonctions de coût dépendent de millions de variables. Dans la prochaine leçon, nous généraliserons le concept de dérivée aux fonctions multivariables en introduisant le gradient. Le gradient nous indiquera non seulement une pente, mais la direction de la plus forte pente, nous guidant ainsi efficacement vers le minimum de la fonction de coût.