Gradients: Direction of Steepest Ascent

Du "taux de changement" au "vecteur de changement"

Pour une fonction d'une seule variable, $f(x)$, il n'y a que deux directions possibles : vers la droite (x croissant) ou vers la gauche (x décroissant). La dérivée $f^{\prime }(x)$ nous dit tout : si elle est positive, la fonction monte vers la droite ; si elle est négative, elle descend.

Mais pour une fonction de deux variables, $f(x,y)$, imaginez que vous êtes sur le flanc d'une montagne. En un point donné, il y a une infinité de directions dans lesquelles vous pouvez vous déplacer. Vous pouvez monter, descendre, ou marcher le long de la montagne sans changer d'altitude. La "pente" dépend de la direction que vous choisissez.

Nous avons besoin d'un outil qui capture cette information multidirectionnelle. Cet outil est le gradient.

Le gradient d'une fonction $f$, noté $\nabla f$, est un vecteur dont les composantes sont les dérivées partielles de la fonction. Pour une fonction $f(x,y)$, le gradient est :

Chaque dérivée partielle, par exemple $\frac{\partial f}{\partial x}$, mesure le taux de changement de la fonction si l'on se déplace uniquement dans la direction de l'axe des x, en gardant y constant. Le gradient combine ces taux de changement le long de chaque axe en un seul vecteur.

La propriété fondamentale du Gradient : la Direction de la plus forte pente

Le gradient possède une propriété quasi magique qui le rend si important en optimisation : en tout point, le vecteur gradient pointe dans la direction où la fonction augmente le plus rapidement. C'est la direction de la plus forte pente ascendante (en anglais, steepest ascent).

La vidéo suivante de Khan Academy offre une excellente introduction visuelle à ce concept.

L'image suivante illustre parfaitement cette idée. La surface du haut est le graphe de la fonction. La grille du bas représente l'espace des entrées (les coordonnées x et y). Le vecteur gradient (en rouge dans l'espace d'entrée) montre la direction à prendre pour grimper la "colline" le plus vite possible.

Par conséquent, si nous voulons descendre la pente le plus rapidement possible pour minimiser notre fonction de coût, nous devrons simplement aller dans la direction opposée au gradient, c'est-à-dire $-\nabla f$.

Pourquoi le gradient pointe-t-il dans la direction de la plus forte pente ?

Pour comprendre cela, nous devons introduire la dérivée directionnelle. La dérivée directionnelle, notée $D_{\vec{u}}f$, nous donne la pente de la fonction si nous nous déplaçons dans la direction d'un vecteur unitaire (de longueur 1) quelconque, $\vec{u}$.

Il existe une formule élégante qui relie la dérivée directionnelle, le gradient et la direction $\vec{u}$ :

La dérivée directionnelle est simplement le produit scalaire (dot product) du gradient et du vecteur directionnel.

Rappelons-nous la définition géométrique du produit scalaire : $\vec{a}\cdot \vec{b}=||\vec{a}||||\vec{b}||\cos (\theta )$, où $\theta$ est l'angle entre les deux vecteurs. Notre formule devient donc :

Puisque $\vec{u}$ est un vecteur unitaire, sa norme $||\vec{u}||$ est 1. La formule se simplifie en :

Nous cherchons la direction $\vec{u}$ qui maximise cette valeur (la pente la plus forte). La valeur $||\nabla f||$ est fixe pour un point donné. La seule chose qui peut varier est $\cos (\theta )$. La fonction cosinus atteint sa valeur maximale, 1, lorsque l'angle $\theta$ est 0.

Un angle de 0 entre $\nabla f$ et $\vec{u}$ signifie que ces deux vecteurs pointent dans la même direction. La pente est donc maximale lorsque nous nous déplaçons dans la direction du gradient.

L'article et la vidéo suivants détaillent cette preuve de manière très claire.

Le Gradient et les Lignes de Niveau

Il existe une autre manière, très visuelle, de comprendre le gradient. Imaginez une carte topographique d'une montagne. Les lignes sur la carte, appelées lignes de niveau (ou level curves / contours), relient tous les points qui sont à la même altitude. Si vous suivez une ligne de niveau, vous ne montez ni ne descendez.

Le gradient a une relation géométrique fascinante avec ces lignes de niveau : le vecteur gradient est toujours perpendiculaire (orthogonal) aux lignes de niveau.

Cela a un sens intuitif : le chemin le plus court et le plus rapide pour monter en altitude est de couper les lignes de niveau à angle droit, et non de les suivre.

La vidéo suivante explique cette relation de manière très élégante.

Conclusion

Dans cette leçon, nous avons étendu notre compréhension de la dérivée aux fonctions multivariables. Le gradient est un concept fondamental qui est au cœur des techniques d'optimisation modernes.

Voici les points clés à retenir :

• Le gradient, $\nabla f$, est un vecteur dont les composantes sont les dérivées partielles de la fonction.
• Sa propriété la plus importante est qu'il pointe toujours dans la direction de la plus forte pente ascendante.
• Par conséquent, la direction de la plus forte pente descendante est $-\nabla f$. C'est la direction que nous utiliserons pour minimiser les fonctions de coût.
• Géométriquement, le gradient est toujours perpendiculaire aux lignes de niveau de la fonction.
• La magnitude (longueur) du vecteur gradient, $||\nabla f||$, indique la valeur de cette plus forte pente. Un gradient long signifie que la pente est très raide.

Maintenant que vous comprenez ce qu'est le gradient et ce qu'il représente, nous sommes prêts à l'utiliser. Dans la prochaine leçon, nous passerons au premier module sur l'apprentissage automatique classique et nous introduirons l'algorithme de la descente de gradient (Gradient Descent), qui utilise le gradient pour trouver de manière itérative le minimum d'une fonction de coût. Vous verrez enfin comment un modèle "apprend" en suivant la pente.