Activation Functions: Types and Applications

1. Pourquoi avons-nous besoin de fonctions d'activation ?

Dans la dernière leçon, nous avons établi que la première étape d'un neurone est de calculer une fonction linéaire : $z=\mathbf{w}\cdot \mathbf{x}+b$. Que se passerait-il si nous empilions des couches de neurones qui ne feraient que ce calcul ? Il s'avère qu'une succession de transformations linéaires n'est rien d'autre qu'une seule transformation linéaire. Un réseau de neurones profond sans fonctions d'activation ne serait pas plus puissant qu'un simple modèle de régression linéaire ou logistique.

Pour modéliser les complexités du monde réel (comme la reconnaissance d'images ou la traduction de langues), nous avons besoin d'introduire de la non-linéarité. C'est précisément le rôle de la fonction d'activation. Elle prend la sortie linéaire $z$ et la transforme de manière non linéaire.

La vidéo suivante explique de manière très intuitive pourquoi cette non-linéarité est si cruciale.

Comme l'explique la vidéo, en ajoutant une étape de "flexion" ou de "torsion" non linéaire à chaque neurone, le réseau dans son ensemble devient capable de construire des frontières de décision extraordinairement complexes, lui permettant de s'attaquer à des problèmes beaucoup plus difficiles.

2. Une galerie de fonctions d'activation

Il existe de nombreuses fonctions d'activation, chacune avec ses propres caractéristiques. L'image ci-dessous présente un "aide-mémoire" de certaines des plus courantes. Nous nous concentrerons sur les trois plus importantes : Sigmoid, ReLU et Softmax.

La fonction Sigmoid : l'ancêtre historique

La fonction sigmoïde était autrefois très populaire. Sa formule est $\sigma (z)=\frac{1}{1+e^{-z}}$. Comme vous pouvez le voir sur le graphique, sa principale caractéristique est de "compresser" n'importe quelle valeur d'entrée dans une plage comprise entre 0 et 1.

Cependant, la fonction sigmoïde est aujourd'hui rarement utilisée dans les couches cachées des réseaux de neurones modernes, principalement en raison d'un problème appelé le vanishing gradient (gradient qui disparaît).

Dans la vidéo suivante, Andrew Ng explique ce problème et présente une alternative, la fonction Tanh, avant d'introduire le standard actuel, ReLU.

ReLU (Rectified Linear Unit) : le standard par défaut

Comme Andrew Ng l'a mentionné, la fonction d'activation la plus utilisée aujourd'hui dans les couches cachées est de loin la ReLU. Sa formule est d'une simplicité déconcertante : $f(z)=\max (0,z)$.

• Si l'entrée $z$ est négative, la sortie est 0.
• Si l'entrée $z$ est positive, la sortie est $z$ elle-même.

Les principales raisons de la popularité de ReLU sont :

1. Efficacité de calcul : Le calcul de max(0, z) est beaucoup plus rapide que le calcul d'une exponentielle dans les fonctions Sigmoid ou Tanh.
2. Atténuation du vanishing gradient : Pour toutes les entrées positives, le gradient (la pente) de la fonction ReLU est constant (égal à 1). Cela permet aux gradients de circuler plus facilement à travers le réseau pendant l'entraînement, ce qui accélère considérablement l'apprentissage.

En raison de ces avantages, la règle générale est la suivante : pour les couches cachées de votre réseau de neurones, commencez toujours par utiliser ReLU.

3. Fonctions d'activation pour la couche de sortie : choisir selon la tâche

Si ReLU est le roi des couches cachées, le choix de la fonction d'activation pour la couche de sortie est différent. Il ne dépend pas de l'optimisation mais de la nature de la tâche que vous essayez de résoudre et du format de sortie que vous désirez.

La vidéo d'Andrew Jones explique cela de manière exceptionnellement claire.

Résumons et formalisons ces cas d'utilisation essentiels.

Cas 1 : Classification binaire (Binary Classification)

• Problème : Prédire l'une des deux classes possibles. Par exemple, "Cette image est-elle un chat ou un chien ?" ou "Cet email est-il un spam ou non ?".
• Sortie désirée : Une seule probabilité, un nombre entre 0 et 1. Par exemple, la probabilité que l'image soit un chat.
• Fonction d'activation : Sigmoid. Sa capacité à compresser n'importe quelle entrée dans une plage de (0, 1) la rend parfaite pour représenter une probabilité.

L'article de Weights & Biases illustre ce cas avec un exemple de code.

Cas 2 : Classification multi-classes (Multi-class Classification)

• Problème : Prédire une classe parmi plusieurs options mutuellement exclusives. Par exemple, "Cette image est-elle un chat, un chien, un poisson ou un cheval ?". Un objet ne peut être qu'une seule de ces choses à la fois.
• Sortie désirée : Une distribution de probabilité sur toutes les classes. Chaque sortie doit être une probabilité entre 0 et 1, et la somme de toutes les probabilités doit être égale à 1.
• Fonction d'activation : Softmax.

La fonction Softmax prend le vecteur de logits $z$ de la couche de sortie et le transforme. Pour chaque sortie $z_i$, elle calcule :

où $N$ est le nombre total de classes. En pratique, elle fait deux choses :

1. Elle utilise l'exponentielle $e^{z_i}$ pour rendre toutes les valeurs positives.
2. Elle divise par la somme de toutes les valeurs exponentiées pour s'assurer que la somme totale des sorties est égale à 1.

La vidéo suivante détaille le calcul pas à pas.

L'article de Weights & Biases souligne également une intuition importante sur Softmax : comme elle utilise une fonction exponentielle, elle a tendance à "vouloir choisir une seule chose". Une petite augmentation dans un logit peut conduire à une probabilité beaucoup plus grande pour cette classe, ce qui est souvent souhaitable dans les problèmes de classification multi-classes.

Conclusion : Des règles simples pour un choix crucial

Le choix des fonctions d'activation peut sembler complexe, mais il se résume à quelques règles pratiques et fiables. Comprendre ces règles est fondamental pour construire des modèles de deep learning efficaces.

Points clés à retenir :

• Rôle : Les fonctions d'activation introduisent la non-linéarité, permettant aux réseaux de neurones d'apprendre des relations complexes.
• Pour les couches cachées : La règle d'or est d'utiliser ReLU ($f(z)=\max (0,z)$). Elle est rapide et aide à prévenir le problème des gradients qui disparaissent (vanishing gradients).
• Pour la couche de sortie : Le choix dépend de votre tâche.
  • Classification binaire : Utilisez Sigmoid pour obtenir une probabilité unique entre 0 et 1.
  • Classification multi-classes : Utilisez Softmax pour obtenir une distribution de probabilité sur toutes les classes, dont la somme est égale à 1.
• Logits : Ce sont les sorties numériques brutes de la dernière couche linéaire du réseau, avant l'application de la fonction d'activation de sortie (comme Sigmoid ou Softmax).

Maintenant que nous avons assemblé toutes les pièces du puzzle d'un neurone — poids, biais et fonction d'activation — nous sommes prêts à passer à l'étape suivante. Dans la prochaine leçon, nous allons utiliser ces concepts pour construire un réseau de neurones simple et complet en créant une classe qui hérite de torch.nn.Module, la brique de base pour tous les modèles dans PyTorch.