Implementing Dropout for Overfitting Prevention

1. Qu'est-ce que le Dropout ? L'intuition

Imaginez que vous prépariez un examen en étudiant avec un groupe. Si, à chaque session de révision, certains membres du groupe sont absents au hasard, vous ne pouvez pas compter sur une seule personne pour connaître toutes les réponses. Chaque membre est obligé de développer une compréhension plus solide et plus indépendante du sujet. Le dropout applique une idée similaire aux réseaux de neurones.

Pendant la phase d'entraînement, le dropout "désactive" ou "ignore" aléatoirement un certain nombre de neurones à chaque passage (passe avant et arrière). Cela force le réseau à ne pas devenir trop dépendant de quelques neurones spécifiques. Il doit apprendre des représentations plus redondantes et plus robustes, ce qui améliore sa capacité à généraliser.

Regardez cette courte vidéo d'Andrew Ng qui explique cette intuition de manière très claire.

L'image ci-dessous illustre parfaitement ce concept. À gauche, pendant l'entraînement, certains neurones (en blanc) sont temporairement désactivés. Leurs connexions sont inactives. À droite, pendant l'évaluation (ou l'inférence), tous les neurones sont actifs pour faire la prédiction.

2. Comment le Dropout est implémenté en pratique

Si nous désactivions simplement des neurones pendant l'entraînement, la somme totale des activations serait plus faible qu'en mode évaluation où tous les neurones sont actifs. Cela créerait un décalage. Pour compenser, les librairies modernes comme PyTorch utilisent une technique appelée Inverted Dropout (dropout inversé).

L'idée est simple : au lieu de réduire la voilure au moment du test, on augmente l'activité des neurones restants pendant l'entraînement. Plus précisément, les sorties des neurones qui ne sont pas désactivés sont mises à l'échelle (multipliées par un facteur) pendant l'entraînement. Ainsi, l'espérance (la valeur moyenne attendue) de la sortie de la couche reste la même en mode entraînement et en mode évaluation. Cela rend le passage à l'évaluation transparent et plus efficace, car aucune opération supplémentaire n'est nécessaire.

Le professeur Sebastian Raschka explique ce mécanisme de manière concise dans la vidéo suivante.

3. Appliquer le Dropout dans PyTorch

Heureusement, PyTorch rend l'ajout du dropout extrêmement simple grâce à la couche torch.nn.Dropout.

L'article suivant de DataCamp fournit un excellent guide pratique. Nous allons nous en servir pour comprendre comment intégrer le dropout dans un modèle et observer son effet.

Pour l'ajouter à un de vos modèles, il suffit de l'instancier dans la méthode __init__ et de l'appliquer dans la méthode forward, généralement après la fonction d'activation d'une couche cachée.

import torch.nn as nn

class SimpleClassifierWithDropout(nn.Module):
    def __init__(self, num_features):
        super(SimpleClassifierWithDropout, self).__init__()
        self.layer_1 = nn.Linear(num_features, 64)
        self.layer_2 = nn.Linear(64, 32)
        self.layer_out = nn.Linear(32, 1)
        
        self.relu = nn.ReLU()
        self.sigmoid = nn.Sigmoid()



        # On définit la couche de dropout. p=0.5 signifie que chaque neurone
        # a 50% de chance d'être désactivé à chaque passage.
        self.dropout = nn.Dropout(p=0.5)

    def forward(self, x):
        x = self.relu(self.layer_1(x))



        # On applique le dropout après la première couche cachée
        x = self.dropout(x) 
        x = self.relu(self.layer_2(x))



        # On pourrait aussi en appliquer un ici
        x = self.sigmoid(self.layer_out(x))
        return x

Le rôle crucial de model.train() et model.eval()

Comme vous l'avez appris dans les leçons précédentes, ces deux commandes sont très importantes. Avec le dropout, elles deviennent essentielles.

• model.train(): Place le modèle en mode entraînement. Cela active les couches de dropout (et d'autres couches spécifiques à l'entraînement comme la normalisation par lots).
• model.eval(): Place le modèle en mode évaluation. Cela désactive les couches de dropout pour que le réseau utilise toute sa capacité pour faire des prédictions.

Oublier de passer en mode eval pendant la validation ou le test est une erreur très fréquente qui conduit à des performances d'évaluation inutilement mauvaises et instables.

La vidéo de Sebastian Raschka souligne également ce point.

4. Observer l'effet du Dropout

Maintenant, voyons le dropout en action. L'article de DataCamp que nous avons commencé à lire compare un modèle avec et sans dropout. Bien qu'il utilise un réseau convolutif (CNN) sur des images (ce qui anticipe un peu notre prochain module), le principe de régularisation et la manière d'ajouter la couche nn.Dropout sont exactement les mêmes que pour le classifieur que nous avons construit.

Le graphique ci-dessous, tiré d'une autre expérience, montre un résultat similaire. Il compare les taux d'erreur sur l'ensemble de test pour différents modèles. Vous pouvez voir que les versions avec dropout (en orange, vert et violet) atteignent un taux d'erreur plus faible et plus stable que leurs homologues sans dropout (en bleu et rouge).

5. Quand et comment utiliser le Dropout ?

Le dropout est un outil puissant, mais il ne faut pas l'utiliser aveuglément. Voici quelques conseils pratiques :

• Utilisez-le lorsque vous surapprenez. Le premier signe est un écart important entre votre précision d'entraînement et votre précision de validation. Si votre modèle ne surapprend pas, le dropout peut inutilement ralentir l'entraînement et même nuire aux performances.
• Commencez avec des valeurs communes. Une probabilité p entre 0.2 et 0.5 est un bon point de départ pour les couches cachées.
• Ajustez p comme un hyperparamètre. Vous pouvez utiliser des taux de dropout différents pour différentes couches. Les couches plus grandes (avec plus de neurones) sont plus susceptibles de surapprendre et peuvent bénéficier d'un taux de dropout plus élevé.
• Le dropout peut nécessiter plus d'époques d'entraînement. Comme le dropout rend la tâche d'apprentissage plus difficile, le modèle peut avoir besoin de plus de temps pour converger.

Andrew Ng résume bien le rôle du dropout comme technique de régularisation.

Conclusion

Aujourd'hui, vous avez ajouté une technique fondamentale à votre boîte à outils d'apprentissage profond. Le surapprentissage est un défi constant, et le dropout est l'une des solutions les plus simples et efficaces pour le combattre.

Points clés à retenir :

• Le dropout est une technique de régularisation qui désactive aléatoirement des neurones pendant l'entraînement pour empêcher le modèle de surapprendre.
• Il force le réseau à apprendre des caractéristiques plus robustes et distribuées, améliorant sa capacité de généralisation.
• Dans PyTorch, on l'implémente avec la couche nn.Dropout(p), où p est la probabilité de mise à zéro d'un neurone.
• Il est impératif d'utiliser model.train() pour activer le dropout et model.eval() pour le désactiver pendant la validation et le test.
• L'effet du dropout se manifeste par une réduction de l'écart entre les performances sur les données d'entraînement et de validation.

Dans la prochaine leçon, nous aborderons une étape logistique essentielle : comment sauvegarder et charger un modèle entraîné. Après avoir passé du temps à entraîner un modèle performant, vous voudrez pouvoir le réutiliser sans avoir à tout recommencer