Managing Project Environments with venv and Conda

Le problème : les conflits de dépendances

Imaginez que vous travaillez sur deux projets d'apprentissage automatique.

• Projet A est un ancien projet qui nécessite pandas version 1.5.
• Projet B est un nouveau projet qui utilise une fonctionnalité de pandas version 2.1.

Si vous installez vos paquets de manière globale, vous ne pouvez avoir qu'une seule version de pandas à la fois. Mettre à jour pour le Projet B risque de casser le Projet A, et vice-versa. C'est ce qu'on appelle un conflit de dépendances.

La solution est de créer un environnement virtuel pour chaque projet. Un environnement virtuel est un répertoire isolé qui contient sa propre version de l'interpréteur Python et son propre ensemble de bibliothèques (paquets). C'est comme avoir une boîte à outils distincte et sur mesure pour chaque projet.

L'image ci-dessous illustre parfaitement ce concept.

Méthode 1 : venv, l'outil standard de Python

Depuis Python 3.3, un module appelé venv est inclus dans la bibliothèque standard. C'est l'outil de base, léger et recommandé pour créer des environnements virtuels. Il ne gère que les paquets Python via pip, que vous connaissez déjà.

Le processus est simple :

1. Créer un répertoire pour l'environnement.
2. L'"activer" pour commencer à travailler dedans.
3. Installer les paquets nécessaires avec pip.
4. Le "désactiver" lorsque vous avez terminé.

La vidéo suivante, de la chaîne Tech With Tim, est un excellent tutoriel pour les débutants qui explique et montre tout ce processus.

Gérer les dépendances avec requirements.txt

Une pratique essentielle est de garder une liste de tous les paquets (et leurs versions exactes) dont votre projet a besoin. Cela permet à n'importe qui d'autre (ou à vous-même sur une autre machine) de recréer l'environnement à l'identique. Le fichier standard pour cela s'appelle requirements.txt.

La commande pip freeze > requirements.txt génère ce fichier à partir de l'environnement actif.
La commande pip install -r requirements.txt installe tous les paquets listés dans le fichier.

Continuons avec la vidéo pour voir comment cela fonctionne en pratique.

Pour une référence textuelle rapide des commandes venv, vous pouvez consulter le guide suivant. Il résume bien les étapes.

Méthode 2 : conda, le couteau suisse de la science des données

Puisque vous avez installé Anaconda, vous avez accès à un outil de gestion d'environnements encore plus puissant : conda.

La principale différence est que conda peut gérer tout ce dont un projet a besoin :

• La version de Python elle-même (vous pouvez avoir un environnement avec Python 3.8 et un autre avec Python 3.10 sur la même machine).
• Les paquets Python (comme pip).
• Des paquets non-Python. C'est son grand avantage. Par exemple, pour l'apprentissage profond, vous aurez besoin de bibliothèques comme CUDA de NVIDIA pour utiliser votre carte graphique. conda peut les installer et gérer leur compatibilité pour vous, ce que venv ne peut pas faire.

Le flux de travail avec conda est très similaire :

1. Créer : conda create --name mon_env python=3.9 (notez qu'on spécifie la version de Python directement).
2. Activer : conda activate mon_env.
3. Installer : conda install numpy pandas.
4. Désactiver : conda deactivate.

La vidéo suivante de Krish Naik montre comment créer des environnements, y compris avec conda.

venv vs. conda : Lequel choisir ?

Vous connaissez maintenant deux méthodes. Laquelle devriez-vous utiliser ?

• venv est excellent pour le développement Python général (par exemple, des applications web) où les dépendances sont uniquement des paquets Python. Il est léger et intégré à Python.
• conda est l'outil de choix pour la science des données et l'apprentissage automatique. Sa capacité à gérer des paquets complexes et non-Python simplifie grandement l'installation d'outils comme TensorFlow, PyTorch, et les bibliothèques GPU.

Le tableau ci-dessous, tiré d'un article comparatif, résume bien les différences.

Recommandation pour ce cours :
Étant donné que votre objectif est l'apprentissage automatique et que vous avez déjà installé Anaconda, je vous recommande fortement d'utiliser conda pour créer vos environnements. Cela vous évitera bien des maux de tête plus tard lorsque nous installerons des bibliothèques plus complexes comme PyTorch.

Votre flux de travail pratique

Voici les étapes que je vous suggère de suivre pour chaque nouveau mini-projet que nous ferons dans ce cours :

1. Ouvrez le terminal de votre système (ou l'Anaconda Prompt sur Windows).
2. Créez un nouveau dossier pour votre projet et naviguez à l'intérieur.

   mkdir mon-projet-ml
   cd mon-projet-ml
   

3. Créez un nouvel environnement conda. Donnons-lui un nom et spécifions une version de Python (par exemple, 3.9 est un choix stable et moderne).

   conda create --name projet-ml python=3.9
   

   conda vous demandera de confirmer. Tapez y et Entrée.
4. Activez votre nouvel environnement.

   conda activate projet-ml
   

   Vous verrez que le nom de l'environnement apparaît au début de votre invite de commande.
5. Installez les bibliothèques de base dont nous aurons besoin au début, ainsi que Jupyter.

   conda install jupyter numpy pandas scikit-learn
   

6. Une fois dans l'environnement activé, lancez Jupyter Notebook.

   jupyter notebook
   

Jupyter se lancera et n'aura accès qu'aux paquets installés dans cet environnement projet-ml, garantissant un espace de travail propre et isolé.

Conclusion

Vous avez ajouté une compétence essentielle à votre boîte à outils de développeur. Savoir isoler ses projets est la marque d'un travail rigoureux et professionnel.

Voici les points clés à retenir :

• Les environnements virtuels sont des dossiers isolés qui contiennent les dépendances spécifiques à un projet, évitant les conflits.
• venv est l'outil standard de Python, léger et parfait pour les projets ne dépendant que de paquets Python.
• conda est un gestionnaire d'environnements et de paquets plus puissant, idéal pour la science des données car il gère aussi les dépendances non-Python et les versions de Python elles-mêmes.
• Pour notre parcours en apprentissage automatique, conda est l'outil recommandé.

Maintenant que nous savons comment préparer un espace de travail propre pour n'importe quel projet, nous sommes prêts à plonger dans le langage Python lui-même. Dans la prochaine leçon, nous commencerons par les briques de base de tout programme : les variables et les types de données.