Skip to main content
Back to path

Welcome to a Grasp lesson

Create a free account to keep studying and create your own study path.

Lesson 37

Récupérer le HTML brut avec le nœud HTTP Request

Recommended resources

Bonjour et bienvenue dans ce nouveau module dédié au web scraping !

Dans les leçons précédentes, nous avons appris à interagir avec des services via leurs APIs structurées, comme avec HubSpot ou Google Sheets. Ces services nous fournissent des données formatées, généralement en JSON, ce qui simplifie leur manipulation. Aujourd'hui, nous abordons une nouvelle approche : l'extraction de données directement depuis des pages web, qui ne sont pas conçues pour être lues par des machines. C'est le monde du web scraping.

L'objectif de cette leçon est d'apprendre la toute première étape de ce processus : utiliser le nœud Requête HTTP pour récupérer le contenu HTML brut d'une page web. C'est le fondement sur lequel nous construirons toutes nos automatisations de scraping.

1. Le Nœud Requête HTTP : L'Outil Universel

Jusqu'à présent, nous avons surtout utilisé des nœuds spécifiques à une application (comme le nœud HubSpot). Ces nœuds sont des "wrappers" : ils simplifient l'interaction avec une API en pré-configurant de nombreuses options pour vous.

Cependant, lorsque nous faisons du web scraping ou que nous interagissons avec une API qui n'a pas de nœud dédié dans n8n, nous avons besoin d'un outil plus fondamental. C'est là qu'intervient le nœud Requête HTTP.

Ce nœud est votre couteau suisse pour communiquer sur le web. Il vous permet d'envoyer n'importe quel type de requête HTTP (GET, POST, etc.) à n'importe quelle URL et d'en analyser la réponse.

Noeud HTTP Request N8N : Guide Complet - Ocade Fusion

Pour bien comprendre le rôle de ce nœud fondamental, je vous invite à lire l'introduction de ce guide qui le présente en détail.

Lisez la première section intitulée Qu’est-ce que le nœud HTTP Request ?. Elle explique parfaitement pourquoi ce nœud est essentiel pour interagir avec n'importe quel service externe, y compris des sites web.

2. Récupérer une Page Web avec la Méthode GET

Lorsque vous tapez une adresse dans votre navigateur et appuyez sur Entrée, celui-ci envoie une requête HTTP de type GET au serveur du site web. Cette méthode demande au serveur de "donner" (GET) la ressource située à cette URL, en l'occurrence la page HTML.

Pour faire du web scraping, nous allons reproduire exactement ce comportement dans n8n.

Tutoriel Pratique : Votre Première Requête de Scraping

Créons un workflow simple pour récupérer le contenu d'une page. Nous utiliserons le site Books to Scrape, un site d'e-commerce factice conçu spécifiquement pour s'entraîner au scraping.

  1. Créez un nouveau workflow.

  2. Ajoutez un nœud HTTP Request. Vous pouvez le connecter au nœud Start ou le laisser seul pour un test manuel.

  3. Configurez le nœud HTTP Request comme suit :

    • Method : GET. C'est l'option par défaut, mais vérifiez qu'elle est bien sélectionnée.
    • URL : http://books.toscrape.com
    • Authentication : None. La page est publique et ne nécessite pas d'authentification.
    • Laissez les autres options (Query Parameters, Headers, Body) désactivées pour le moment.

  4. Exécutez le nœud en cliquant sur le bouton de lecture en haut du panneau des paramètres du nœud.

Vous devriez voir une exécution réussie. Dans le panneau de sortie (OUTPUT), vous ne verrez pas un JSON bien structuré comme d'habitude, mais le code source HTML complet de la page d'accueil de Books to Scrape.

n8n HTTP Request Node Configuration and Output
Résultat de l'exécution du nœud `Requête HTTP`. À gauche, les paramètres sont configurés pour une requête `GET` vers l'URL `http://books.toscrape.com`. À droite, la sortie (OUTPUT) montre bien le code HTML brut de la page qui a été récupéré.

Félicitations, vous venez de scraper votre première page web ! Vous avez demandé une ressource à un serveur et obtenu sa représentation brute, exactement comme le ferait un navigateur.

3. Se Faire Passer pour un Navigateur : L'En-tête User-Agent

Notre première requête a fonctionné car books.toscrape.com est conçu pour être permissif. Cependant, dans la réalité, de nombreux sites web déploient des mesures anti-bots. L'une des vérifications les plus simples est d'analyser l'en-tête (header) User-Agent de la requête.

Le User-Agent est une chaîne de texte que votre navigateur envoie à chaque requête pour s'identifier (par exemple, "je suis Chrome sur Windows 10"). Par défaut, le User-Agent de n8n est quelque chose comme n8n. Un serveur peut facilement détecter cela et bloquer la requête en pensant qu'il s'agit d'un robot.

Pour rendre notre scraping plus robuste, nous devons imiter un vrai navigateur en personnalisant cet en-tête.

Comment Configurer le User-Agent

  1. Retournez dans votre nœud HTTP Request.
  2. Dans l'onglet Parameters, activez l'option Send Headers.
  3. Dans la section Header to Send, cliquez sur Add Header.
  4. Configurez le nouvel en-tête comme suit :
    • Name : User-Agent
    • Value : Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36

C'est une valeur de User-Agent courante pour le navigateur Chrome. En l'ajoutant, votre requête n8n devient beaucoup plus difficile à distinguer d'une visite humaine.

Guide de scraping Web N8N 2025 : tutoriel, considérations ...

L'article suivant aborde directement cette étape cruciale de configuration. Il vous guidera sur les prérequis techniques et la manière de configurer votre première requête de scraping de manière efficace.

Concentrez-vous sur la section Créer votre premier flux de travail de scraping N8N. Elle explique comment configurer le nœud de requête HTTP, et insiste notamment sur l'importance de définir une valeur réaliste pour l'en-tête User-Agent.

Pour une vue d'ensemble sur les différentes méthodes HTTP et comment les configurer, les vidéos suivantes peuvent servir de bon complément, même si elles sont orientées API. Les principes restent les mêmes.

API pour Débutants : Maîtriser la requête HTTP dans N8N (Guide Complet)

Cette vidéo offre une excellente introduction aux requêtes HTTP dans n8n. Bien qu'elle se concentre sur les APIs, les concepts de base sont universels et s'appliquent parfaitement au scraping.

Regardez les 5 premières minutes (00:00 - 05:07) pour un rappel sur les différentes méthodes HTTP (GET, POST, etc.) et une introduction au nœud HTTP Request dans l'interface de n8n.

Conclusion

Dans cette leçon, nous avons posé la première pierre de nos compétences en web scraping. Vous savez maintenant comment utiliser l'outil le plus fondamental de n8n pour la communication web, le nœud Requête HTTP.

Points clés à retenir :

  • Le nœud Requête HTTP est l'outil générique pour envoyer des requêtes à n'importe quelle URL.
  • Pour récupérer le contenu d'une page web, on utilise la méthode GET.
  • La réponse d'une requête GET sur une page web est le code source HTML brut.
  • Il est essentiel de configurer un User-Agent réaliste dans les en-têtes pour éviter d'être bloqué par les sites web.

Nous avons le HTML, mais ce n'est qu'un bloc de texte peu lisible. Comment en extraire les informations qui nous intéressent vraiment, comme les titres des livres et leurs prix ? C'est exactement ce que nous verrons dans la prochaine leçon, où nous découvrirons le nœud HTML Extract et la puissance des sélecteurs CSS.