Understanding Data Types: Structured, Semi-structured, and Unstructured

Introduction

Dans la leçon précédente, nous avons établi le cadre conceptuel du Big Data avec les 5 V : Volume, Vélocité, Variété, Véracité et Valeur. Nous avons brièvement évoqué que la Variété — la diversité des formats de données — est l'une des caractéristiques les plus révolutionnaires.

Aujourd'hui, nous allons approfondir ce "V" crucial. L'objectif de cette leçon est de vous apprendre à différencier clairement les données structurées, semi-structurées et non structurées, en utilisant des exemples financiers concrets pour chaque catégorie. En tant que statisticien et économiste, vous avez une grande expérience des données structurées, qui sont le pilier de l'économétrie. Cette leçon vous permettra d'élargir cette perspective pour inclure les types de données qui alimentent les innovations les plus récentes en finance. Comprendre cette taxonomie est fondamental pour saisir comment et pourquoi les nouvelles techniques d'analyse sont nécessaires.

Les Trois Formes de Données

Commençons par une distinction visuelle simple. Les données, dans l'univers du Big Data, se présentent principalement sous trois formes.

Pour obtenir une définition claire et des exemples pour chaque catégorie, la vidéo suivante de Bernard Marr est une excellente introduction.

Maintenant que vous avez une première idée des concepts, nous allons les examiner en détail, en nous concentrant sur leur application dans le domaine financier.

Approfondissement avec un Focus Financier

Pour des définitions plus formelles et des exemples spécifiques à la finance, nous allons nous appuyer sur un document de référence du CFA Institute.

Synthétisons et développons ces concepts en nous basant sur cette lecture et d'autres exemples.

1. Données Structurées (Structured Data)

Les données structurées sont hautement organisées et se conforment à un modèle de données prédéfini. Elles s'insèrent parfaitement dans des tables avec des lignes et des colonnes, comme dans une feuille de calcul Excel ou une base de données relationnelle (SQL).

• Analogie avec votre expérience : C'est le type de données que vous manipulez couramment avec des logiciels comme STATA ou SPSS. Les séries temporelles macroéconomiques (PIB, taux d'inflation) ou les données de panel sur des entreprises sont des exemples parfaits de données structurées.
• Caractéristiques :
  • Format : Tabulaire (lignes et colonnes).
  • Schéma : Rigide et défini à l'avance.
  • Stockage : Bases de données relationnelles (ex: MySQL, Oracle), entrepôts de données (Data Warehouses).
  • Analyse : Facile à interroger avec des langages comme SQL et à analyser avec des outils statistiques standards.
• Exemples financiers :
  • Données de marché : L'historique des cours d'une action (Date, Ouverture, Plus haut, Plus bas, Clôture, Volume).
  • Transactions par carte de crédit : Une table avec les colonnes ID_Transaction, ID_Client, Date, Montant, Code_Marchand.
  • Informations client : Une base de données clients avec des champs fixes : Nom, Prénom, Adresse, Solde_Compte.
  • États financiers : Les bilans et comptes de résultat présentés sous forme de tableaux.

2. Données Non Structurées (Unstructured Data)

Les données non structurées n'ont pas de modèle de données prédéfini ni d'organisation inhérente. Elles représentent environ 80% des données mondiales et leur exploitation est au cœur de nombreuses innovations.

• Caractéristiques :
  • Format : Varié (texte, audio, vidéo, image, etc.).
  • Schéma : Absent.
  • Stockage : Systèmes de fichiers, lacs de données (Data Lakes).
  • Analyse : Complexe, nécessite des outils spécialisés comme :
    • Le Traitement du Langage Naturel (NLP) pour analyser du texte.
    • La Reconnaissance d'images pour les photos et vidéos.
    • La Transcription parole-texte pour l'audio.
• Exemples financiers :
  • Texte : Rapports d'analystes financiers (PDF), articles de presse (Bloomberg, Reuters), communications d'entreprise, transcripts des conférences téléphoniques sur les résultats, e-mails, ou encore des discussions sur des forums comme WallStreetBets.
  • Audio : Enregistrements des appels aux centres de service client pour analyse de la satisfaction ou détection de fraudes.
  • Images : Photos satellites de parkings de centres commerciaux pour estimer la fréquentation et prévoir les ventes au détail.
  • Vidéo : Interviews de PDG pour analyser le langage corporel et la confiance.

Un rapport du FDIC sur la transformation d'une banque chinoise (document LINK) illustre bien cela. La banque a commencé à exploiter des "sources de données non structurées, telles que les données textuelles de documents numérisés, les reçus de transactions inter-entreprises, les commentaires de consommateurs en ligne et les enregistrements visuels", des données qui étaient auparavant inaccessibles.

3. Données Semi-Structurées (Semi-structured Data)

Cette catégorie se situe entre les deux autres. Les données semi-structurées ne sont pas organisées dans le format rigide d'une base de données relationnelle, mais elles contiennent des balises ou des marqueurs qui séparent les éléments sémantiques et permettent une hiérarchisation. Elles sont souvent qualifiées d'auto-descriptives.

• Caractéristiques :
  • Format : Hiérarchique ou en graphe (ex: JSON, XML).
  • Schéma : Flexible, le schéma est contenu dans les données elles-mêmes.
  • Stockage : Bases de données NoSQL (ex: MongoDB).
  • Analyse : Plus facile que pour les données non structurées, en utilisant des requêtes qui parcourent la structure (ex: XPath pour XML).
• Exemples financiers :
  • Fichiers JSON et XML : C'est le format standard pour les API (Interfaces de Programmation d'Applications) qui transmettent des données financières. Par exemple, une requête à une API pour obtenir le cours d'une action retournera un fichier JSON comme {"symbole": "AAPL", "prix": 170.50, "timestamp": "2023-10-27T16:00:00Z"}.
  • E-mails : Le corps du message est non structuré, mais l'en-tête contient des champs structurés (Expéditeur, Destinataire, Sujet, Date).
  • Pages web (HTML) : Les balises HTML (<h1>, <p>, <table>) donnent une structure au contenu de la page.

Tableau Comparatif

L'image suivante synthétise très bien les différences entre ces trois types de données.

Un Exemple Concret : l'Analyse d'une Publication de Résultats

Pour illustrer comment ces types de données coexistent dans un même contexte financier, prenons l'exemple d'une publication de résultats trimestriels d'une entreprise. Le rapport du CFA Institute (document LINK) propose un excellent tableau (Exhibit 3, page 10) qui décompose cet événement.

Imaginons qu'une banque d'investissement analyse cet événement :

1. Données Structurées : Les chiffres bruts publiés dans les états financiers (chiffre d'affaires, bénéfice par action, marge nette). Ces données sont directement insérées dans des modèles de valorisation.
2. Données Non Structurées :
   • Le texte de la section "Management Discussion & Analysis" (MD&A) du rapport annuel (PDF). Des algorithmes de NLP peuvent y détecter des changements de ton, un vocabulaire plus prudent, ou des risques émergents.
   • L'enregistrement audio de la conférence téléphonique avec les analystes. Des outils d'analyse vocale peuvent détecter des signes de stress ou d'hésitation dans la voix du PDG ou du DAF.
3. Données Semi-Structurées :
   • Si l'entreprise publie ses résultats via une API, les données seront probablement au format JSON, mélangeant du texte et des chiffres dans un format hiérarchique.

L'avantage concurrentiel vient de la capacité à synthétiser les informations provenant de ces trois sources pour obtenir une vision beaucoup plus riche que celle fournie par les seules données structurées.

Conclusion

Aujourd'hui, nous avons disséqué le "V" de Variété. Vous êtes maintenant capable de distinguer les trois grandes familles de données :

• Structurées : Organisées et tabulaires, le domaine de l'analyse traditionnelle.
• Non structurées : Sans format prédéfini, une mine d'informations qualitatives (texte, audio, image).
• Semi-structurées : Un hybride flexible, souvent utilisé pour la communication entre systèmes (API).

Comprendre cette distinction est la clé pour apprécier pourquoi le Big Data a nécessité le développement de nouveaux outils et de nouvelles infrastructures. On ne stocke pas et on n'analyse pas un rapport d'analyste en PDF de la même manière qu'une série temporelle de cours boursiers.

Dans la prochaine leçon, nous explorerons justement cette question du stockage. Nous aborderons la différence entre un entrepôt de données (data warehouse), traditionnellement conçu pour les données structurées, et un lac de données (data lake), conçu pour héberger la totalité des données d'une entreprise, quelle que soit leur forme.