Sources of Big Data in Finance

Introduction

Dans la leçon précédente, nous avons fait la distinction entre les entrepôts de données (data warehouses) et les lacs de données (data lakes). Nous avons vu que les premiers sont des bibliothèques hautement organisées pour les données structurées, tandis que les seconds sont des réservoirs flexibles pour tous types de données brutes, servant de base à l'exploration et au Machine Learning.

Maintenant que nous savons comment les données sont stockées, nous allons nous demander quelles sont ces données et d'où elles proviennent. L'objectif de cette leçon est donc d'identifier les principales sources de Big Data dans les services financiers. Comprendre l'origine des données est fondamental, car la nature de la source dicte souvent sa qualité, sa structure et le type d'informations qu'on peut en extraire.

Nous aborderons ce sujet en classant les sources de données selon deux axes complémentaires :

1. Interne vs. Externe : Les données sont-elles générées par l'institution financière ou proviennent-elles de l'extérieur ?
2. Traditionnelle vs. Alternative : S'agit-il de données classiquement utilisées en finance ou de nouvelles sources non conventionnelles ?

Cette double perspective vous donnera un cadre de pensée robuste pour analyser n'importe quel flux de données dans un contexte financier.

Le flux de données : de la source à l'analyse

Pour commencer, visualisons comment ces différentes sources alimentent les systèmes d'une institution financière.

Ce diagramme montre bien que les "matières premières" de l'analyse financière moderne sont extrêmement variées. Organisons-les de manière systématique.

Catégorie 1 : Sources de données internes vs. externes

La distinction la plus fondamentale est celle entre les données que l'entreprise contrôle directement et celles qu'elle doit acquérir. Le rapport de l'Autorité Bancaire Européenne (ABE) fournit un excellent cadre pour cette classification.

Pour commencer, je vous invite à lire un court extrait de ce rapport qui définit et illustre ces deux types de sources.

Synthétisons et développons les points clés de cette lecture.

Sources de données internes

Ce sont les données générées par les activités propres de l'institution financière. Elles constituent souvent le socle de l'analyse, car elles sont généralement de bonne qualité, pertinentes et directement accessibles.

Les principales sources internes sont :

• Données transactionnelles : C'est le cœur du réacteur. Chaque paiement par carte, virement, retrait au distributeur, ou transaction sur les marchés génère une donnée. Ces enregistrements, accumulés sur des années, forment des séries temporelles extrêmement riches pour analyser le comportement des clients et des marchés.
• Données de la relation client (CRM) : Il s'agit des informations que la banque détient sur ses clients : données démographiques, historique des contacts avec le service client, produits détenus (comptes, crédits, assurances-vie), etc.
• Données de crédit et de prêt : Incluent les dossiers de demande de prêt, l'historique de remboursement, les scores de crédit calculés en interne et les informations sur les garanties.
• Données de navigation (Web et mobile) : Le parcours d'un utilisateur sur le site web ou l'application mobile de la banque (pages visitées, temps passé, fonctionnalités utilisées) est une mine d'informations sur ses intentions et ses besoins.

Sources de données externes

Ce sont des données produites en dehors de l'institution, qui peuvent être publiques, achetées ou collectées. Elles sont essentielles pour contextualiser les données internes et obtenir une vue d'ensemble de l'environnement économique.

Les principales sources externes incluent :

• Données de marché financier : Cours des actions, indices, taux d'intérêt, volumes d'échanges, cours des matières premières. Ces données sont le pain quotidien de la finance, mais leur fréquence (souvent en temps réel, ou tick-by-tick) en fait un défi Big Data.
• Données publiques et statistiques : En tant qu'économiste, vous connaissez parfaitement ces données. Il s'agit des statistiques de l'INSEE, de la Banque Mondiale ou du FMI (chômage, inflation, croissance du PIB...). La nouveauté est leur intégration dans des modèles qui les croisent en temps réel avec d'autres types de données.
• Données des agences de crédit : Informations sur la solvabilité des individus ou des entreprises provenant d'organismes spécialisés (par exemple, la Banque de France pour le FICP).
• Données issues du web (News, Réseaux sociaux) : Articles de presse financière, communiqués d'entreprises, messages sur des plateformes comme X (anciennement Twitter) ou des forums spécialisés. Ce sont principalement des données non structurées dont l'analyse (par exemple, l'analyse de sentiment) est un enjeu majeur.
• Données de tiers : Données achetées à des entreprises spécialisées. Cela peut aller des données de géolocalisation anonymisées aux images satellites.

Catégorie 2 : Données traditionnelles vs. alternatives

Une autre grille de lecture, très utilisée par les analystes et les gérants de fonds, oppose les données "classiques" aux nouvelles sources de données, dites "alternatives". Cette distinction n'est pas exclusive de la précédente : une donnée peut être interne et alternative, ou externe et traditionnelle.

Le rapport de la Banque des Règlements Internationaux (BRI) sur l'usage du Big Data par les banques centrales illustre bien cette évolution.

Données traditionnelles

Ce sont les données utilisées depuis des décennies pour l'analyse financière et économique. Elles sont majoritairement structurées et proviennent de sources bien établies.

• Exemples : Rapports financiers des entreprises (bilans, comptes de résultat), données de marché en fin de journée, statistiques macroéconomiques officielles.

Données alternatives

Ce sont des données non-traditionnelles, souvent non structurées et issues de la digitalisation de l'économie, qui fournissent des signaux informationnels avant les sources traditionnelles. Leur exploitation est au cœur de l'innovation en finance quantitative.

• Exemples concrets :
  • Données transactionnelles agrégées : Des sociétés agrègent (de manière anonyme) des millions de transactions par carte de crédit pour estimer le chiffre d'affaires d'une chaîne de magasins bien avant la publication de ses résultats officiels. C'est un outil de nowcasting (prévision du présent) économique très puissant.
  • Images satellite : L'analyse d'images satellite permet de compter le nombre de voitures sur les parkings des supermarchés pour estimer leur fréquentation, de mesurer le niveau des réservoirs de pétrole pour prédire les stocks, ou de suivre l'avancée des chantiers de construction.
  • Données de géolocalisation : Issues des smartphones (anonymisées), elles permettent de mesurer les flux de personnes vers des zones commerciales, des usines ou des bureaux, donnant un aperçu en temps réel de l'activité économique.
  • Web Scraping : Collecte automatisée de données sur des sites web. Par exemple, suivre les prix de milliers de produits sur des sites d'e-commerce pour construire un indice d'inflation en temps réel, ou analyser les offres d'emploi pour mesurer la dynamique du marché du travail.
  • Analyse de sentiment sur les réseaux sociaux : Mesurer l'opinion et le sentiment des consommateurs ou des investisseurs à partir de millions de messages sur les réseaux sociaux.

Ces données alternatives permettent aux investisseurs de tenter de prendre un avantage informationnel, en agissant sur des signaux qui ne sont pas encore reflétés dans les données traditionnelles.

Conclusion

Aujourd'hui, nous avons cartographié le vaste territoire des sources de données en finance.

Les points clés à retenir sont :

• Les données financières proviennent de sources internes (transactions, CRM) et externes (marchés, web, gouvernements).
• On assiste à une explosion des données alternatives (satellite, géolocalisation, transactions web) qui complètent et parfois anticipent les données traditionnelles (rapports financiers, statistiques).
• La capacité à collecter, stocker (dans des data lakes) et analyser cette diversité de sources est devenue un avantage compétitif majeur pour les institutions financières.

Dans la prochaine leçon, nous passerons de la "matière première" à la "chaîne de production". Nous décrirons l'architecture de base d'un système Big Data, c'est-à-dire l'ensemble des technologies qui permettent de collecter, stocker, traiter et analyser ces immenses volumes de données. Cela nous permettra de connecter les concepts que nous avons vus jusqu'à présent (5V, types de données, data lakes) aux outils concrets du monde du Big Data.