Skip to main content

Welcome to a Grasp lesson

Create a free account to keep studying and create your own study path.

Lesson 10

Cloud Computing's Role in Big Data Analytics

Recommended resources

Bonjour et bienvenue dans cette nouvelle leçon.

Introduction

Dans la leçon précédente, nous avons disséqué l'architecture d'un système Big Data, en examinant ses différentes couches fonctionnelles, de la collecte des données à leur analyse. Nous avons vu que des technologies comme HDFS et Apache Spark forment la colonne vertébrale de ces systèmes, qui étaient traditionnellement déployés "sur site" (on-premise), c'est-à-dire sur les serveurs propres de l'entreprise.

Cependant, construire et maintenir une telle infrastructure est une entreprise complexe, coûteuse et gourmande en expertise. Que faire si une banque, une fintech ou un fonds d'investissement n'a pas les ressources d'un géant de la technologie ? C'est précisément là qu'intervient le cloud computing.

L'objectif de cette leçon est d'expliquer le rôle du cloud computing comme catalyseur de l'analyse Big Data. Nous verrons comment le cloud a non seulement simplifié l'accès à ces technologies, mais a aussi démultiplié leur puissance, les rendant plus agiles, évolutives et économiquement viables pour le secteur financier.

Nous aborderons ce sujet en trois temps :

  1. Qu'est-ce que le cloud computing et quels sont ses modèles de service ?
  2. Pourquoi le cloud et le Big Data forment-ils une combinaison si puissante ?
  3. Comment cela se traduit-il en services concrets utilisés par les institutions financières ?

1. Qu'est-ce que le Cloud Computing ?

À son niveau le plus simple, le cloud computing consiste à accéder à des ressources informatiques (serveurs, stockage, bases de données, logiciels) via Internet, sur un modèle de paiement à l'usage, plutôt que de posséder et maintenir sa propre infrastructure.

Pour mieux comprendre les options disponibles, il est utile de distinguer les différents modèles de service. Un rapport du European Banking Federation Cloud Banking Forum les décrit très bien.

The use of cloud computing by financial institutions

Le document "The use of cloud computing by financial institutions" de l'EBF offre une excellente synthèse des concepts fondamentaux du cloud, spécifiquement pour le secteur financier.

Veuillez lire le chapitre 2, "Overview of cloud services" (pages 6 et 7). Concentrez-vous sur la distinction entre les modèles de déploiement (public, privé, hybride) et surtout les modèles de service : IaaS, PaaS et SaaS. Le diagramme "Hybrid Cloud Infrastructure" est particulièrement éclairant.

Pour résumer, on peut voir ces modèles de service comme un spectre de gestion déléguée :

  • Infrastructure as a Service (IaaS) : C'est le niveau le plus basique. Le fournisseur cloud vous loue l'infrastructure matérielle (serveurs virtuels, stockage, réseaux). C'est à vous d'installer le système d'exploitation et tous vos logiciels. C'est comme louer un local commercial vide : vous avez les murs et l'électricité, mais vous devez tout aménager.
  • Platform as a Service (PaaS) : Le fournisseur gère l'infrastructure et la plateforme logicielle (système d'exploitation, bases de données, serveurs web). Vous n'avez qu'à déployer et gérer votre propre application. C'est comme louer une cuisine professionnelle : tous les équipements sont là, vous n'apportez que vos ingrédients (données) et votre recette (code).
  • Software as a Service (SaaS) : Le fournisseur gère tout de A à Z et vous donne accès à un logiciel complet via votre navigateur. Votre suite bureautique en ligne ou votre logiciel de CRM en sont des exemples. C'est comme aller au restaurant : tout est prêt, vous n'avez qu'à consommer le service.
Advantages of Cloud Computing
Cette image résume les principaux avantages du cloud computing : flexibilité, réduction des coûts, scalabilité, optimisation énergétique, performance, et sécurité, qui sont les raisons fondamentales de son adoption pour le Big Data.

2. La synergie entre le Cloud et le Big Data

Le Big Data existait avant le cloud, mais c'est bien le cloud qui lui a permis de prendre son essor. Pourquoi ? Parce que le cloud répond directement aux défis posés par les "5 V" que nous avons étudiés.

Pour commencer, je vous propose de regarder une courte vidéo qui explique de manière très claire comment le cloud a levé les verrous qui freinaient l'exploitation du Big Data.

What Is Cloud Computing And How It Is Enabling The Big Data Economy

Dans la vidéo "What Is Cloud Computing And How It Is Enabling The Big Data Economy", Bernard Marr, un expert reconnu du domaine, explique de manière concise et percutante le lien fondamental entre cloud et Big Data.

Regardez la vidéo dans son intégralité (elle dure environ 4 minutes). Portez une attention particulière à la comparaison entre les anciens data centers (on-premise) et le modèle distribué du cloud, ainsi qu'aux notions de stockage illimité et d'analyse en temps réel.

Comme l'explique la vidéo, le cloud agit comme un formidable catalyseur pour le Big Data, principalement grâce à ces avantages :

Scalabilité et Élasticité

  • Scalabilité : Avec une infrastructure sur site, si vous avez besoin de plus de capacité de stockage ou de calcul, vous devez commander, installer et configurer de nouveaux serveurs, un processus qui peut prendre des semaines ou des mois. Dans le cloud, vous pouvez provisionner des ressources supplémentaires en quelques clics.
  • Élasticité : C'est la capacité non seulement d'augmenter les ressources (scale-up), mais aussi de les diminuer (scale-down) lorsque la demande baisse. C'est crucial en finance, où les charges de travail peuvent varier énormément (par exemple, lors de la clôture des marchés ou d'un événement économique majeur). Vous ne payez que pour ce que vous utilisez, ce qui évite le gaspillage de ressources sur-provisionnées.

Transformation du modèle de coût : de CAPEX à OPEX

Votre formation en économie vous rendra particulièrement sensible à ce point.

  • On-premise (sur site) : L'achat de serveurs et d'infrastructures représente une dépense en capital (CAPEX) massive et risquée, immobilisée avant même que le projet ne génère de la valeur.
  • Cloud : Le coût devient une dépense opérationnelle (OPEX), un "loyer" que vous payez en fonction de votre consommation. Cela abaisse considérablement la barrière à l'entrée pour l'expérimentation et le déploiement de projets Big Data. Une petite équipe peut lancer un projet avec un investissement initial quasi nul.

Le document de l'EBF que vous avez consulté précédemment souligne également très bien cette transformation et son impact positif sur le bilan des institutions financières.

Démocratisation de l'accès aux technologies de pointe

Les grands fournisseurs de cloud (Amazon Web Services, Microsoft Azure, Google Cloud) se livrent une concurrence féroce pour offrir les outils d'analyse de données et de Machine Learning les plus performants sous forme de services gérés.
Cela signifie qu'une banque régionale ou une startup fintech peut accéder aux mêmes algorithmes de détection de fraude ou de scoring de crédit qu'une banque d'investissement mondiale, sans avoir à recruter une armée d'ingénieurs pour les construire.

Un article de la Banque des Règlements Internationaux (BRI) illustre parfaitement comment une institution aussi sérieuse que la Banque du Canada utilise le cloud pour ses recherches.

Cloud computing research collaboration

Ce document, intitulé "Cloud computing research collaboration", montre comment une banque centrale, la Banque du Canada, utilise une plateforme cloud (Microsoft Azure) pour des analyses de données complexes.

Lisez l'Introduction (page 1) et la section 2 "Cloud Computing at the Bank of Canada" (page 2). Notez bien les avantages qu'ils citent par rapport à leur infrastructure traditionnelle (HPC on-premise) : l'informatique à la demande, la flexibilité et la facilité de collaboration.


3. L'architecture Big Data dans le Cloud

Comment l'architecture en couches que nous avons vue dans la leçon précédente se transpose-t-elle dans le cloud ? Les fournisseurs de cloud proposent un catalogue de services qui correspondent à chaque couche.

Prenons l'exemple d'Amazon Web Services (AWS), le leader du marché :

Couche d'architecture Technologies sur site (exemples) Services Cloud AWS équivalents Modèle de Service
Collecte/Ingestion Kafka, Flume Amazon Kinesis PaaS
Stockage HDFS (sur un cluster Hadoop) Amazon S3 (Simple Storage Service) IaaS
Traitement Apache Spark sur un cluster Amazon EMR (Elastic MapReduce) PaaS
Analyse (SQL) Hive Amazon Athena SaaS
Analyse (ML) Spark MLlib Amazon SageMaker PaaS/SaaS
Visualisation Tableau Server Amazon QuickSight SaaS

Le service Amazon EMR (Elastic MapReduce) est un exemple parfait de PaaS pour le Big Data. Il permet de lancer en quelques minutes un cluster Hadoop ou Spark préconfiguré, de la taille souhaitée, d'exécuter une tâche de traitement, puis d'éteindre le cluster pour ne plus payer. Cela incarne l'élasticité et le modèle OPEX.

Pour voir à quoi cela ressemble concrètement, une vidéo-tutoriel montre l'interface d'Amazon EMR.

Big Data In Cloud Computing | Cloud Computing For Big Data | Big Data With Cloud Computing

La vidéo "Big Data In Cloud Computing" d'Intellipaat est très longue, mais une section spécifique montre une démonstration de la création d'une tâche de traitement Big Data avec le service Amazon EMR.

Regardez uniquement la section qui commence à 1:32:24 et se termine à 1:36:32. L'objectif n'est pas de retenir les détails techniques, mais de visualiser comment un utilisateur peut configurer et lancer une tâche de traitement Big Data (un job MapReduce) via une interface web, en spécifiant les données en entrée (stockées sur S3), le code à exécuter et la puissance de calcul nécessaire.

Cette approche "à la carte" où l'on assemble des briques de services spécialisés est la marque de fabrique des architectures Big Data modernes dans le cloud.

Testez votre compréhension !

Une startup de la fintech souhaite lancer un service de conseil en investissement automatisé (robo-advisor). Elle a besoin d'analyser des décennies de données de marché (plusieurs téraoctets) pour entraîner ses modèles de Machine Learning. L'analyse est très intensive en calcul mais ne doit être effectuée qu'une fois par mois pour ré-entraîner les modèles.

En vous basant sur les concepts de la leçon, pourquoi le cloud est-il une solution bien plus judicieuse qu'une infrastructure sur site pour cette startup ?

Voir la réponse

Le cloud est idéal pour plusieurs raisons :

  1. Modèle de coût (OPEX vs. CAPEX) : En tant que startup, elle n'a probablement pas les fonds pour un investissement initial massif (CAPEX) dans des serveurs puissants. Le cloud lui permet de commencer avec un coût presque nul et de payer en fonction de son usage (OPEX).
  2. Élasticité : Le besoin en calcul est ponctuel mais intense (une fois par mois). Avec le cloud, la startup peut louer un cluster de calcul très puissant pour quelques heures, effectuer son analyse, puis l'éteindre. Elle ne paie que pour ces quelques heures d'utilisation. Sur site, les serveurs seraient inactifs 99% du temps, ce qui serait un gaspillage énorme.
  3. Accès aux outils : Elle peut utiliser des services de Machine Learning gérés (comme Amazon SageMaker ou Azure Machine Learning) sans avoir à gérer l'infrastructure sous-jacente, ce qui lui permet de se concentrer sur son cœur de métier : les algorithmes financiers.
  4. Scalabilité : Si son service connaît le succès et que la quantité de données à analyser augmente, elle peut facilement augmenter la taille de son cluster de calcul sans avoir à acheter de nouveau matériel.

Conclusion

Nous arrivons au terme de ce module sur les fondations du Big Data. Le cloud computing n'est pas juste un "plus" ; il est le moteur qui a rendu l'ère du Big Data possible pour la grande majorité des entreprises, y compris dans le secteur financier.

Les points clés à retenir sont :

  • Le cloud computing fournit un accès à la demande, flexible et payant à l'usage à des ressources informatiques via Internet.
  • Il résout les principaux défis du Big Data (coût, scalabilité, expertise) en transformant les dépenses d'investissement (CAPEX) en dépenses opérationnelles (OPEX) et en offrant une élasticité quasi-instantanée.
  • Il démocratise l'accès aux technologies de pointe (calcul distribué, Machine Learning), permettant aux institutions financières de toutes tailles d'innover.
  • Les architectures Big Data modernes sont construites en assemblant des services cloud spécialisés (comme S3 pour le stockage et EMR pour le traitement) qui correspondent aux différentes couches fonctionnelles.

Maintenant que nous avons une compréhension solide des concepts (les 5 V), des données (structurées, non structurées) et des infrastructures (architecture en couches, rôle du cloud), nous sommes prêts pour le prochain module. Nous y explorerons en détail les applications concrètes du Big Data en finance, comme l'amélioration de l'évaluation du risque de crédit, la personnalisation des services bancaires ou encore la détection de fraude.