De l'entrepôt au data lake

La quantité totale de données créées, collectées, copiées et consommées dans le monde devrait augmenter rapidement, jusqu’à dépasser 180 zettaoctets (193 Milliards TO) d’ici à 2025(vs 64 zettaoctets en 2020). Toutes les entreprises sont désormais confrontées à ce phénomène de massification. Par conséquent, nombreuses sont celles qui ont désormais recours à des lacs de données (data lake), généralement en plus de leurs entrepôts de données existants (data warehouse), pour satisfaire leurs besoins de stockage et de gestion.

Pour rappel, un data warehouse est un dépôt centralisé de données structurées, optimisé pour l’interrogation et l’analyse. Il est généralement utilisé pour stocker des données provenant de sources multiples et fournir aux utilisateurs une vue unifiée de cette data à des fins de rapport et d’analyse. Les données d’un data warehouse sont généralement organisées de manière spécifique, par exemple à l’aide d’un schéma en étoile ou en flocon de neige, afin d’optimiser les performances d’interrogation.

Data model en étoile

Un data lake, quant à lui, est un référentiel centralisé qui stocke des données structurées et non structurées sous leur forme brute. L’idée derrière un data lake est de stocker toutes les données, quel que soit leur format ou leur structure, en un seul endroit afin qu’elles puissent être facilement étudiées et utilisées à diverses fins. Les données d’un data lake sont généralement stockées dans leur format brut et peuvent être transformées, enrichies et organisées ultérieurement.

Limite d'exploitation des lacs de données

Les data lakes présentent certaines limites qui doivent être prises en compte lors de la décision d’utiliser ceux-ci dans le cadre d’une architecture de données. Voici quelques-unes des principales limites :

• Complexité : Les data lakes peuvent être complexes à mettre en œuvre et à gérer, nécessitant des compétences spécialisées et une expertise dans les technologies de big data.
• Manque de gouvernance : Sans une gouvernance appropriée, les data lakes peuvent rapidement être encombrés de données dupliquées, non pertinentes ou de mauvaise qualité, ce qui rend difficile la recherche des données dont l’utilisateur a besoin.
• Performance : Les data lakes peuvent présenter des problèmes de performance lors de l’interrogation de grandes quantités de données non structurées, nécessitant un traitement et une indexation supplémentaires pour améliorer les performances des requêtes.

Sécurité des données : Les data lakes peuvent présenter des failles de sécurité, car ils peuvent stocker des données sensibles dans leur format brut, d’où l’importance de mettre en œuvre des mesures de sécurité appropriées.

Contrôle de la qualité : Les données dans un data lake sont généralement stockées dans leur format brut, sans aucun contrôle de qualité ou validation, d’où l’importance de mettre en place des processus pour garantir la qualité des données.

Ainsi, la mise en place d’un data mart est une solution à envisager pour faire face aux défis de complexité et de coûts inhérents aux data lakes et à l’exploitation de tables volumineuses.

Le data mart, un nouvel outil au service de la donnée ?

Un data mart est un sous-ensemble d’un data lake qui vise à répondre aux besoins d’une fonction, d’un service ou d’un secteur d’activité spécifique. Contrairement à un data lake, qui fournit une vue unifiée des données à l’échelle d’une organisation, un data mart est conçu pour répondre aux besoins d’un groupe spécifique d’utilisateurs ayant des exigences et besoins similaires en matière de données.

Un data mart contient généralement un sous-ensemble des données d’un data lake, mais les données sont optimisées pour les besoins spécifiques du département ou de la fonction commerciale qu’il sert. Par exemple, un data mart pour le département marketing peut contenir des données sur les clients, les produits et les ventes, tandis qu’un data mart pour le département financier peut contenir des données financières, budgétaires et de dépenses.

L’avantage de l’utilisation des data marts est qu’ils permettent aux départements et aux directions métiers d’accéder rapidement et facilement aux données dont ils ont besoin, sans avoir à passer par un data lake centralisé.

Cependant, les data marts peuvent également entraîner une duplication des données et des incohérences, car les départements peuvent avoir des définitions différentes pour les mêmes éléments de données. Pour atténuer ce problème, il est indispensable de disposer d’une architecture bien conçue qui comprend des processus de gouvernance et de gestion des données lors du cadrage du projet, en passant par la définition d’un data catalog pour étiqueter les informations utiles et d’un data glossary pour partager une définition commune des termes.

Le data mart comme outil d'activation des données

Construire un data mart à partir de données structurées ou semi-structurées d’un data lake permet une réduction drastique du “time-to-insight”, c’est-à-dire la vitesse à laquelle les données sont transformées en informations exploitables par les équipes métiers.

Le data lake sert de source de données pour le data mart, où les données brutes sont transformées et optimisées pour les besoins spécifiques de chaque fonction ou service de l’entreprise. Les entreprises peuvent ainsi profiter de l’évolutivité et de la flexibilité d’un data lake, tout en offrant un accès rapide et ciblé aux données pertinentes grâce aux data marts.

De cette façon, un data lake et un data mart peuvent fonctionner ensemble pour fournir aux organisations une architecture flexible et évolutive qui peut prendre en charge à la fois la volumétrie et les besoins d’analyse spécifiques.

Les data marts offrent plusieurs avantages lorsqu’il s’agit de gagner en vélocité, notamment :

1. Un accès plus rapide aux données : Les data marts ne contiennent que les données pertinentes pour une fonction ou un service spécifique, ce qui permet aux utilisateurs d’accéder plus facilement et plus rapidement aux données dont ils ont besoin. Cette vélocité accrue favorise donc une prise de décision data driven, rapide et précise.

1. Amélioration de la data quality : En se concentrant sur un périmètre spécifique au besoin de la fonction ou du service, le data mart permet de maîtriser finement la qualité de la donnée fournie, qui sera exempte de données dupliquées ou erronées.

1. Gestion simplifiée des données : L’exposition d’un volume réduit permet également de simplifier le management et la documentation des data points ou sources de données réduisant ainsi la charge et la complexité de leur exploitation.

1. Meilleure adoption par les utilisateurs : Chaque département ou direction métier est ainsi plus à même d’utiliser les outils créés sur la fondation du data mart, de part la pertinence, la véracité et la rapidité d’accès aux KPIs clés.

1. Une plus grande agilité : Cette architecture évolutive contribue à simplifier les itérations d’analyse et l’enrichissement des données, au gré de l’évolution des besoins du métier

En clair, les data marts peuvent fournir un moyen plus rapide et plus ciblé d’obtenir des informations à partir des données, en fournissant des données pertinentes et de haute qualité qui sont optimisées pour les besoins spécifiques de chaque fonction ou département de l’entreprise. Ils donnent aux organisations la capacité de répondre avec pertinence et vélocité à l’évolution des enjeux de leur activité, tout en favorisant l’adoption des outils qui en découlent.

En outre, ils contribuent à améliorer l’efficacité des processus en permettant aux utilisateurs d’accéder rapidement et facilement aux données dont ils ont besoin. Cela permet de réduire le temps nécessaire à l’exécution des tâches, ce qui peut entraîner une augmentation de la productivité et une réduction des coûts. En offrant aux utilisateurs une vue plus complète des données clients, les data marts peuvent contribuer à améliorer le pilotage des équipes métiers : finance, marketing, supply chain,… En ayant accès à leurs données, les entreprises peuvent rapidement répondre aux besoins de ces derniers.

Comment mettre en place un data mart dans une organisation

La construction d’un data Mart comprend généralement 5 étapes clefs :

1. Comprendre les besoins de la fonction ou du département qui utilisera le data mart. Élément essentiel du processus de construction de l’infrastructure, cette étape permet de cerner précisément le besoin et d’assurer la pertinence et l’adoption de l’outil produit en fin de chaîne en spécifiant les besoins sur un document.
2. Définir l’architecture du data mart, qui comprend les sources de données, le stockage, le traitement et les composants d’accès, le dictionnaire de données pour établir une définition commune entre les équipes métiers, mais aussi les outils d’intégration et de visualisation nécessaires à la réalisation du projet.
3. Après avoir défini l’architecture cible, les données pertinentes doivent être extraites, transformées et chargées dans le composant de stockage, en respectant les conventions de qualité et de gouvernance énoncées.
4. Une fois la donnée mise à disposition, la production des analyses et outils de monitoring est la dernière phase de construction à mettre en œuvre. Elle permettra aux utilisateurs d’accéder aux données et d’interagir avec elles : outils de visualisation, des tableaux de bord, des rapports, analyses ad hoc
5. Enfin, il est important de surveiller et de maintenir le data mart pour s’assurer qu’il fonctionne bien et que les données sont à jour. Il s’agit notamment de mettre régulièrement à jour les données, de contrôler leur qualité et de s’assurer que les outils d’accès et de visualisation fonctionnent correctement.

À noter, il est important de s’appuyer sur des experts data et de suivre les meilleures pratiques de gestion et de gouvernance des données pour garantir la réussite de la mise en œuvre de votre data mart.

Cela implique une compréhension claire des besoins de l’entreprise, une architecture

de données bien conçue, des processus efficaces d’intégration des données et de gestion de la qualité, ainsi qu’un suivi et une maintenance continue du data mart.

Les data marts améliorent la capacité d’une entreprise à détecter des leviers de croissance au travers de la mise en place d’outils permettant des prises de décisions rapides et data driven.

Contrairement à d’autres architectures data, ils favorisent également l’adoption des outils produits par les équipes data en contribuant à la maîtrise de la qualité et à la pertinence des analyses. Ils constituent enfin un outil essentiel pour s’adapter au changement et activer rapidement les use cases les plus pertinents au sein d’une organisation.