Les étapes clés pour la création d’un Data Mesh
Au cœur de l’ère de la prise de décision axée sur les données, les entreprises exploitent la puissance des données pour stimuler la croissance et l’innovation. Dans un monde où le nombre de points de données explose, les architectures traditionnelles de données se transforment en des réseaux complexes de pipelines, de bases de données et de produits, dont la gestion et l’amélioration deviennent parfois ardues bien que leur utilisation efficace soit devenue un impératif stratégique.
Dans ce contexte est apparu le concept du Data Mesh, une convergence entre une architecture de données décentralisée et une approche repensée du développement des produits de données. Dans cet article, Elevate Agency, agence 100% Data et partenaire du salon Big Data & AI Paris 2023, vous propose une fiche pratique sur les principes fondamentaux pour mettre en place un Data Mesh dans votre organisation.
Etape 1 : Comprendre le Data Mesh pour accélérer la stratégie Data Driven des entreprises
La donnée constitue aujourd’hui un levier de croissance essentiel, et son utilisation efficiente dans les organisations est devenue un enjeu stratégique majeur.
Le nombre de points de données produit dans le monde est en constante augmentation, suivant une croissance exponentielle : Selon Seagate et l’International Data Corporation, ce sont 64 Zo de données qui auraient été produit dans le monde en 2020 et un volume près de 3 fois supérieur est attendu d’ici 2025, à 181 Zo par an.
Ainsi, les architectures de données deviennent des réseaux de pipelines, bases de données et produits complexes, dont le maintien et l’amélioration peuvent être délicats : Black box, Data Quality, Responsabilité et Documentation
Le Data Mesh est la combinaison d’une architecture de données décentralisée et d’un rapprochement du métier des produits Data développés par l’organisation pour résoudre ces nouveaux défis :
- Architecture de données décentralisée : Par opposition à une architecture monolithique, le Data Mesh divise la donnée en domaine d’activités, permettant à chaque département de disposer de la donnée dont il a besoin pour développer ses produits.
- Le métier, owner et moteur : Dans un Data Mesh, les équipes métier sont actrices et responsables de leur périmètre de données. En partenariat étroit avec les équipes techniques, ils forment des équipes autonomes qui sont en charge de la collecte, du traitement et de la publication de leurs données.
En adaptant l’organisation pour l’orienter vers une prise de décision Data Driven, le Data Mesh favorise l’innovation et la collaboration axée sur les données :
Une infrastructure rendue moins complexe : Le Data Mesh peut réduire la complexité des infrastructures en les fragmentant en sous-domaines constitués de pipelines, de bases de données et de produits simplifiés, car car ceux-ci correspondent à une activité et à un besoin précis
Réactivité élevée des équipes : Moins de pression sur une infrastructure technique et humaine centrale, qui constitue un goulet d’étranglement de l’ensemble des demandes.
Une responsabilité accrue : En déplaçant la responsabilité des données dans les domaines, le Data Mesh pousse l’ensemble des data owners à une plus grande responsabilité concernant la qualité et la fiabilité des données produites.
Accès plus rapide aux données : Les données et produits en libre-service dans chaque domaine permettent d’annuler toute dépendance à une équipe centrale.
Etape 2 : Créer ou adapter l’infrastructure et les technologies de l’entreprise au Data Mesh
Avant toute chose, le Data Mesh nécessite une plateforme de données existante avec des flux fonctionnels. Sur cette base, vous devrez définir une architecture “type” sur laquelle sera déclinée le Data Mesh. Elle comprend la création de Data Marts dédiés aux domaines que vous aurez identifiés. Le Data Mesh modifie également la manière d’accéder et de traiter les données dans votre organisation, et doit donc également être vu sous le prisme de la sécurité
Etape 3 : Définir une gouvernance des données et dessiner les responsabilités de chacun
La redéfinition des rôles et responsabilités est l’enjeu majeur de l’implémentation d’un Data Mesh. De nouveaux rôles doivent être créés dans l’organisation.
Chaque domaine défini devra constituer un noyau autonome composé d’un Data Domain Owner, de ses stakeholders, ainsi que d’une équipe transverse chargée du maintien des flux et de l’accompagnement des équipes. Le responsable du domaine de données en aura la charge du respect et de la définition des normes.
Une fois définies, ces équipes pourront constituer une documentation fidèle et des référentiels fiables, garantissant la confiance dans les Data Products qui en résulteront.
Etape 4 : Renforcer la collaboration et les modes de communication dans l’organisation
L’humain est au centre de cette transformation. Le Data Mesh favorise la décentralisation et l’échange, mais l’organisation doit également être actrice de ce changement.
C’est pourquoi votre capacité à créer un environnement encourageant une forte collaboration entre les différents domaines, et faire preuve de pédagogie et de transparence pour impliquer et mobiliser aussi bien les équipes techniques que les interlocuteurs fonctionnels sera un facteur clef de succès.
Organiser des échanges réguliers entre les Data Domain Owners, créer des instances dédiés à l’échange et au pilotage des projets en cours, pour favoriser l’innovation autour de sujets ou de ressources communes.
Etape 5 : Upskilling & Développement des compétences
Le Data Mesh constitue un changement de fonctionnement pour les équipes métiers, et la responsabilité d’un domaine sera une mission supplémentaire qui incombe à la personne désignée.
La création de ces nouveaux rôles dans les équipes doit se faire en s’assurant que le niveau de compétences requis est présent dans les noyaux autonomes que sont les Data Domains.
Cette montée en compétence peut se faire au travers de contributions réciproques des membres du Data Domain et des fonctions transverses (ex : Les bases d’un langage ou d’un fonctionnement technique transmises via un ateliers organisé à l’initiative de l’équipe technique) ou avec l’appui d’une structure externe, pour procéder à un bilan de compétences et combler les manques.
Etape 6: Suivre les impacts et mener des itérations
La mise en place d’un Data Mesh ne sera pas sans impact pour votre organisation :
- La création d’une infrastructure décentralisée avec de nouvelles plateformes de données peut engendrer des coûts supplémentaires
- La transition vers un Data Mesh nécessite un changement significatif dans la culture d’entreprise, et la création des domaines de données peut entraîner une fragmentation de l’information et une complexité opérationnelle accrue.
Il convient donc de mesurer régulièrement l’efficacité effective et perçue de ce changement et de l’adapter au besoin. La liste suivante n’est pas exhaustive mais permet de se doter des premières clefs de lecture sur la mesure de l’impact du Data Mesh :
- Intégration de nouvelles sources de données et maîtrise des coûts: Le temps d’intégration de nouvelles sources et leur coût associé sur le mode décentralisé sera un indicateur clef dans la mesure de l’impact du Data Mesh
- Délivrabilité et adoption des Data Products : Mesurer l’évolution du temps de livraison des produits entre l’expression de besoin et la mise en production, ainsi que le nombre d’utilisateurs récurrents de ces produits
- Data Quality : Une amélioration de la qualité (Précision, Complétude, Conformité, Cohérence, Fraîcheur) sera le signe positif d’une bonne implémentation du Data Mesh
- Innovation : Combien de nouveaux produits, nouvelles fonctionnalités ont été créés sur ce mode d’organisation ?
- Indicateur de performance métier : Reliez les métriques du Data Mesh aux indicateurs de performance métier spécifiques à votre entreprise, tels que le chiffre d’affaires, la satisfaction des clients, etc
- Satisfaction des équipes : Obtenez des retours d’expérience et d’opinion sur la nouvelle organisation, afin de s’assurer que les équipes adhèrent à cette transformation. Du côté opérationnel, la récurrence d’usage des produits développés et la baisse du nombre de tickets d’évolution et de bug sera un signal positif sur l’efficacité du Data Mesh
Photo de Marcel Strauß sur Unsplash
