Le data mesh n’est pas mort mais mal compris

L’architecture de maillage de données est apparue comme une alternative décentralisée aux lacs de données centralisés traditionnels.

Les lacs de données centralisés étaient censés rationaliser la manière dont les entreprises collectent, stockent et utilisent les données. Un seul endroit organisé pour tout. Cela ne s’est pas produit. Au fil du temps, les décideurs ont constaté que confier la propriété des données à une équipe d’analyse ou d’ingénierie distincte, très éloignée des personnes qui produisent réellement les données, ne fonctionnait pas. Ces équipes comprenaient rarement les détails des données, ce qui provoquait des goulets d’étranglement. Concrètement, les entreprises se retrouvaient avec des ensembles de données dupliqués, des problèmes de précision et des allers-retours incessants chaque fois qu’il fallait corriger quelque chose.

Le maillage de données renverse le modèle. Au lieu de tout stocker en un seul endroit, il redonne la responsabilité aux personnes les plus proches des données. Les équipes qui génèrent et travaillent quotidiennement avec les données sont celles qui les maintiennent et les distribuent. C’est plus efficace. Elles comprennent ce qui est important, ce qui change et comment les autres équipes utiliseront les données. Vous supprimez les couches inutiles entre les créateurs et les utilisateurs des données.

Au lieu que les équipes centrales modifient les structures de données chaque fois qu’une autre équipe a besoin de quelque chose de différent, les équipes sources créent des ensembles de données conçus pour être facilement accessibles et fiables. Cela permet de raccourcir les cycles de résolution des problèmes et d’accroître la confiance globale dans la fiabilité des données. Les équipes adaptent directement leurs propres ensembles de données et peuvent ainsi répondre plus rapidement aux besoins du monde réel.

Si vous dirigez une entreprise dont les décisions reposent sur des données propres, rapides et fiables, ce changement d’architecture est important. Elle permet d’alléger les opérations et d’obtenir des résultats plus rapides. Elle permet à l’analyse et à la prise de décision d’être plus proches du temps réel, au lieu d’être retardées par de longues chaînes de communication. C’est ainsi que la mise à l’échelle devrait fonctionner lorsque l’agilité est importante.

Le passage d’un contrôle centralisé à une appropriation locale de la stratégie des données peut sembler un changement opérationnel important, et il l’est, mais il permet de rendre le contrôle et le contexte aux personnes qui connaissent le mieux les données. C’est de là que viennent la rapidité et la précision.

L’enthousiasme initial pour le maillage des données s’est estompé lorsque des problèmes complexes de mise en œuvre sont apparus.

Beaucoup d’entreprises se sont précipitées sur le maillage des données en espérant obtenir des résultats rapides. L’architecture semblait prometteuse sur le papier : accès plus rapide à des données de haute qualité, moins de doublons, meilleure collaboration entre les équipes. Mais la plupart d’entre elles ont sous-estimé ce qu’il faut pour la mettre en œuvre correctement. Le maillage des données n’est pas quelque chose que l’on branche. Il exige des ajustements structurels, un alignement des équipes et un changement dans la façon dont les gens construisent et entretiennent les systèmes de données. Sans ces éléments, vous n’obtiendrez pas de transformation, mais de la confusion.

Le problème principal était une mauvaise exécution. De nombreuses équipes n’étaient pas formées à la gestion des données en tant que produits complets et réutilisables. La direction n’est pas toujours intervenue pour guider le processus ou définir des normes claires. En l’absence d’une approche unifiée, chaque équipe a commencé à résoudre les mêmes problèmes de manière isolée, en reconstruisant des tables, en effectuant des transformations redondantes et en gaspillant des ressources informatiques. Il en résultait des pipelines de données fracturés, plus de bruit que de signal, et des coûts d’infrastructure croissants.

Lorsque les règles centrales (cohérence du schéma, facilité de découverte, propriété) ne sont pas claires ou appliquées, le système commence à s’effondrer. Les tables manquaient de colonnes essentielles. Certaines ne pouvaient même pas être connectées entre les départements. Les équipes ont dû trouver des solutions de rechange. C’est à ce moment-là que la confiance s’effrite. Les retards, les problèmes de qualité des données, l’augmentation des coûts sont exactement ce que le maillage des données était censé éliminer.

Cela ne signifie pas que le concept est défectueux. Cela signifie que de nombreuses entreprises n’étaient pas préparées à le mettre en œuvre. Vous ne pouvez pas adopter un modèle décentralisé sans préparer vos équipes à y fonctionner. Pour cela, il faut une direction, des règles de propriété des données bien définies, des normes techniques et une coordination permanente. Sans cela, vous ne ferez que répéter les mêmes inefficacités structurelles dans un nouveau format.

Les chefs d’entreprise doivent placer la barre très haut en matière d’exécution. Le maillage des données n’est pas une installation facile à entretenir. Il est rentable lorsque vous développez l’état d’esprit et les processus qui permettent de le faire fonctionner. Il s’agit d’un investissement à long terme, et non d’une migration ponctuelle. Si vous sautez le travail de base, vous reviendrez au point de départ.

Le succès du maillage des données dépend d’un changement d’état d’esprit fondamental qui consiste à traiter les données comme un produit.

Le maillage des données ne fonctionne que si les équipes changent leur façon de concevoir les données. Il ne s’agit pas simplement d’informations passant par des pipelines, mais de quelque chose qui est construit, entretenu et amélioré avec une propriété claire. Cela signifie que les équipes qui produisent les données assument l’entière responsabilité de leur exhaustivité, de leur facilité d’utilisation et de leur fiabilité. Elles ne se contentent pas de publier des tableaux et de s’en aller. Elles les gèrent de manière à ce que d’autres unités commerciales, telles que la finance, les opérations ou le marketing, puissent utiliser les données sans nettoyage ou transformation supplémentaire.

Transformer les données en un produit de premier ordre oblige les équipes à travailler différemment. Lorsqu’elles conçoivent de nouveaux systèmes ou lancent des fonctionnalités, elles doivent tenir compte de l’impact en aval de chaque point de données. De quoi l’équipe d’analyse a-t-elle besoin ? De quelles mesures les services financiers dépendent-ils ? Sur quelles colonnes le marketing s’appuie-t-il pour suivre les résultats des campagnes ? Tous ces éléments doivent figurer d’emblée dans l’ensemble de données. L’objectif est d’éviter que d’autres équipes n’aient à créer leurs propres versions de ces données.

Ce changement exige une discipline à tous les niveaux. Les développeurs ne peuvent pas considérer les données comme un effet secondaire du développement de produits. Les dirigeants ne peuvent pas considérer la planification de l’infrastructure comme un centre de coûts. Traiter les données comme un produit signifie donner la priorité à l’accessibilité et à l’interopérabilité à long terme. Cela signifie que les équipes ont besoin de ressources, d’outils et de temps pour créer des éléments de données qui durent, des éléments qui peuvent être découverts, bien documentés, contrôlés par version et cohérents.

Pour un dirigeant de haut niveau, c’est important car lorsque les équipes chargées des données font bien les choses, l’entreprise avance plus vite. Il y a moins de malentendus, moins de retards dans les rapports et une plus grande confiance dans les chiffres. La livraison des produits devient plus efficace. Les équipes de science des données peuvent exécuter des modèles avec des données d’entrée propres. La conformité est plus facile. Vous bénéficiez d’un levier opérationnel durable car les décisions sont basées sur des ensembles de données fiables, qui n’ont pas fait l’objet de correctifs ou qui ont été constamment revalidés.

Le problème est que la plupart des équipes n’ont jamais été soumises à cette norme. Et si la direction ne renforce pas le principe selon lequel les données sont un actif à long cycle de vie, conçu, validé et entretenu, c’est tout le système qui s’effondre. Le maillage des données n’est pas qu’une question de structure. Il s’agit d’instaurer délibérément une culture dans laquelle des données de qualité sont fournies une fois et utilisées de nombreuses fois, dans toutes les fonctions, sans effort supplémentaire. Cela demande de la concentration et une réflexion à long terme.

Le maillage des données est plus efficace pour les grandes organisations

Le maillage des données n’est pas une solution unique. Pour les entreprises qui gèrent de petits ensembles de données avec des opérations simples, un lac de données centralisé est toujours valable. Il est simple, stable et peu exigeant en termes de maintenance. Mais l’échelle pose des problèmes. Dans les grandes entreprises, où de nombreuses équipes produisent, modifient et utilisent quotidiennement des ensembles de données qui se chevauchent, la centralisation crée des frictions. Elle ralentit l’accès, augmente la duplication et ajoute des couches de traduction entre ceux qui génèrent les données et ceux qui s’en servent pour prendre des décisions.

C’est là que le maillage des données fonctionne le mieux. Il permet aux équipes d’opérer avec plus d’autonomie. Les équipes sources construisent et maintiennent des ensembles de données complets qui répondent à toutes les exigences connues en aval, de la finance à l’analyse. Il n’est pas nécessaire de copier les données à plusieurs reprises ou d’ajouter des transformations par plusieurs départements. Cela permet de réduire les pertes de calcul, d’éliminer les incohérences et d’améliorer la fiabilité globale du système.

Les dirigeants doivent être très attentifs au degré de distribution de leurs opérations de données. Si plusieurs équipes internes apportent des modifications répétées aux mêmes ensembles de données ou construisent indépendamment des pipelines de données similaires, il s’agit d’un gaspillage opérationnel. Pas seulement sur le plan financier, mais aussi en termes de temps et de confiance. Les équipes centralisées ont rarement une visibilité complète des besoins de chaque fonction, ce qui entraîne des champs manquants ou des tables déconnectées entre les unités opérationnelles.

Le passage au maillage des données dans les environnements à grande échelle n’est pas seulement une question d’efficacité, c’est aussi une question de contrôle et de fiabilité. Les équipes travaillent plus rapidement lorsqu’elles n’ont pas à retravailler les mêmes données à plusieurs reprises. Les systèmes sont plus faciles à auditer. Les problèmes sont résolus plus près de la source, avant qu’ils n’affectent les rapports ou les analyses.

Les avantages sont également mesurables. Une grande banque a mis en place un maillage de données et a constaté une réduction de 45 % du temps nécessaire à l’exécution des tâches opérationnelles. Ce n’est pas marginal, c’est transformationnel. Lorsqu’elle est bien faite, votre infrastructure évolue sans se briser et les équipes utilisent mieux les données au lieu de passer des cycles à les réparer.

Pour les dirigeants, il ne s’agit pas seulement d’éliminer les points douloureux. Il s’agit de construire une fondation capable de soutenir la croissance à long terme sans être freinée par des opérations de données fragmentées. La valeur de cet avantage se traduit par des économies, des décisions plus rapides et moins d’opportunités manquées.

Principaux enseignements pour les dirigeants

• Le maillage des données résout le problème de l’échelle : Les dirigeants de grandes organisations devraient envisager le maillage des données lorsque leurs systèmes de données centralisés ralentissent l’innovation ou la précision, en particulier lorsque plusieurs équipes s’appuient sur des ensembles de données qui se chevauchent.
• L’exécution a tué l’élan : De nombreux échecs de maillage de données sont dus à une mauvaise planification des schémas, à une coordination limitée entre les équipes et à un manque de soutien de la part des dirigeants, et non à des failles dans le concept de base. Assurez une gouvernance et une formation solides dès le départ.
• L’esprit d’appropriation est le véritable verrou : Pour que le maillage des données réussisse, les décideurs doivent impulser un changement de culture dans lequel les équipes traitent les données comme un produit à long terme. Cela exige un engagement en faveur de la facilité d’utilisation, de l’exhaustivité et de la responsabilité des équipes.
• L’échelle exige une approche décentralisée : Les entreprises qui gèrent des flux de données complexes et volumineux gagnent en efficacité grâce à l’architecture maillée. Les dirigeants doivent agir lorsque la fragmentation et la duplication augmentent les coûts de calcul et retardent les décisions opérationnelles.