La maturité du streaming de données nécessite à la fois une technologie robuste et un changement de culture dans les organisations
Nous sommes à un tournant dans la manière dont les entreprises gèrent et agissent sur les données. Les technologies de base sont là, Kafka, les pipelines en temps réel, les architectures de streaming. Elles fonctionnent. Mais savoir comment les utiliser correctement est une autre histoire. Beaucoup d’entreprises traitent encore les données comme si elles étaient statiques. Cette approche n’est plus adaptée. Les données sont devenues un produit. Cela signifie qu’elles doivent être propres, contextuelles, réutilisables et, surtout, fiables.
Tim Berglund, de Confluent, a abordé la question lors de l « événement Data Streaming World qui s’est tenu à Melbourne. Il a déclaré que nous commençons à peine à prendre conscience de ce changement. C’est vrai. Vous pouvez disposer de l’infrastructure la plus avancée, mais si vos équipes ne pensent pas en termes de produits de données à long terme, vous allez introduire du bruit dans vos systèmes au lieu de créer de la clarté. Kafka, par exemple, facilite l » établissement de connexions entre les systèmes, mais sans surveillance, ces connexions créent le chaos. C’est ce qui se produit lorsque vous ne disposez pas d’une stratégie et d’une culture qui favorisent l’appropriation plutôt que la qualité.
C’est ce type d’état d’esprit, où les équipes façonnent les données en toute connaissance de cause, qu’il faut instaurer aujourd’hui. C’est ainsi que les entreprises cessent de réagir aux problèmes et commencent à construire des systèmes qui les devancent. Les dirigeants doivent soutenir ce changement en faisant preuve de cohérence et en donnant des orientations. Ce n’est pas facultatif. C’est la base de toute entreprise qui mise sur l’IA, l’automatisation et la prise de décision en temps réel au cours des cinq prochaines années.
Sans ce changement de culture, les données en temps réel ne sont que du bruit à grande échelle.
La gouvernance proactive et l’intégration de la sécurité (« shift left ») sont essentielles pour maintenir la qualité des données et l’efficacité opérationnelle.
Parlons de sécurité et de gouvernance. À l’heure actuelle, de nombreuses entreprises s’en préoccupent après coup. Elles construisent d’abord et se préoccupent des contrôles ensuite. Cette approche n’est pas viable. D’autant plus que les volumes de données augmentent et que la prise de décision en temps réel devient la norme, et non un bonus.
Tim Berglund a soulevé un point important : la gouvernance doit se rapprocher de la source de données. Il s’agit de simplifier le processus et de réduire la lutte réactive contre les incendies par la suite. Si vous définissez d’emblée l’accès, l’intégrité et le contrôle des versions, vos ensembles de données sont plus fiables pour les équipes de produits, les responsables de la conformité et les modèles d’IA. Il ne s’agit pas seulement de détecter les risques, il s’agit d’une question de santé mentale opérationnelle.
Les dirigeants devraient considérer cela non pas comme des frais généraux, mais comme un retour sur la résilience. Lorsque vous mettez en œuvre la gestion des accès, la validation et les règles de conformité à l’origine, vous réduisez la charge de travail des équipes de sécurité et éliminez les goulets d’étranglement dans les versions des produits. Ne considérez plus la gouvernance comme un obstacle. C’est un accélérateur lorsqu’elle est utilisée tôt et de manière stratégique. C’est là que réside l’effet de levier.
En la traitant comme une pierre angulaire de l’architecture, et non comme une couche supplémentaire, vous gagnez du temps, vous évitez des coûts et vos systèmes restent prêts à affronter la concurrence. Si vous n’en tenez pas compte, chaque nouvelle intégration devient un handicap. Fixez les attentes dès maintenant, et vous ouvrirez la voie à l’évolution sans échecs imprévus.
Les outils de l’écosystème basés sur les confluents unifient les environnements opérationnels et analytiques
Le véritable avantage des entreprises axées sur les données réside aujourd’hui dans la rapidité avec laquelle les équipes peuvent passer des événements bruts à des informations concrètes. Les systèmes de données opérationnelles génèrent ce flux en temps réel. Les systèmes analytiques en extraient la valeur. Historiquement, ils ont vécu dans des piles séparées avec des équipes différentes, des règles différentes et des calendriers différents. C’est inefficace. Aujourd’hui, cette séparation est en train de disparaître.
Confluent est au cœur de ce changement. Des outils comme Tableflow aident à traduire les sujets Kafka en formats analytiques modernes, Iceberg, Delta Lake, qui simplifient les requêtes temporelles et l’évolution des schémas. Cela aide les entreprises à relier les opérations en temps réel à des informations en temps quasi réel, le tout à partir d’un flux de données commun. Cela réduit la complexité, stimule la coordination entre les départements et abaisse la barrière à la création de nouveaux produits à partir de signaux en direct.
Tim Berglund a présenté Kafka comme un « substrat de données universel ». C’est exact. Le flux d’événements sous-jacent devient le tissu partagé entre les systèmes transactionnels et analytiques. L’impact est mesurable : retour d’information plus rapide, meilleure visibilité et moins de doublons. Plus important encore, cela permet d’aligner les personnes. Les développeurs, les analystes, les architectes commencent à parler à partir du même point de référence au lieu de travailler les uns contre les autres sur des calendriers décalés.
Pour les dirigeants, il s’agit de réduire les cycles entre la création de données et les résultats. N’attendez pas une infrastructure parfaite. Commencez par ce qui permet d’aligner les équipes et de réduire le temps de visibilité. Les environnements unifiés ne sont pas qu’une question d’outils. Il s’agit de la vitesse d’exécution.
L’ASX réorganise son infrastructure de données pour prendre en charge les transactions à haut volume et assurer une connectivité transparente des données entre les différents environnements.
Si vous gérez une plateforme critique à fort volume comme l’Australian Securities Exchange, une défaillance n’est pas seulement coûteuse, elle est inacceptable. La perte de données, les retards ou les interruptions de service peuvent se répercuter sur les marchés, les institutions et la crédibilité nationale. L’ASX l’a bien compris. C’est pourquoi elle a remanié son infrastructure de données autour d’Apache Kafka et de la technologie Confluent afin de garantir une intégrité élevée avec un volume important.
Sumit Pandey, directeur principal des données et de l’intégration chez ASX, a défini l’objectif : aucune perte de données, un temps de disponibilité de 99,95 % et un temps de récupération inférieur à deux heures. C’est ambitieux et nécessaire. La bourse traite jusqu’à 20 millions de transactions par jour. Leur nouveau système est conçu pour couvrir à la fois les environnements cloud et sur site, garantissant ainsi la résilience, quelle que soit l’origine des données.
Il s’agit d’assurer la pérennité d’une plate-forme économique essentielle. Ce qui est particulièrement convaincant pour les autres décideurs, c’est le retour sur investissement opérationnel direct : ASX a réalisé des économies de 20 à 30 % au cours des deux premières années qui ont suivi la mise en œuvre de la capacité de liaison entre clusters de Confluent.
Lorsque les systèmes prennent de l’ampleur, les méthodes traditionnelles d’intégration des données s’effondrent. Investir dans des capacités de streaming et de réplication spécialement conçues, comme l’a fait ASX, ouvre la voie à la transparence en temps réel et à l’innovation en matière de produits. Pour toute organisation gérant des volumes et des performances critiques, cela indique une direction claire : donner la priorité à une infrastructure qui évolue en fonction de l’intégrité, et pas seulement du coût.
La banque ANZ a utilisé une architecture pilotée par les événements et à faible latence pour améliorer les capacités d’analyse en temps réel et de détection des fraudes.
La vitesse, lorsqu’elle est appliquée aux bonnes données, change le mode de fonctionnement des entreprises. La banque ANZ l’a bien compris. Son besoin de détecter les fraudes en moins d’une seconde n’est pas une aspiration, c’est une nécessité opérationnelle. Pour répondre à cette demande, elle a restructuré son architecture pour qu’elle soit entièrement pilotée par les événements. Cela signifie qu’elle traite les données au fur et à mesure qu’elles se produisent, et non pas une fois qu’elles ont été stockées dans un entrepôt.
Louisa Leung, architecte de domaine pour l’intégration chez ANZ, a expliqué comment cette architecture améliore les résultats. Grâce à un maillage d’événements couvrant les environnements cloud et sur site, ANZ supprime le frein des connexions point à point. Au lieu de créer des liens personnalisés entre les systèmes, ils envoient les événements via une plateforme commune, ce qui rend les systèmes plus agiles et les cycles de réponse plus rapides.
Mais M. Leung a été direct : « Ce n’est pas simple ». Pour que cette approche fonctionne, les équipes ont besoin de normes de données cohérentes et de données de test de qualité. Sans cela, les problèmes de latence peuvent passer inaperçus jusqu’à ce qu’ils aient un impact sur les services à la clientèle ou la conformité. La gouvernance des données, la discipline des schémas et les stratégies de publication propre doivent être mises en place dès le début si l’on veut tirer pleinement parti des avantages en termes de performances dans tous les domaines.
Pour les cadres de la finance ou de toute autre activité de prise de décision en temps réel, le message est pratique. N’attendez pas que la latence devienne visible pour corriger votre architecture. Construisez des systèmes à faible latence dès le départ si la vitesse fait partie de votre modèle d’entreprise. Cela améliore la confiance, la sécurité et la résilience sans ralentir le changement.
La banque de Bendigo tire parti de la signalisation des coûts internes grâce à des tableaux de bord avancés pour promouvoir une utilisation efficace des ressources
L’infrastructure de données à grande échelle peut coûter cher, surtout lorsque l’utilisation des ressources n’est pas visible pour les personnes qui les consomment. La Bendigo Bank a adopté la bonne approche en établissant une boucle de rétroaction des coûts avant de mettre en œuvre des rétrocessions formelles. Il s’agit là d’un leadership intelligent et efficace en action.
Selon Dom Reilly, Service Owner of Databases and Middleware à la Bendigo Bank, l’équipe a construit un tableau de bord basé sur Splunk pour suivre l’utilisation des schémas, du stockage et des connecteurs gérés sur Confluent. Ce tableau de bord envoie un « signal de coût » aux équipes internes. Une fois que les ingénieurs ont vu d’où venaient les coûts, les comportements ont changé rapidement, les équipes ont commencé à supprimer les schémas inutilisés, à redimensionner l’utilisation des instances et à faire de meilleures prévisions.
Les données l’ont prouvé : donner aux équipes la transparence et le contrôle de leur propre consommation permet une efficacité immédiate. Reilly a confirmé que ces changements de comportement ont commencé avant le processus formel de facturation interne, qui débute en juillet. Cela signifie moins de surprises et des transitions plus fluides une fois que la responsabilité financière sera mise en œuvre.
Pour les dirigeants qui gèrent des environnements technologiques à plusieurs équipes, la conclusion est claire. La discipline en matière de coûts ne commence pas avec les finances, mais avec les données. Fournissez aux équipes des outils qui leur permettent de voir leur utilisation et leur impact. Combinez cela avec des mesures qui permettent de suivre les améliorations au fil du temps, et vous obtiendrez un comportement plus intelligent sans mandat. Contrôlez votre courbe de coûts, améliorez l’hygiène du système et évoluez de manière plus prévisible.
Virgin Australia améliore l’expérience client et l’efficacité opérationnelle grâce à la diffusion de données en temps réel.
Dans les secteurs où le temps et la réactivité sont essentiels, les données doivent évoluer au rythme des opérations. C’est ce que fait Virgin Australia. En intégrant Apache Kafka aux services gérés de Confluent, elle améliore la communication de ses systèmes centraux et apporte une visibilité en temps réel aux processus qui influencent directement l’expérience des passagers.
Nick Mouton, responsable de la plateforme d’intégration chez Virgin Australia, a expliqué comment l’entreprise utilise les données en continu pour optimiser des services tels que le suivi de la flotte, la localisation des bagages et le rebooking automatisé. Il ne s’agit pas de cas hypothétiques. Il s’agit de demandes opérationnelles essentielles qui ont un impact à la fois sur les coûts et sur la satisfaction des clients. En permettant aux équipes de réagir en temps réel, la compagnie aérienne garantit une prise de décision plus rapide et une meilleure prise en charge des passagers.
M. Mouton a insisté sur le fait qu’il fallait commencer par un cas d’utilisation bien défini et prouver la valeur dès le début. Ce conseil permet de réduire la complexité. Il n’est pas nécessaire de mettre en place tous les éléments architecturaux pour prendre de l’élan. Construisez là où l’impact est immédiat, puis développez à partir de là. Tim Berglund, de Confluent, a renforcé cette idée lors d’une discussion commune, affirmant qu’il est plus important d’apporter de la valeur de manière incrémentale que d’attendre que tout soit structurellement parfait.
Pour les cadres des secteurs du transport, de la logistique ou des services aux consommateurs, cette ligne de pensée est essentielle. La rationalisation des opérations par l’utilisation de données en temps réel entraîne des améliorations mesurables de la qualité du service, de l’utilisation des actifs et de la fidélisation des clients. Allez vite là où les gains sont évidents.
Livestock improvement corporation (LIC) a unifié des sources de données disparates en un seul système de traitement de flux gouverné afin d’obtenir des informations exploitables.
Le LIC opère dans un secteur qui dépend de recommandations précises et fondées sur des données, en l’occurrence l’agriculture et la santé animale. Auparavant, leurs données étaient fragmentées : l’analyse du lait, le séquençage génétique et le suivi biométrique se trouvaient dans des systèmes distincts. Cela ralentissait la production d’informations et compliquait la coordination entre les équipes de produits et d’ingénierie.
Aujourd’hui, grâce à une plateforme de streaming gouvernée par Confluent, LIC a consolidé ses pipelines opérationnels et analytiques en un flux unique et intégré. Cette configuration permet de fournir plus rapidement des informations aux éleveurs et d « éliminer les frictions dans les flux de travail internes. Les données produites par les colliers des bovins ou les laboratoires génétiques circulent dans une structure unifiée, permettant une analyse en temps réel qui améliore les stratégies d » élevage, la productivité et les résultats sanitaires.
Vik Mohan, technologue principal au LIC, a souligné la partie non technique de la transformation : l’alignement des mentalités des développeurs et des ingénieurs de données. C’est là que la plupart des organisations éprouvent des difficultés, non pas avec les outils, mais avec la manière dont les gens les utilisent. Lorsque les équipes travaillent à partir d’une plateforme commune, la collaboration s’améliore. La livraison des produits s’accélère. Les erreurs diminuent. Ce type de cohérence interne est souvent négligé.
Pour les dirigeants qui travaillent dans les domaines de la science, de l’agriculture ou d’autres environnements de données complexes, le succès de LIC montre qu’une transformation significative ne se limite pas aux industries natives du cloud. Lorsque les données sont unifiées et gérées correctement, les équipes agissent plus rapidement, les informations sont plus opportunes et l’entreprise fournit plus de valeur avec moins d’efforts.
Le bilan
Le streaming de données n’est plus une expérience tournée vers l’avenir. Il est actif, évolutif et donne déjà des résultats dans tous les secteurs d’activité. Mais les entreprises qui en tirent le plus de valeur ne se contentent pas de mettre en œuvre de nouveaux outils, elles remodèlent la façon dont les équipes pensent, opèrent et s’approprient les données.
Il ne s’agit pas d’une discussion sur les plates-formes. Il s’agit de précision, d’alignement et de rapidité. L’infrastructure est prête. Le chaînon manquant est souvent culturel. Les performances élevées sont obtenues lorsque les données sont traitées comme un produit, conçues, entretenues et possédées avec intention. Ce changement sépare les entreprises qui se contentent de déployer Kafka de celles qui construisent autour de lui des opérations intelligentes en temps réel.
Pour les dirigeants, la voie à suivre est claire. Encouragez les systèmes fondamentaux, mais attendez-vous à un changement de comportement en parallèle. Incitez à la qualité, liez le coût à l’utilisation et rapprochez la gouvernance de la création. Les données en continu ne sont pas complexes à cause de la technologie, mais parce que trop peu de gens construisent en pensant à l’ensemble du système. Il est possible d’y remédier.
Allez vite, donnez la priorité à la clarté et soutenez les équipes qui conçoivent avec impact. Le résultat n ‘est pas seulement la performance, c’est aussi l’agilité future.
