Ce que l’IA apporte vraiment à l’ingénierie des données

Les assistants de codage de l’IA permettent de développer rapidement des pipelines de données

L’ingénierie des données était autrefois lente et rigide. La plupart des entreprises avaient besoin d’équipes entières uniquement pour construire et maintenir les pipelines de données, DevOps, ingénieurs d’infrastructure, spécialistes sur appel. Cette situation a rapidement changé.

Grâce à la bibliothèque Python open-source de dltHub et aux assistants de codage IA, les développeurs peuvent désormais créer des pipelines prêts pour la production en quelques minutes. Les tâches qui nécessitaient auparavant des efforts d’ingénierie considérables sont gérées par de simples fonctions Python, complétées par des assistants de codage à grand modèle de langage (LLM). des assistants de codage de grands modèles de langage (LLM). Rien qu’en septembre, les utilisateurs ont créé plus de 50 000 connecteurs personnalisés à l’aide de cet ensemble d’outils. Cela représente une multiplication par 20 depuis janvier. Cette augmentation n’est pas due à un plus grand nombre d’ingénieurs. Elle est due à de meilleurs outils et à des flux de travail plus intelligents.

Le développement alimenté par LLM rend cela encore plus efficace. Les développeurs copient les messages d’erreur directement dans les outils d’IA, obtiennent des corrections en temps réel et déploient en quelques minutes. Pas de longues chaînes d’assistance. Pas d’attente. Juste des résultats. Lorsque la documentation est conçue pour l’interprétation LLM, la résolution des problèmes devient rapide et réutilisable, transformant des ingénieurs ordinaires en opérateurs à fort potentiel.

Ce que cela signifie pour l’équipe dirigeante est clair : réduire les goulets d’étranglement au niveau de l’infrastructure. Livrez plus rapidement. Remplacez la complexité par la clarté. C’est ce que ce changement apporte.

Matthaus Krzykowski, PDG et cofondateur de dltHub, va droit au but : « Notre mission est de rendre l’ingénierie des données aussi accessible, collaborative et sans friction que l’écriture en Python. » Ce changement, qui transforme ce qui était un domaine réservé aux spécialistes en quelque chose d’utilisable par n’importe quel développeur Python, est exactement ce dont les entreprises ont besoin pour avancer plus vite.

Hoyt Emerson, consultant en données et figure emblématique de la communauté des ingénieurs, l’a lui-même testé. En utilisant uniquement la documentation dlt, il a construit et déployé un pipeline de production complet depuis Google Cloud vers Amazon S3 et son entrepôt de données préféré, en cinq minutes. Pas de frais généraux spécifiques à la plateforme. Pas de configuration technique supplémentaire. C’est ce qu’il a appelé un « moment décisif ».

Le passage de flux de données centrés sur SQL à des flux de données natifs Python élargit l’accès des développeurs.

Les systèmes de données d’entreprise ont été construits autour de SQL. Cela a été logique pendant des décennies. SQL était l’outil de référence pour les analystes de données, les ingénieurs d’entrepôt et les systèmes de bases de données relationnelles. Mais aujourd’hui, c’est devenu une contrainte. Nous sommes à une époque où l’IA, l’automatisation et les flux de travail dynamiques sont à la pointe du développement. Et la prochaine vague d’ingénieurs n’est pas limitée par les systèmes existants, ils écrivent en Python, construisent des modèles et travaillent dans des carnets de notes.

C’est là que la plupart des entreprises se heurtent à un mur. L’ancienne méthode nécessite des connaissances approfondies en matière d’infrastructure, un verrouillage de la plateforme et des rôles spécialisés. La nouvelle méthode nécessite des outils qui s’alignent sur la façon dont les développeurs modernes travaillent. Des outils légers, flexibles et conçus pour l’automatisation. C’est exactement ce qu’offre la bibliothèque dlt.

Il remplace les flux complexes d’ingénierie des données par du code Python déclaratif, suffisamment simple pour être utilisé par n’importe quel développeur compétent. Si un développeur sait comment écrire une fonction, comprend les listes et les constructions Python de base, il est prêt à construire des pipelines de production. Il s’agit là d’un changement considérable.

M. Krzykowski souligne précisément ce point. Il a vu deux générations de développeurs sur le terrain : l’une maîtrisant le langage SQL et l’autre construisant des systèmes de bout en bout en Python avec l’IA au cœur. Le second groupe se développe plus rapidement. Ils ont besoin d’outils conçus pour la vitesse, la réutilisation et l’échelle, et non de plateformes qui attendent d’eux qu’ils copient l’architecture d’entreprise de 2005.

L’implication pour les responsables de haut niveau est simple. La contrainte qui pesait depuis longtemps sur les initiatives en matière de données, à savoir l’embauche de spécialistes de l’infrastructure difficiles à trouver, n’est plus un goulot d’étranglement. Les outils natifs de Python comme dltHub donnent à vos développeurs actuels la possibilité de construire, d’automatiser et de mettre à l’échelle des pipelines pour une fraction du coût et de la complexité.

Vous n’avez pas besoin de reconstruire votre stratégie de données du jour au lendemain. Mais vous devez l’aligner sur la façon dont vos équipes travaillent aujourd’hui, et non sur celle d’il y a dix ans. Telle est la décision que vous devez prendre.

L’architecture modulaire et agnostique de la plate-forme répond aux exigences des entreprises

L’évolutivité dans le domaine de l’ingénierie des données signifiait autrefois que l’on achetait une pile de fournisseurs et que l’on s’y tenait. Ce n’est plus le cas aujourd’hui. Aujourd’hui, les environnements d’entreprise sont hybrides, multi-cloud et évoluent rapidement. Si votre outil ne peut pas répondre à cette flexibilité, il devient une dette technique. dltHub a conçu sa bibliothèque avec une position forte sur l’interopérabilité. Elle fonctionne sur AWS Lambda, les piles sur site, Snowflake et plus encore, sans modification du code. Ce n’est plus optionnel, c’est fondamental.

Les entreprises qui adoptent les dlt bénéficient d’une architecture modulaire dès le départ. Changements de schéma ? Ils sont gérés automatiquement. Lorsqu’une source de données change de format, les flux de travail dlt ne s’interrompent pas, ils s’adaptent. Grâce au chargement incrémentiel, vous n’avez pas à tout retraiter, ce qui réduit le temps de calcul et les coûts. Combinés, ces éléments techniques permettent des opérations à l’échelle, mais sans complexité au niveau de l’échelle.

Ici, la flexibilité n’est pas synonyme de performance. Vous bénéficiez d’un déploiement indépendant de la plateforme, d’une intégration API REST avec plus de 4 600 sources et d’une structure optimisée pour un ajustement et une expansion rapides. C’est à cela que ressemble un logiciel qui ne vous enferme pas, et c’est pourquoi les équipes d’ingénieurs s’orientent vers des piles modulaires plutôt que vers des systèmes fermés.

Thierry Jean, ingénieur fondateur de dltHub, s’est attaqué directement à l’un des principaux problèmes : « La DLT dispose de mécanismes permettant de résoudre automatiquement les problèmes [d’évolution des schémas]. Elle pousse donc les données, et vous pouvez dire ‘Alertez-moi si les choses changent en amont’, ou simplement la rendre suffisamment flexible et changer les données et la destination de manière à s’y adapter. » Cela évite aux équipes des cycles de maintenance constants et leur permet de se concentrer sur les résultats plutôt que sur la lutte contre les incendies d’infrastructure.

Pour les dirigeants qui supervisent la transformation numérique ou la mise à l’échelle d’équipes de données dans plusieurs régions, c’est essentiel. L’architecture s’adapte. La charge de travail des talents est réduite. Et vos opérations de données deviennent plus faciles à exécuter sans acculer votre organisation au risque de plateforme.

L’adoption d’une pile de données composables, Code-First, révolutionne l’ingénierie des données.

Le paysage de l’infrastructure de données se sépare en deux voies claires. D’un côté, on trouve les plates-formes traditionnelles à interface graphique, Informatica, Talend et quelques services gérés plus récents. Elles sont conçues pour le contrôle et non pour l’itération. De l’autre côté, il y a les écosystèmes centrés sur le code et axés sur le développeur, conçus pour l’extensibilité, l’adaptation rapide et l’intégration directe de LLM. C’est là que dltHub opère.

La bibliothèque open-source dlt ne dicte pas comment construire votre pile. Elle fournit aux équipes de développement les éléments de base et leur permet d’assembler ce qui fonctionne le mieux. C’est le cœur de la composabilité : être capable de sélectionner, de connecter et de mettre à l’échelle uniquement les éléments dont vous avez besoin. Il en résulte une plus grande autonomie pour l’ingénierie, une moindre dépendance vis-à-vis des fournisseurs et des cycles d’itération plus rapides.

Si les plateformes traditionnelles proposent des modèles et des couches abstraites, elles ne suffisent pas lorsque les équipes souhaitent un contrôle fin ou ont besoin de construire des flux de données adaptés à leur cas d’utilisation. dlt ne limite pas la complexité, il simplifie la création. À l’heure où le développement est de plus en plus assisté par l’IA, cette différence est importante. Les LLM s’intègrent naturellement aux outils de codage comme DLT, ce qui rend l’automatisation évolutive et la réutilisation de la documentation élevée.

Il ne s’agit pas seulement d’un changement d’outil. Il reflète un changement plus large dans la manière dont les entreprises doivent aborder l’infrastructure de données. Il s’agit d’abandonner les environnements monolithiques tout-en-un au profit de composants de premier ordre faiblement couplés et alignés sur les besoins stratégiques. Il en résulte une flexibilité opérationnelle, ce que les piles traditionnelles n’ont jamais réussi à faire efficacement.

Matthaus Krzykowski, PDG de dltHub, a clairement indiqué la direction à suivre : « Les masters en droit ne remplacent pas les ingénieurs en données, mais ils élargissent radicalement leur champ d’action. Mais ils élargissent radicalement leur champ d’action et leur productivité. » C’est bien là l’essentiel. Il ne s’agit pas de remplacer les compétences, mais de les enrichir. Avec ce passage au code-first et au développement natif LLM, les équipes gagnent en rapidité, en précision et en réutilisation à chaque étape du cycle de vie du pipeline de données.

Pour les chefs d’entreprise, cela ouvre la voie à des décisions plus rapides, à des architectures reproductibles et à une réduction des risques d’intégration entre les départements et les systèmes. Le résultat net est une plus grande confiance dans vos opérations de données, une meilleure rentabilité et un levier technique plus fort.

Les outils de données compatibles avec l’IA offrent un avantage concurrentiel en termes de coûts et d’agilité.

Les modèles d’infrastructure de données traditionnels sont difficiles à maintenir et coûteux à faire évoluer. Ils nécessitent des ingénieurs spécialisés dans les données, une formation spécifique à la plate-forme et de longs cycles de déploiement. Ces modèles ne tiennent pas la route dans l’environnement actuel. Avec des outils compatibles avec l’IA et natifs de Python comme dlt, les entreprises peuvent combler le fossé entre la demande de données et la vitesse d’exécution, en utilisant les développeurs qui font déjà partie de leurs équipes.

Lorsqu’un développeur Python généraliste peut lancer un pipeline complet prêt pour la production sans l’aide de DevOps ou du service informatique, les coûts opérationnels diminuent et la vitesse de livraison augmente. Les équipes deviennent moins dépendantes des talents en ingénierie des données difficiles à recruter. Le résultat n’est pas seulement une rentabilité, c’est une agilité accrue. C’est un avantage stratégique dans tous les secteurs.

Cela a un impact sur la stratégie de recrutement, l’investissement technologique et la planification de l’exécution. Les organisations peuvent réaffecter des ressources clés en les détournant des frais généraux d’ingénierie de routine et en les orientant vers l’innovation à plus fort effet de levier. Cette réorientation minimise les goulets d’étranglement courants dans les flux de travail traditionnels, en particulier pour les équipes qui développent des pipelines de données en réponse aux cas d’utilisation de l’IA.

Pour les dirigeants, cela modifie le calcul risque-récompense. Les initiatives en matière d’IA ne nécessitent plus un investissement initial important dans une infrastructure personnalisée ou dans le recrutement. Vous évoluez avec l’équipe que vous avez déjà, en utilisant des outils qui s’alignent sur leurs flux de travail. Vous bénéficiez ainsi d’un avantage concurrentiel, non seulement en termes de capacités, mais aussi de rapidité de mise sur le marché de produits, de modèles et d’analyses.

Les entreprises qui s’engagent rapidement dans cette voie progresseront plus vite. Celles qui attendent ou s’accrochent à des systèmes obsolètes risquent de voir leur dette technique augmenter et leur rendement par ingénieur diminuer. L’avantage stratégique dépend de plus en plus de l’efficacité avec laquelle vous transformez les données en informations opérationnelles. Cette évolution de l’outillage permet d’obtenir ce résultat de manière prévisible, abordable et répétée.

L’investissement stratégique alimente l’expansion et le développement de la plateforme dltHub

Les chiffres ont leur importance. dltHub vient de lever 8 millions de dollars de fonds d’amorçage, sous la houlette de Bessemer Venture Partners. Ce capital permet de développer une plateforme hébergée dans le cloud qui élargit sa bibliothèque open-source pour en faire une solution d’infrastructure de données à grande échelle. Lorsqu’un produit est adopté rapidement et de manière significative par les développeurs, le financement suit. Dans le cas présent, ces fonds sont utilisés exactement là où ils devraient l’être, c’est-à-dire pour l’expansion d’une plateforme ciblée, et non pour une abstraction inutile.

La solution hébergée dans le cloud vise à assurer le déploiement, la gestion des pipelines, les transformations et les carnets de notes via une interface de commande unique. Pas de charge d’infrastructure. Pas de frais généraux. Juste l’exécution. La plateforme s’intègre aux systèmes de données existants sans friction, ce qui permet aux équipes Python de tenir la promesse de pipelines de données opérationnels à code bas.

C’est une bonne chose. Elle transforme un outil flexible à source ouverte en une capacité de bout en bout que vous pouvez exploiter dans un environnement d’entreprise. Elle s’aligne également sur les décisions d’achat modernes : les développeurs choisissent l’outil, les dirigeants optent pour la plateforme gérée lorsqu’elle permet de gagner du temps et de garantir l’évolutivité.

Matthaus Krzykowski, cofondateur et PDG de dltHub, a été très clair dans sa déclaration à VentureBeat : « Tout développeur Python devrait être en mesure de rapprocher ses utilisateurs professionnels de données fraîches et fiables. C’est dans cette direction que l’entreprise construit, une pile simplifiée qui donne la priorité à la vitesse d’exécution sans vous lier à un fournisseur ou à un système existants.

Pour les dirigeants d’entreprise qui évaluent les plateformes à soutenir ou à intégrer dans leurs écosystèmes de données, c’est important. La trajectoire de dltHub montre un fort alignement entre l’adéquation produit-marché, les capacités techniques et la confiance des investisseurs. Il ne s’agit pas d’un pari sur une tendance, mais d’une évolution vers une manière plus intelligente de construire et d’étendre les charges de travail de données. C’est là que l’avantage concurrentiel se déplace, et c’est pourquoi cette plateforme mérite l’attention des dirigeants.

Principaux enseignements pour les dirigeants

• Les assistants de codage IA accélèrent la livraison des données : Les équipes peuvent désormais créer des pipelines de données prêts pour la production en quelques minutes en combinant les assistants de codage d’IA avec la bibliothèque native Python de dltHub. Les dirigeants devraient investir dans des outils compatibles avec l’IA pour accélérer l’exécution et réduire la dépendance à l’égard de l’infrastructure.
• Les flux de travail natifs Python élargissent les capacités de l’équipe : Les systèmes lourds en SQL requièrent une expertise spécialisée, mais les outils natifs de Python permettent aux développeurs généralistes de s’approprier les flux de données de bout en bout. Les dirigeants peuvent débloquer la productivité en permettant aux développeurs existants de gérer le développement de pipelines sans dépendances héritées.
• La modularité protège contre le verrouillage des plateformes : l ‘architecture de dlt est agnostique au cloud, s’adapte aux schémas et est compatible avec plus de 4 600 API REST. Les dirigeants devraient privilégier les outils de données modulaires pour maintenir la flexibilité et l’évolutivité dans des infrastructures variées.
• Le code d’abord, les piles composables augmentent l’agilité : dlt soutient une stratégie de pile de données composable, donnant aux ingénieurs la liberté d’adapter et d’étendre selon les besoins. Les décideurs devraient favoriser les outils centrés sur le développeur qui évoluent avec l’IA et réduisent la dépendance à l’égard des plateformes fermées.
• Les outils démocratisés réduisent les coûts et la pénurie de talents : Les outils optimisés pour l’IA et natifs de Python réduisent les obstacles à la création de pipelines de production, réduisant ainsi la dépendance à l’égard d’embauches coûteuses et spécialisées. Les dirigeants de la suite peuvent améliorer la rentabilité et accélérer le déploiement de l’IA en équipant les équipes existantes de ces outils.
• Ce soutien est le signe d’un alignement solide sur le marché et d’une bonne préparation à l’avenir : Avec un financement de départ de 8 millions de dollars mené par Bessemer Venture Partners, dltHub évolue vers une offre de plateforme complète. Les dirigeants devraient surveiller les fournisseurs émergents comme dltHub qui alignent l’innovation technique sur l’évolutivité opérationnelle.