Extract, Transform and Load (ETL) et Extract, Load and Transform (ELT) sont les deux techniques les plus populaires pour extraire des données depuis une ou plusieurs sources et les intégrer à un système centralisé afin d’en faciliter l’accès et l’analyse.
ETL et ELT utilisent tous deux des phases d’extraction, de transformation et de chargement pour compiler les données. La différence réside dans l’ordre des opérations. Même si l’on pourrait penser qu’une petite modification de l’ordre des phases n’aurait pas d’importance, elle modifie en réalité radicalement le déroulement du processus d’intégration.
En bref, l’ETL traite les données provenant de plusieurs sources, puis les charge dans une base de données unique, tandis que l’ELT attend qu’elles aient été chargées avant de les traiter, ce qui permet de les transformer plusieurs fois selon les besoins.
Qu’est-ce que l’Extract, Transform, Load (ETL) ?
L’ETL est une méthode d’intégration des données qui permet aux entreprises de recueillir des données provenant de nombreuses sources et de les transférer vers une base de données de destination unique. Le processus ETL se compose de trois phases : l’extraction, la transformation et le chargement.
- Extraction : Des requêtes de base de données ou d’autres procédures de capture des données servent à extraire les données des systèmes sources, qui peuvent inclure des logiciels SaaS, Internet, des systèmes sur site, etc. Les données extraites sont ensuite envoyées vers une zone de transit.
- Transformation : Les données sont ensuite préparées pour être exploitées par un entrepôt de données, une base de données ou un lac de données et converties dans un format standard afin qu’une plateforme de business intelligence telle que Tableau ou Looker puisse les analyser.
- Chargement : Le système cible reçoit les données mises en forme. Cette procédure peut consister à ajouter du texte dans un fichier délimité, à créer des schémas de base de données ou à développer de nouveaux types d’objets applicatifs.
Qu’est-ce que l’Extract Load Transform (ELT) ?
L’ELT est une méthode d’intégration des données qui transmet les données d’un système source à un système de destination sans leur appliquer de modifications dictées par la logique métier. La procédure ELT se compose de trois étapes : l’extraction, le chargement et la transformation.
- Extraction : Plusieurs sources, telles que des applications, des services SaaS ou des bases de données, servent à extraire les données brutes.
- Chargement : Les données sont directement transmises au système de destination, et la procédure comprend généralement la transformation du schéma et des types de données.
- Transformation : Les données peuvent ensuite être transformées à des fins de reporting par la plateforme cible. Certaines entreprises utilisent des technologies comme dbt pour convertir la cible.
ETL ou ELT : similitudes
Avec les techniques ETL et ELT, les entreprises peuvent combiner les données provenant de plusieurs bases de données dans un référentiel de données unique, où elles peuvent être préparées et qualifiées de manière appropriée.
Pour l’analyse et les traitements ultérieurs, ce référentiel de données intégré offre un accès simplifié.
Il constitue en outre une source de vérité unique, garantissant l’exactitude et l’actualisation de toutes les données de l’entreprise.
ETL ou ELT : différences
Malgré ce qui semble être une modification mineure du processus, l’ETL et l’ELT présentent bien plus de différences que de similitudes. Le tableau suivant détaille ces différences :
| Paramètres | ETL | ELT |
|---|---|---|
| Processus | Le serveur de transit transforme les données, qui sont ensuite transmises à l’entrepôt de données (DWH) | Les données continuent d’exister sans être transformées dans le DWH |
| Utilisation du code | S’applique à de petites quantités de données ou à des transformations exigeant d’importantes ressources de calcul | S’applique à de grands ensembles de données |
| Temps de chargement | Processus long au cours duquel les données sont d’abord chargées dans le serveur de transit, puis dans le système cible | Processus plus rapide au cours duquel les données sont chargées une seule fois dans le système cible |
| Séquence de transformation | Les transformations sont effectuées dans la zone de transit du serveur ETL | Les transformations sont effectuées dans le système cible |
| Durée de la transformation | Le processus de chargement doit attendre la fin de la transformation. Cela augmente le volume des données et la durée de transformation | Dans le processus ELT, la vitesse ne dépend jamais du volume des données |
| Temps de maintenance | Le chargement et la transformation des données nécessitent un temps de maintenance important | Les données sont toujours disponibles dans l’ELT, ce qui réduit le temps de maintenance nécessaire |
| Complexité de mise en œuvre | Plus facile à mettre en œuvre à un stade précoce | La mise en œuvre de l’ELT requiert une connaissance approfondie des outils et une expertise spécifique |
| Prise en charge du DWH | Utilisé pour les données structurées et relationnelles ainsi que pour les infrastructures sur site | Utilisé pour les données structurées et non structurées dans une architecture cloud évolutive |
| Prise en charge des lacs de données | Non pris en charge | Utilise les données non structurées du lac de données |
| Complexité | Charge les données essentielles déterminées au moment de la conception | Le développement s’effectue à rebours à partir des résultats, et seules les données associées sont chargées |
| Coût | Coûteux pour les petites et moyennes entreprises | Les plateformes SaaS en ligne permettent de maintenir les coûts à un niveau bas |
| Recherches | La zone de transit doit disposer à la fois des faits et des dimensions | Comme l’extraction et le chargement ont lieu en une seule opération, toutes les données sont disponibles |
| Agrégations | La complexité augmente à mesure que des données sont ajoutées à l’ensemble de données | La plateforme cible peut traiter rapidement un volume considérable de données |
| Matériel | Peut être coûteux en raison des besoins matériels spécifiques des outils | Le coût du matériel SaaS n’est pas un sujet de préoccupation |
| Prise en charge des données non structurées | Les données relationnelles sont prises en charge dans la plupart des cas | Prend en charge les données non structurées |
ETL ou ELT : avantages et inconvénients
L’ETL et l’ELT présentent chacun des avantages et des inconvénients qui dépendent de la taille et des besoins de votre réseau d’entreprise. En général, l’ETL est un processus éprouvé, doté de solides protocoles de conformité, mais qui manque de rapidité et de flexibilité, tandis que l’ELT, technologie relativement récente, excelle dans la migration rapide de grands ensembles de données, mais n’offre ni la fiabilité ni la sécurité de son prédécesseur.
Avantages de l’ETL
Les avantages de l’ETL comprennent une analyse plus rapide, une grande flexibilité des environnements, une conformité fiable et un modèle mature.
- Analyse plus rapide : Les requêtes de données sont plus efficaces une fois que l’ETL a structuré et transformé les données, ce qui accélère l’analyse au niveau du point de terminaison.
- Flexibilité des environnements : L’ETL peut être appliqué à des infrastructures sur site comme à des infrastructures cloud.
- Conformité : Comme l’ETL transforme les données avant de les envoyer vers la zone de transit, il permet aux organisations soumises à des lois sur la confidentialité des données, comme le RGPD, de supprimer, masquer ou chiffrer les données critiques avant de les charger dans le DWH.
- Maturité : Le modèle ETL est utilisé depuis deux décennies. Cette expérience signifie que davantage d’ingénieurs disposent d’une expérience de mise en œuvre de l’ETL et que les entreprises ont accès à un plus grand nombre d’outils ETL pour créer des pipelines de données.
Inconvénients de l’ETL
Les inconvénients de l’ETL comprennent des vitesses de chargement lentes, un workflow rigide et des difficultés à gérer des volumes importants de données.
- Vitesse de chargement : Les données ne sont pas disponibles dans le magasin de données aussi rapidement qu’avec l’ELT, car elles doivent être converties dans une zone de transit avant d’être chargées, contrairement à l’ELT, qui les charge immédiatement après leur extraction.
- Rigidité du workflow : Il peut être nécessaire de modifier le processus de transformation et le schéma du DWH si la structure de l’entrepôt de données ne permet pas d’effectuer de nouvelles requêtes ou analyses jugées utiles.
- Volume de données : Compte tenu du temps nécessaire à la transformation, l’ETL n’est pas la meilleure méthode pour gérer de grandes quantités de données. Il convient plutôt à des ensembles de données plus petits qui nécessitent un traitement complexe et dont on sait qu’ils contiennent des informations utiles à l’analyse.
Avantages de l’ELT
Les avantages de l’ELT comprennent la flexibilité des formats de données et du moment de la transformation, ainsi que la rapidité de chargement et de mise en œuvre des données.
- Flexibilité des formats de données : L’ELT peut ingérer des données dans n’importe quel format lorsqu’il est utilisé avec un lac de données. Comme le lac de données n’accepte que des données non structurées, il n’est pas nécessaire de tenir compte des structures et des schémas.
- Transformation à la demande : Dans une architecture ELT, la transformation n’a lieu que lorsque l’analyse est nécessaire, plutôt qu’avant le chargement de toutes les données, ce qui permet d’utiliser les ressources plus efficacement.
- Haute disponibilité des données : Toutes les données sont placées dans le lac de données au moyen de l’ELT, ce qui les rend accessibles en permanence. Plutôt que d’attendre la transformation des données, les outils qui n’ont pas besoin de données structurées peuvent ainsi interagir instantanément avec les données importées.
- Vitesse de chargement : Les données sont versées dans le lac de données dès qu’elles sont disponibles, car la transformation a lieu « au repos », ce qui permet d’accéder rapidement aux informations.
- Vitesse de mise en œuvre : L’approche ELT peut être utilisée pour recueillir rapidement des données provenant de nouvelles sources et les stocker dans le lac de données, puisque la transformation est effectuée à la demande. Les ingénieurs des données peuvent ainsi déterminer les méthodes optimales pour interroger et analyser les données.
Inconvénients de l’ELT
Malgré ses nombreux avantages, l’ELT est une approche plus récente que l’ETL et peut se heurter à des problèmes de conformité et de compatibilité.
- Conformité : Même si les informations sensibles sont supprimées lors d’une transformation ultérieure, la réglementation peut interdire aux entreprises de les conserver. Certaines lois interdisant le stockage de données sur des serveurs situés en dehors des frontières d’une région ou d’un pays donné, l’intégration de l’ELT au cloud peut poser un second problème.
- Approche plus récente : Bien que l’ELT ne soit pas une technologie nouvelle, il s’agit d’un processus cloud natif et donc plus récent que l’ETL. Alors qu’il commence à être davantage adopté, il reste moins connu et moins largement applicable que l’ETL.
- Flexibilité des environnements : Bien qu’il soit théoriquement possible de l’utiliser dans un environnement sur site, les véritables avantages de l’ELT ne sont accessibles que lorsqu’il est associé aux capacités de stockage et de traitement du cloud.
- Vitesse d’analyse : L’ELT peut allonger le délai d’obtention d’informations utiles lors de l’examen de grandes quantités de données non structurées, puisque la transformation n’a lieu qu’après l’importation des données et lorsque l’analyse est nécessaire. La puissance de calcul offerte par le cloud peut toutefois atténuer ce problème.
ETL ou ELT : lequel choisir ?
L’ETL et l’ELT ont chacun des usages spécifiques pour l’intégration des données que vous cherchez peut-être à réaliser. Plusieurs facteurs, comme les données dont vous disposez, le type de stockage que vous utilisez et les besoins à long terme de votre organisation, peuvent influencer votre choix de la meilleure option pour vous.
Les techniques ETL et ELT permettent toutes deux d’améliorer la qualité et l’intégrité des données. La structuration des données en vue d’analyses et d’investigations approfondies constitue le principal atout de l’ETL, tandis que la rapidité et la prise en charge de différents types de données sont les principaux atouts de l’ELT.
L’objectif est de mettre en balance les avantages et les inconvénients des deux systèmes avec vos propres besoins afin de déterminer celui qui répond le mieux aux exigences et aux procédures de gestion des données de votre organisation. L’un comme l’autre éliminera les silos de données contraignants et offrira une visibilité à l’échelle de l’organisation.