Un lakehouse de données est un paradigme de gestion des données qui combine les fonctionnalités des entrepôts de données et des lacs de données au sein d'une plateforme unifiée afin d'optimiser le stockage des données structurées et non structurées.
Si les entrepôts de données constituent depuis longtemps la solution pour stocker les données structurées, l'explosion des volumes de données au cours des dernières décennies a conduit les lacs de données à stocker de vastes quantités de types de données uniques et non structurés.
Ce n'est que récemment que les principales entreprises de logiciels de base de données et de gestion du stockage ont commencé à développer et à commercialiser la toute nouvelle solution hybride destinée à gérer l'univers des données détenues par une organisation.
L'évolution des pipelines de données : des entrepôts aux lacs
Le développement des lakehouses de données résulte de l'évolution de la manière dont les entreprises et les centres de données gèrent des volumes croissants de données de types différents.
Avant de comprendre les lakehouses de données, les organisations doivent d'abord connaître leurs prédécesseurs : les entrepôts de données et les lacs de données.
Qu'est-ce qu'un entrepôt de données ?
Depuis les années 1980, les entrepôts de données sont des référentiels conçus pour stocker les données structurées utilisées à des fins de reporting et de décisionnel (BI). Les entrepôts de données standard reçoivent des données externes et opérationnelles filtrées par des logiciels d'extraction, de transformation et de chargement (ETL), qui transforment et stockent efficacement les données structurées dans un référentiel utilisant le même format de données.
Qu'est-ce qu'un lac de données ?
Il y a près de dix ans, James Dixon, directeur technique de Pentaho, a inventé le terme « lac de données » pour décrire un référentiel stockant les données dans leur format brut. Contrairement aux entrepôts de données, qui stockent les données structurées, les lacs de données contiennent tout l'éventail des données et des types de données structurés, semi-structurés et non structurés.
Bien qu'ils soient de plus en plus populaires dans de nombreux cas d'utilisation en entreprise, les lacs de données sont optimaux pour valider les applications de data science.base de données.
Comparez les meilleures solutions d'entreposage de données avec Druid ou Dremio sur TechRepublic.
Problèmes des entrepôts et des lacs de données
Problèmes des entrepôts de données : rigides et propriétaires
Parce que les entrepôts de données obéissent à des formats propriétaires stricts, ils ne prennent pas en charge le mélange de types de données nouveaux et différents, notamment les modèles vidéo, audio, de streaming et d'apprentissage profond comme l'intelligence artificielle (IA) et l'apprentissage automatique (AA).
Cette incapacité à gérer les données non structurées a poussé les entreprises à extraire et à stocker des données excédentaires, donnant naissance aux lacs de données.
Problèmes des lacs de données : anarchiques et peu fiables
Bien qu'ils offrent un stockage des données non structurées, les lacs de données sont connus pour devenir des marécages de données. Par rapport à l'efficacité attendue des entrepôts de données, les lacs de données ont tendance à fonctionner mal et peinent à prendre en charge les applications de BI.
Utiliser à la fois des entrepôts et des lacs de données : la duplication
Depuis l'arrivée des lacs de données, les organisations ont tenté de tirer parti des fonctionnalités des entrepôts et des lacs au moyen de deux systèmes et équipes différents. Les professionnels de l'informatique traditionnels et les administrateurs de bases de données gèrent l'entrepôt, tandis que les data scientists se concentrent sur l'exploitation du potentiel du lac.
Cette coexistence des entrepôts et des lacs de données au sein des organisations entraîne souvent une duplication des données, une reproduction des processus et une hausse des coûts. Le dernier paradigme permettant aux administrateurs de données de répondre à ces problèmes est le lakehouse de données.
Découvrez comment Databricks aide ses partenaires à exploiter sa plateforme lakehouse pour les services de données et d'IA sur Channel Insider.
Qu'est-ce qu'un lakehouse de données ?
Un lakehouse de données intègre des composants des entrepôts et des lacs de données afin de fournir aux administrateurs un référentiel unique pour la BI, la data science, l'apprentissage profond et l'analytique des flux de données. Avec les lakehouses de données, les administrateurs peuvent gérer tout l'éventail des données brutes grâce à une interface et à une gouvernance des données similaires à celles de la gestion traditionnelle des entrepôts de données.
Les fonctionnalités communément admises des lakehouses de données comprennent :
- Toutes les données (structurées, semi-structurées et non structurées) sont stockées dans un référentiel unique
- Une offre de streaming de bout en bout fournissant des informations en temps réel à partir du référentiel de données
- Un accès direct pour les administrateurs afin d'effectuer des opérations de lecture ou d'écriture sur les données
- Le découplage du calcul et du stockage pour assurer la scalabilité et les usages multiples
- La prise en charge des schémas pour établir la gouvernance des données
- L'indexation et la compaction des données pour accélérer les requêtes
- La prise en charge des transactions atomiques, concurrentes, isolées et durables (ACID)
En regroupant plusieurs systèmes – entrepôt(s) de données et lac(s) de données – au sein d'un lakehouse de données, les organisations peuvent simplifier l'administration des schémas et de la gouvernance des données, et réduire la redondance, la reproduction des processus et les frais généraux. À l'instar des lacs de données de l'ère du cloud, les lakehouses de données offrent un stockage peu coûteux et une grande scalabilité.
Principaux fournisseurs de lakehouses de données
| Cloudera | Couchbase |
|---|---|
| Databricks | DataStax |
| Dremio | IBM |
| Neo4j | Redis |
| Snowflake | TigerGraph |
Découvrez pourquoi IBM propose les meilleures solutions de data fabric de ServerWatch.
Les lakehouses de données : le meilleur des deux mondes
Les lakehouses de données offrent un pont permettant la collaboration entre les parties prenantes de la gestion des données d'une organisation. Bien qu'il s'agisse d'un concept récent, l'espoir d'une solution unifiée pour gérer les données structurées et non structurées demeure. Sur ce marché naissant, plusieurs fournisseurs de premier plan développent leurs fonctionnalités de lakehouse de données.
Surveillez les prochaines évolutions de la nouvelle génération de solutions de gestion des données.
Pour compléter cette présentation des lakehouses de données, voici les cinq éléments à connaître selon TechRepublic :
Couverture complémentaire
- Databricks ou Snowflake | TechnologyAdvice
- Principaux outils DataOps | IT Business Edge
- Meilleurs outils et logiciels d'analytique prédictive | TechRepublic
- Meilleurs outils et plateformes MLOps | IT Business Edge
- La consolidation des centres de données s'accélère avec les accords conclus par CyrusOne et CoreSite | Channel Insider
- Databricks acquiert 8080 Labs | TechnologyAdvice
- Databricks transforme les données en milliards | InternetNews