Les data fabrics sont des constructions relativement récentes. Elles trouvent principalement leur origine dans la gestion des données, mais touchent également au stockage, à l’intégration des plateformes et à d’autres domaines. Elles fournissent un cadre d’architecture des données conçu pour rendre la gestion des données plus agile dans un environnement complexe, diversifié et distribué.
En savoir plus : Enquête sur les data centers : les pannes sont moins fréquentes, mais plus coûteuses
Qu’est-ce que la data fabric ?
Pour constituer une fabric, les données « doivent disposer de chemins redondants et ne pas dépendre d’une connexion point à point unique : si une connexion est saturée par les données ou indisponible pour une autre raison, d’autres chemins doivent permettre d’atteindre la destination », selon Datamation, qui compare les data fabrics à l’architecture d’Internet.
Cela dit, la data fabric reste un domaine émergent du paysage informatique ; les architectures et les approches varient donc considérablement. De nombreuses data fabrics utilisent des composants tels que la découverte des métadonnées, l’activation des métadonnées, le catalogage des données, l’utilisation de constructions de graphes de connaissances pour la modélisation sémantique et l’orchestration.
Voici plusieurs applications de la data fabric :
- Les données sources provenant d’entrepôts de données, de fichiers plats, de fichiers XML ou d’applications web peuvent être cataloguées dans la couche de catalogue de données et de métadonnées.
- Les graphes de connaissances connectés aux outils d’analyse peuvent activer les métadonnées dans la couche du graphe de connaissances et d’analyse des métadonnées.
- Les algorithmes d’IA et d’apprentissage automatique, enrichis par des métadonnées activées, peuvent contribuer à simplifier et à automatiser la conception de l’intégration des données.
- Les données peuvent être intégrées dynamiquement pour les utilisateurs de données et leur être fournies de manière à répondre à différents besoins d’utilisation.
- Les data scientists, les développeurs d’applications et les développeurs de BI obtiennent des données propres et exactes au moment où ils en ont besoin.
En savoir plus : Utiliser la sécurité Zero Trust pour protéger les applications et les bases de données
Les meilleures solutions logicielles de data fabric
ServerWatch a évalué de nombreux fournisseurs dans le domaine de la data fabric. Voici nos meilleurs choix, sans ordre particulier.
IBM
[image manquante]
IBM Cloud Pak for Data simplifie et automatise la collecte, l’organisation et l’analyse des données, accélérant le déploiement de l’IA dans toute l’entreprise. Il peut connecter les données où qu’elles se trouvent, exécuter des charges de travail n’importe où et créer, déployer et gérer l’IA à grande échelle dans des environnements cloud hybrides.
Principaux différenciateurs
- Fonctionnalités de gestion et de gouvernance des données fondées sur l’IA
- Orchestre et optimise le traitement des données en fonction des charges de travail, de la localité des données et des politiques de données
- Un cœur de connaissances fondé sur les métadonnées facilite la découverte des sources et des catalogues de données, enrichit les actifs de données et effectue des analyses pour en extraire des informations
- Le cœur de connaissances fournit également une recherche sémantique
- Permet la consommation des données en les extrayant, en les virtualisant, en les transformant et en les diffusant en continu
- Sélectionne les métadonnées, définit les politiques de confidentialité des données, sélectionne les données, retrace leur lignage et effectue d’autres tâches liées à la sécurité et à la conformité
- Les modèles analytiques de différents outils peuvent communiquer entre eux
TerminusDB
TerminusDB est une plateforme de gestion des données de graphes de connaissances orientée documents et basée dans le cloud. Elle associe la puissance des graphes de connaissances à la simplicité des documents.
Principaux différenciateurs
- Créer, exécuter, surveiller et partager des produits de données versionnés, spécifiques à un domaine et capables de se connecter à d’autres produits de données
- Contrôle des versions permettant aux équipes de données de collaborer simultanément sur le même actif
- Cataloguer le graphe de connaissances avec des métadonnées entre les documents et les sous-documents, ainsi qu’avec un historique complet des commits
- Le graphe de connaissances orienté documents peut disposer de plusieurs points de terminaison analytiques et d’API opérationnelles afin de maximiser l’impact et l’efficacité de l’IA et du ML
- Stockage de données immuable permettant de revenir à n’importe quel moment de l’historique des données
- Possibilité de créer un graphe de connaissances composé de documents JSON liés afin de représenter la structure et les relations des données
- Récupérer des données provenant de plusieurs sources, des data lakes aux fichiers plats
Talend
Talend Data Fabric est une plateforme unifiée d’ingestion, d’intégration, de gouvernance et de partage des données qui peut simplifier la création d’un hub de données. Le Talend Trust Score renforce cette orientation en fournissant une évaluation instantanée de l’état de vos données — leur qualité, leur pertinence et leur popularité.
Principaux différenciateurs
- Avec plus de 1 000 composants et connecteurs intégrés, les jeux de données peuvent être capturés, standardisés et nettoyés
- Les techniques de catalogage des données découvrent automatiquement les données entrantes, en établissent le profil, les documentent et les catégorisent
- Les outils en libre-service ingèrent les données depuis presque toutes les sources, et les fonctionnalités intégrées de préparation garantissent qu’elles sont rapidement exploitables
- La gouvernance des données s’applique à la propriété, à la certification, à la gestion et à la remédiation des données
- Vérifications automatisées de la qualité et outils de partage et de capture dans le navigateur, fonctionnant par pointer-cliquer
- Les profils Data Quality nettoient et masquent les données en temps réel
- L’apprentissage automatique génère des recommandations pour résoudre les problèmes de qualité des données
- Les données peuvent également être enrichies par l’analyse, en exploitant des outils tels que Spark, Python, Databricks, RapidMiner et Qubole
- Le Talend Trust Score offre une visibilité sur la fiabilité de n’importe quel jeu de données
NetApp
NetApp fournit les technologies et l’expertise nécessaires pour créer une data fabric et élaborer une stratégie adaptée à des exigences et objectifs distincts. NetApp offre une visibilité sur l’ensemble de la pile grâce à des visualisations et à des outils permettant de remédier automatiquement aux problèmes.
Principaux différenciateurs
- Les intégrations réunissent les points de terminaison de la data fabric afin de tout surveiller et gérer depuis un panneau de contrôle unique
- Les automatisations réduisent le nombre de tâches manuelles, du développement et des tests jusqu’au provisionnement
- Les outils optimisent en continu l’infrastructure et permettent sa mise à l’échelle
- Les solutions de sauvegarde et de restauration simplifient la protection des données de bout en bout en cas de panne, de sinistre ou d’attaque par rançongiciel
- L’IA est utilisée pour assurer la sécurité
- Transferts de données efficaces pour la sauvegarde et la restauration dans le cloud
- Possibilité de déplacer facilement les données vers et depuis des clouds hyperscale
- Possibilité d’éliminer les silos en permettant aux données de circuler lors du déplacement des applications
- Une architecture Software Defined unifiée, afin que la gestion des données reste cohérente entre les services cloud
SAP
La solution de data fabric d’entreprise de SAP regroupe des fonctionnalités de la SAP Business Technology Platform, articulées autour de SAP Data Intelligence, et de SAP HANA. SAP Data Intelligence permet de gérer les flux de données IoT, de créer des entrepôts de données et de mettre en œuvre un apprentissage automatique évolutif. Il permet aux applications métier de gérer, d’intégrer et de traiter l’ensemble des données et métadonnées de l’entreprise de manière globale et unifiée. Il fournit des fonctionnalités en libre-service pour la préparation des données, la gestion active des métadonnées et la qualité des données.
Principaux différenciateurs
- Effectuer des actions sur les colonnes, dériver de nouvelles informations, harmoniser des sources disparates, fusionner ou combiner plusieurs jeux de données
- Un catalogue de données identifie automatiquement les contenus, tels que les types de données ou les informations personnelles, et balise les informations correspondant à ces types de contenu lors de l’extraction des métadonnées
- Les moteurs de graphes peuvent être utilisés pour identifier et intégrer les données connectées
- Analyser, standardiser et valider des attributs tels que le nom et l’adresse ; effectuer du géocodage ; identifier les doublons et les relations entre les entités
- SAP HANA peut virtualiser l’accès aux données afin de fédérer les requêtes vers des sources de données externes, telles que d’autres bases de données, des services web, des fichiers, Apache Hadoop et Apache Spark, et d’exécuter des requêtes sans déplacer les données
Informatica
Informatica peut mettre à l’échelle n’importe quelle charge de travail d’entreprise grâce à un traitement élastique et serverless, afin d’obtenir rapidement des informations lors de l’application de l’IA et du ML aux données et aux métadonnées. Au cœur de la solution se trouve un moteur d’IA appelé CLAIRE, capable d’apprendre le paysage des données pour automatiser des milliers de tâches manuelles et renforcer l’activité humaine grâce à des recommandations et des informations.
Principaux différenciateurs
- Peut exécuter, interopérer avec et prendre en charge toute combinaison d’infrastructures cloud et hybrides
- Expérience low-code/no-code offrant sécurité, qualité des données, gouvernance des données et confidentialité
- Plus de 200 services de données proposés
- Optimiser les performances grâce à une surveillance opérationnelle pilotée par l’IA et le ML et à des informations prédictives
- Gestion des données cloud de bout en bout et architecture de microservices
Komprise
Komprise Intelligent Data Management crée un index global de métadonnées capable d’analyser les ressources de stockage dans plusieurs data centers et clouds. Il permet aux équipes de stockage de collaborer avec les propriétaires des données pour définir des politiques de gestion optimales, classer par niveaux ou archiver les données rarement consultées, mais aussi migrer, répliquer ou identifier les données obsolètes à supprimer.
Principaux différenciateurs
- Peut être déployé en SaaS, sur site ou en mode hybride ; la console d’administration et l’index de métadonnées sont gérés dans le cloud, tandis que les agents de déplacement des données sont déployés à proximité des données
- Transparent Move Technology (TMT) permet à Komprise de déplacer les données tout en maintenant un accès transparent pour les utilisateurs finaux et les applications, sans installer d’agents ni de stubs propriétaires
- Elastic Grid, composé d’agents de déplacement des données sans état (Observers), peut maintenir l’accès au système de fichiers après le déplacement vers des cibles de stockage secondaires, telles que le stockage cloud
- Les actions Deep Analytics éliminent le travail manuel nécessaire pour trouver des jeux de données personnalisés et les déplacer séparément depuis différents silos de stockage
Storage Made Easy
Storage Made Easy Enterprise File Fabric fournit une gouvernance multicloud, ainsi que des fonctionnalités de conformité et de cybersécurité. Elle inclut des connecteurs de stockage et des moyens de renforcer les environnements de stockage distants et hybrides. Cela comprend SMBStream, indépendant du filer et compatible avec les NAS sur site ou les partages de fichiers Windows, ainsi qu’avec les partages Server Message Block (SMB) dans le cloud, tels que Nasuni, Amazon FSx ou Azure Files.
Principaux différenciateurs
- Une instance de File Fabric peut se connecter de manière sécurisée aux partages SMB sans être colocalisée sur le même réseau, ce qui permet une connectivité intersites et interrégionale
- Serait 10 fois plus rapide qu’un VPN classique et tolère une latence élevée ainsi que les pertes de paquets
- L’intégration à Microsoft Teams permet d’accéder aux partages de fichiers existants et à d’autres services de stockage, tels qu’Amazon S3 / FSx et Azure Blob, directement intégrés à Microsoft Teams
- AutoCAD Previewer permet au gestionnaire de fichiers web de prévisualiser les fichiers AutoCAD stockés sur un stockage de fichiers distant et un stockage objet
- Les règles d’automatisation des données permettent de transcoder automatiquement les fichiers importés ou détectés et de déclencher des webhooks fournis par l’utilisateur lorsque du contenu répondant aux critères est détecté
- Le partage sécurisé de liens permet de partager des liens avec des utilisateurs nommés (externes), de procéder à des vérifications en deux étapes du partage de liens et de renforcer les contrôles des politiques
- Authentification par signature unique pour les utilisateurs finaux accédant aux ressources partagées SMB
- Recherche dans l’intégralité du contenu de plus de 60 solutions de stockage sur site et dans le cloud
Quels sont les avantages d’une solution de data fabric ?
Les data fabrics offrent de nombreux avantages aux entreprises :
- Elles facilitent une meilleure utilisation des données dans l’entreprise en fournissant un accès instantané.
- Les data fabrics sont agnostiques. Elles tissent des liens entre les données réparties sur de nombreuses plateformes, architectures, processus, utilisations et zones géographiques.
- Elles améliorent la prise de décision en fournissant des données prêtes à l’emploi pour les applications, l’analytique et divers processus métier.
- Elles permettent à l’IT de simplifier la gestion et la gouvernance des données même lorsque celles-ci existent dans des environnements complexes, tels que des paysages hybrides ou multicloud.
- Elles offrent une vue unique des données de l’organisation, en rassemblant les données provenant de nombreuses sources et en les cataloguant.
- L’intégration de l’IA et de l’apprentissage automatique dans les couches de la data fabric permet de déterminer les besoins en données, et d’améliorer les temps de requête.
À lire ensuite : Les meilleurs outils et solutions d’entrepôt de données