Mit zunehmender Komplexität und wachsendem Volumen von Daten benötigen Unternehmen bessere Möglichkeiten, diese zu verwalten. Hier kommen Data Mesh und Data Fabric ins Spiel. Sie gehören zu den beliebtesten Konzepten des Datenmanagements der nächsten Generation. Beide haben ihre Stärken und Schwächen, ergänzen sich aber auch.
Wir schlüsseln diese beiden Konzepte auf und untersuchen, wie Sie diese Lösungen nutzen können, um Ihre Unternehmensdaten für bessere Entscheidungen einzusetzen.
Was ist Data Mesh?
Zhamak Dehghani definierte den Begriff Data Mesh erstmals 2019 als ein Konzept für das Datenmanagement, das auf vier Kernprinzipien basiert:
- Verantwortung für die Domäne
- Daten als Produkt
- Self-Service-Datenplattform
- Föderierte Governance für Rechenprozesse
Während das traditionelle Datenmanagementmodell auf einem zentralen Informationsspeicher beruht, verfolgt das Konzept des Data Mesh einen stärker verteilten Ansatz. Bei diesem Modell ist jedes Team bzw. jede Abteilung für die Verwaltung der eigenen Daten und die Schaffung eines föderierten Systems verantwortlich, das alle nutzen können.
Dieser Ansatz bietet mehrere Vorteile. Erstens trägt er dazu bei, die Genauigkeit und Aktualität der Daten sicherzustellen, da jedes Team für die Pflege seiner eigenen Datensätze verantwortlich ist. Außerdem fördert er Transparenz und Zusammenarbeit, da Teams sehen können, wie andere die Daten innerhalb der Organisation nutzen. Darüber hinaus macht Data Mesh eine zentralisierte IT-Infrastruktur überflüssig und bietet Unternehmen eine flexiblere und skalierbarere Möglichkeit zur Datenverwaltung.
Der Wert des Data-Mesh-Konzepts liegt auch in seiner Fähigkeit, eine zentrale, verlässliche Datenquelle für die Daten einer Organisation zu schaffen und gleichzeitig den einzelnen Geschäftsbereichen mehr Kontrolle zu geben. Dies hilft, Datensilos zu verhindern, und erleichtert die Steuerung und Verwaltung des gesamten Datenbestands der Organisation.
Darüber hinaus ermöglicht das Prinzip der Self-Service-Datenplattform Geschäftsanwendern einen einfacheren Zugriff auf die benötigten Daten, sobald sie diese benötigen. Dies kann dazu beitragen, die Entscheidungsfindung zu verbessern und die betriebliche Effizienz zu steigern.
Letztlich kann das Konzept des Data Mesh Organisationen, die ihre stetig wachsenden Datenbestände besser verwalten möchten, erhebliche Vorteile bieten.
Was ist Data Fabric?
Ein Data Fabric ist ein Designkonzept, das als integrierte Schicht (Fabric) aus Daten und verbindenden Prozessen dient. Gartner prägte den Begriff erstmals, und er hat sich zu einer beliebten Denkweise im Datenmanagement entwickelt.
Ein Data Fabric nutzt kontinuierliche Analysen bekannter, identifizierter und abgeleiteter Metadatenressourcen. Dadurch können Daten über mehrere Plattformen, Datentypen und Speicherorte hinweg geteilt und wiederverwendet werden.
Das Data Fabric greift auf menschliche und automatisierte Fähigkeiten zurück, um auf vorhandene Daten zuzugreifen oder gegebenenfalls bei deren Konsolidierung zu helfen. Durch die Identifizierung und Verknüpfung von Daten aus verschiedenen Quellen erkennt es eindeutige, geschäftsbezogene Verbindungen zwischen Datenpunkten verschiedener Anwendungen. Diese Erkenntnisse ermöglichen eine neu entwickelte Entscheidungsfindung, die durch schnellen Zugriff und schnelle Erfassung einen höheren Mehrwert schafft, als dies mit herkömmlichen Datenmanagementverfahren möglich wäre.
In einer typischen Konfiguration beginnt ein Data Fabric als passiver Beobachter der Datenpipeline. Mit der Zeit setzt es Funktionen der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) ein, um effizientere Methoden zur Datenverarbeitung vorzuschlagen.
Ein Data Fabric ist weder eine Datenpipeline, Data Warehouse, noch ein Data Lake. Es ist der nächste logische Schritt im Datenmanagement, der auf diesen Konzepten aufbaut.
Data Mesh vs. Data Fabric
Data Mesh und Data Fabric sind beides Ansätze zur Datenverwaltung, bei denen Governance, Auffindbarkeit und Wiederverwendung im Mittelpunkt stehen. Allerdings gibt es einige wesentliche Unterschiede zwischen den beiden Konzepten.
Ein Data Mesh ist ein Netzwerk aus Datenprodukten, von denen jedes einen klar definierten Eigentümer hat und über APIs (Programmierschnittstellen) zugänglich ist. Im Gegensatz dazu ist ein Data Fabric eine zentralisierte Plattform, die die Erstellung von Datenprodukten ermöglicht und Verbrauchern einen zentralen Zugriffspunkt bietet.
Wie eingangs erwähnt, ergänzen sich die beiden Konzepte jedoch und können nebeneinander bestehen. So kann ein Data Fabric beispielsweise dazu verwendet werden, Assets zu katalogisieren, sie in Produkte umzuwandeln und föderierte Governance-Richtlinien zu befolgen. Dadurch können Datennutzer die Datenprodukte auf verschiedene Weise verwenden, etwa indem sie Datenprodukte im Katalog veröffentlichen, nach ihnen suchen und Informationen zu Datenprodukten über APIs abfragen oder visualisieren.
Metadaten des Data Fabric können außerdem dazu verwendet werden, Muster im Produktionsprozess von Datenprodukten oder bei deren Überwachung zu erkennen und diese Aktivitäten anschließend zu automatisieren.
Warum sind Augmented Data wichtig?
Da Organisationen bestrebt sind, mit dem stetig wachsenden Datenvolumen Schritt zu halten, gewinnt Augmented Data Management zunehmend an Bedeutung.
Augmented Data Management hilft Organisationen, ihre Datenbestände besser zu verwalten, die Datenqualität zu verbessern und den Bedarf an manuellen Eingriffen zu reduzieren. Darüber hinaus kann Augmented Data Management eine einheitliche Sicht auf die Daten einer Organisation sowie die Automatisierung der Metadatenverwaltung und die Erstellung von Stammdatenmodellen ermöglichen.
In einer Zeit, in der Daten so schnell wie nie zuvor wachsen, bietet Augmented Data Management eine dringend benötigte Lösung, um mit der Nachfrage Schritt zu halten.
Die Nutzung dieser Datenmanagementkonzepte kann dazu beitragen, die Entscheidungsfindung zu verbessern, die betriebliche Effizienz zu steigern und Datensilos zu verhindern. All diese Faktoren sind in der heutigen Geschäftswelt wichtig und können Organisationen einen Wettbewerbsvorteil verschaffen.