Der Data Analytics Stack besteht aus mehreren Schichten: Extrahieren, Laden, Transformieren, Analysieren. Unternehmen haben mehrere Software-Alternativen, die sie nutzen können, um Analysten Daten extrahieren und laden und Analysen durchführen zu lassen, die Transfomationsphase erfordert jedoch immer noch spezielle Fachkenntnisse. Um Daten zu transformieren, brauchen Sie einen Data Engineer oder Datenbankadministrator, der weiß, wie relationale Datenbanken funktionieren – aber diese Umwandlungsarbeit muss kein manueller Prozess sein, den ein DBA bei jedem Projekt neu erstellt.

dbt ist ein Datentransformations- und Modellierungstool von dbt Labs, ehemals Fishtown Analytics. dbt ist ein Open-Source-Tool auf SQL-Basis, das die Datentransformation vereinfacht und sich durch seine Fähigkeit auszeichnet, den Prozess der Datentransformation und den Aufbau von Datenpipelines zu beschleunigen.Die Benutzer modellieren ihre Daten mit SQL SELECT-Anweisungen, erstellen Beziehungen und Abhängigkeiten zwischen den Modellen und setzen diese Modelle dann als Tabellen und Ansichten in einem Data Warehouse um. Von dort aus ist es eine einfache Aufgabe, die Modelle in Business Intelligence umzuwandeln.

[CTA_MODULE]

Was ist Datenmodellierung?

In der Datenanalyse ist die Datenmodellierung der Prozess, bei dem Daten aus verschiedenen Quellen geordnet werden. Das bedeutet, dass Tabellen aus verschiedenen Schemata oder sogar Datenbanken in eine einzige Ansicht oder Tabelle umgewandelt werden, die ein Geschäftssystem oder einen Prozess beschreibt. Wenn Sie die Daten erst einmal modelliert haben, ist es viel einfacher, daraus einen Wert abzuleiten, entweder in Form von Berichten oder Dashboards oder als Grundlage für prädiktive oder präskriptive Analysen.

Ein dbt-Projekt ist ein Verzeichnis mit SQL- und YAML-Dateien, die zur Transformation Ihrer Daten verwendet werden. Die YAML-Datei enthält Informationen zur Projektkonfiguration. Jedes Modell enthält eine einzelne SQL SELECT-Anweisung, die Daten auf irgendeine Weise transformiert.

SQL ist seit Langem die Sprache der Wahl für Analysten, die Transformationen entwickeln und Analysen durchführen. Die Entscheidung von dbt, dass eine Modelldatei eine SQL SELECT-Anweisung ist, bedeutet, dass Analysten keine neue Sprache und kein neues Tool erlernen müssen und Daten auf dieselbe Weise wie bisher transformieren können. Die Verwendung von SQL ermöglicht eine einfache Zusammenarbeit und ein besseres Verständnis Ihrer Transformationen.

dbt-Pakete sind eigenständige dbt-Projekte, die sich die Modularität der Projekte zunutze machen, um Module, die einen bestimmten Problembereich behandeln, für die spätere Verwendung bereitzustellen, ähnlich wie eine Code-Bibliothek. Diese Pakete enthalten vorgefertigtes SQL, wodurch die Notwendigkeit, Transformationen von Hand zu programmieren, drastisch reduziert wird. Fivetran entwickelt und pflegt quelloffene dbt-Pakete, die als Datenmodelle bekannt sind und Daten aus Einzelschema- und Multi-Schema-Datenquellen modellieren. Diese Fivetran dbt-Pakete schöpfen das Potenzial der Prinzipien der Datenmodellierung und die Modularität des Codes aus, um Daten effektiv zu transformieren und für explorative, prädiktive oder präskriptive Analysen zu nutzen. Erfahren Sie hier mehr über die Datenmodelle von Fivetran und wie sie verwendet werden.

Die YAML-Dateien dienen nicht nur der Konfiguration Ihres dbt-Projekts, sondern auch der Erstellung eines Datenwörterbuchs Ihrer Quell- und transformierten Daten sowie der Durchführung von Datenintegritätstests. Bei effektiver Anwendung enthält das Endergebnis Ihres dbt-Projekts eine Definition jeder Rohtabelle aus der Quelle und jeder transformierten Tabelle aus Ihrem Dimensionsschema sowie eine Beschreibung jedes Feldes in diesen Tabellen. Darüber hinaus können Sie Tests auf bestimmte Felder anwenden (z. B. sollte ein Primärschlüsselfeld immer eindeutig sein) und Ihre Daten testen, um sicherzustellen, dass es keine Probleme mit der Datenintegrität gibt.

Modelle sind modular aufgebaut, sodass Sie eine Transformation über mehrere Projekte hinweg reproduzieren können. Jeder Entwickler kann Ihnen sagen, wie wertvoll die Wiederverwendung von Code ist, wenn es darum geht, Zeit und Mühe zu sparen. Ein Projekt kann auch Test-, Makro- und Dokumentationsdateien enthalten.

dbt hat zwei Hauptprodukte. dbt Core™ ist ein kostenloses Open-Source-Tool, das alles enthält, was technische Teams zur Datenumwandlung benötigen. Es bietet Ihnen die Möglichkeit, Ihre eigene SQL-Kompilierungslogik und Ihre eigenen ELT-Pipelines, Jinja-Vorlagen, Datenbankadapter, Test-Frameworks und Dokumentationen zu erstellen.

dbt Cloud™ ist ein kostenpflichtiges Produkt und eignet sich hervorragend für Teams, die schnell und koordiniert arbeiten möchten. Es ist schnell und zuverlässig, verfügt über eine benutzerfreundliche IDE, ermöglicht die Planung von Aufträgen, zentralisierte Protokollierung und Benachrichtigung und bietet unter anderem CI/CD mit Slim CI.

Bei der Entscheidung, welches dbt-Produkt für Ihr Unternehmen geeignet ist, sollten Sie die Struktur und die Fähigkeiten Ihres Teams berücksichtigen. Ganz gleich, wofür Sie sich entscheiden, dbt hilft Ihnen bei der Modernisierung Ihres Ansatzes zur Datentransformation.

Ist dbt ein ETL?

Ist dbt ein ETL-Tool (Extrahieren, Transformieren, Laden)? Nein, dbt ist ein Datentransformationstool. Aber dbt funktioniert mit Fivetran, so dass Sie dbt als Teil Ihrer ganzheitlichen ELT-Prozesse verwenden können.

Im Jahr 2020 haben wir unsere Integration mit dbt eingeführt sowie unsere ständig wachsende Bibliothek an verfügbaren Datenmodellen. Durch die Integration von Fivetran in dbt Core können Datenteams Datentransformationen ohne zusätzliche Kosten mit demselben Tool orchestrieren, verwalten und überwachen, mit dem sie die Daten extrahieren und laden. Darüber hinaus verbessern wir die Modellierung mit vollständig integrierten Diagrammen zur Planung und Datenabfolge, die den Teams eine höhere Effizienz und Automatisierung ermöglichen.

Mit unserem Einrichtungshandbuch und unserer von Experten geführten Videoserie können Sie schnell mit Fivetran Transformations beginnen.

Um den Datentransformationsprozess noch einfacher zu gestalten, haben wir vor Kurzem Schnellstart-Datenmodelle eingeführt, mit denen Sie Ihre Konnektor-Daten mit wenigen Klicks in analysetaugliche Tabellen umwandeln können. Kein dbt-Projekt, keine Tools von Dritten und keine Programmierung notwendig. Wenn Sie mehr über dbt erfahren möchten, finden Sie bei dbt Labs eine Fülle von Ressourcen, darunter eine eigene Dokumentation zu den ersten Schritten und Links zu Beispielprojekten.

Eine vielversprechende Zukunft

Data Analytics ist ein heißes Geschäftsfeld – man denke nur an Unternehmen wie Snowflake und Databricks. dbt Labs wächst wie verrückt, seit es 2016 von Kollegen gegründet wurde, die zuvor bei einem Unternehmen namens RJMetrics zusammengearbeitet haben. Im Juni 2021 sammelte das Unternehmen fast 150 Millionen USD in einer Serie C-Finanzierung.

Das Unternehmen war ein Vorreiter unter den Produkten zur Datentransformation, aber es ist nicht das einzige auf dem Markt. Ein jüngeres Unternehmen namens Dataform war ein direkter Konkurrent, bis es im Jahr 2020 von Google Cloud aufgekauft wurde. Vor Kurzem ist Coalesce.io mit einem Drag-and-Drop-GUI-Ansatz für Datentransformationen in diesen Bereich eingestiegen. Obwohl sich dieses Gebiet ständig weiterentwickelt, ist dbt nach wie vor die erste Wahl für diejenigen, die Best Practices im Bereich Data Engineering in ihre Datenumwandlungsprozesse integrieren möchten.

Sie können dbt allein ausprobieren, leistungsfähiger ist es jedoch als Teil der kompletten Datenpipeline, die Fivetran bietet. Nehmen wir den Fall von Ritual, wo das Datenteam dbt in Verbindung mit Fivetran verwendete, um verstreute Python-Skripte und LookML-Dateien zu ersetzen. Ritual nutzte die automatisierten Test- und Datenaktualisierungsfunktionen von dbt, um die Entwicklung neuer Funktionen um 68 Prozent zu steigern.

Oder SpotOn, das in der Lage war, Tausende von Zeilen manuellen Datenmodellierungscodes zu skalieren und seine erforderlichen kundenorientierten Berichte 5-mal schneller zu erstellen. Sie haben jetzt die Tools, die sie brauchen, um ihre aktuellen Anforderungen zu erfüllen und zu wachsen, ohne in zusätzliche Mitarbeiter zu investieren.

Melden Sie sich für ein kostenloses Fivetran-Trial an und sehen Sie, wie einfach es ist, sich mit mehr als 300 Datenquellen zu verbinden, Daten zu extrahieren, sie in ein Data Warehouse oder einen Data Lake zu laden, sie mit Fivetran Transformations zu transformieren und sie zur Verbesserung Ihrer Geschäftsabläufe zu nutzen.

[CTA_MODULE]