Haben Sie Daten in Salesforce, die Sie in BigQuery verwenden und analysieren möchten? Das Laden Ihrer Daten aus Salesforce in BigQuery ist eine großartige Möglichkeit, die wertvollen Erkenntnisse in Ihrem Unternehmen zu zentralisieren, zu speichern und zu analysieren. Es kann schwierig sein, genau zu wissen, wie man das macht. Wir helfen Ihnen daher, Ihre Daten problemlos von einer Plattform auf eine andere zu übertragen. In diesem Blogbeitrag führen wir Sie Schritt für Schritt durch die Einrichtung einer automatisierten Pipeline für die Übertragung von Daten aus Salesforce in die Managed Cloud-Lösung von Google: BigQuery. Fangen wir also an!

Was ist Salesforce?

Salesforce ist eine dynamische CRM (Customer Relationship Management)-Plattform, die Unternehmen dabei unterstützt, Kundeninteraktionen zu optimieren und Beziehungen in Echtzeit aufzubauen. Mit Salesforce sind Unternehmen in der Lage, Kundendaten sicher zu speichern und daraus leistungsstarke Tools zur Vertriebsautomatisierung zu erstellen, die die Verwaltung von Kundeninformationen erheblich effizienter gestalten. Außerdem können Unternehmen ihre Kampagnen auf bestimmte Kundensegmente zuschneiden und so die Erwartungen ihrer Kunden übertreffen.

Was ist Google BigQuery?

Google BigQuery ist ein vollständig verwaltetes Cloud Data Warehouse, das als SaaS-Angebot von Google bereitgestellt wird. BigQuery kann nicht nur riesige Datenmengen aufnehmen und speichern, sondern auch Abfragen im Petabyte-Bereich schnell verarbeiten, um Ihnen in wenigen Sekunden aussagekräftige Erkenntnisse zu liefern. Google BigQuery verwendet eine spaltenbasierte Architektur, um alle Arten von Daten zu speichern. Wenn Ihre Daten also nicht bereits im spaltenbasierten Format vorliegen, müssen sie in es umgewandelt werden. Spaltenbasierte Speicherung führt zu einer besseren Speichernutzung und schnellerem Scannen und Abfragen von Daten im Vergleich zur zeilenbasierten Speicherung.

BigQuery ist gut geeignet für OLAP (Online Analytical Processing) und bietet einfache Verwaltbarkeit mit eingebauten KI(Künstliche Intelligenz)- & ML(Machine Learning)-Tools. Die BigQuery-Infrastruktur nutzt massiv parallele Datenverarbeitung und eine hoch skalierbare, sichere Speicher-Engine, was sie zu einem der weltweit beliebtesten Data Warehouses macht.

Methoden zum Laden von Daten aus Salesforce in BigQuery

Mit Salesforce können Sie unzählige wertvolle Daten über Leads, Verkäufe und vieles mehr generieren, aber es kann schwierig sein, alles an einem Ort zu organisieren. Eine Möglichkeit, damit umzugehen, besteht darin, die Daten in einem zentralen Data Warehouse wie BigQuery zu sammeln. Wenn Sie alle Ihre Daten auf diese Weise zusammenfassen, können Sie sie strategisch einsetzen, um Ihre Gewinne zu maximieren, indem Sie Verkaufstrends prognostizieren und Marketing- und andere Ausgaben optimal zuordnen. Um Ihre Salesforce-Daten in BigQuery zu übertragen, gibt es zwei Methoden: manuell oder automatisiert. Beim manuellen Ansatz können Sie Skripte für ETL-Vorgänge (Extrahieren – Transformieren – Laden) schreiben, die diese Aufgabe übernehmen und eine sichere Integration zwischen Anwendungen ermöglichen. Die Verwendung einer automatisierten Alternative wie Fivetran bedeutet weniger Klicks und schnellere Übertragungszeiten. Wir wollen mehr über diese Methoden erfahren.

Methode 1: Von Salesforce zu BigQuery mit dem Fivetran-Tool

Fivetran ist eine automatisierte Data-Movement-Plattform, die Daten aus und in verschiedene Datenquellen verschieben kann. Die aus verschiedenen Quellen wie Sensoren, Anrufprotokollen, CRM, ERP, Websites usw. gesammelten Daten können in einen Data Lake oder ein Data Warehouse übertragen werden, wo sie verarbeitet und analysiert werden können, um Wettbewerbsvorteile und kontinuierliche Gewinne zu erzielen. Fivetran ist ein Cloud-basiertes ETL-Tool, mit dem Sie Ihre Daten vorverarbeiten und umwandeln können, um sie für Ihre analytischen Anwendungen nutzbar zu machen.

Stellen Sie sich ein Szenario vor, in dem Salesforce Ihre Vertriebs-/Kunden-/Kampagnendaten enthält, während andere Software/Anwendungen Ihre Buchhaltungs-/Produktions-/Inventar-/Website-Daten enthalten. Um all diese Datenquellen zu integrieren und Analysen über alle Ihre Daten durchzuführen, benötigen Sie eine Plattform wie BigQuery, um ein Data Warehouse zu erstellen, das Ihre Daten in verschiedenen Formaten enthält und Analysen per Mausklick ermöglicht. Fivetran kann ganz einfach eine Verbindung zu Ihren verschiedenen Datenquellen wie Salesforce/Datenbanken herstellen und die Daten automatisch und selbstständig in Ihre BigQuery-Destination leiten.

Fivetran bietet einen integrierten Konnektor, der es Ihnen ermöglicht, alle zugrunde liegenden Daten aus Salesforce in eine SQL/Warehousing-fähige Umgebung wie BigQuery zu übertragen, damit Sie Ihre CRM-Daten für erweiterte Analysen nutzen können. Den Fivetrans Salesforce-BigQuery-Konnektor finden Sie hier:

‍https://console.cloud.google.com/marketplace/product/fivetran-bq-dts/salesforce

Mit diesem Konnektor können Sie Ihre Salesforce-Daten mühelos in BigQuery replizieren, sie kontinuierlich aktualisieren und synchronisieren sowie Analysen durchführen, um nützliche, umsetzbare Erkenntnisse zu gewinnen. Sobald sich Ihre Daten in BigQuery befinden, können Sie BigQuery ML verwenden, um Modelle für maschinelles Lernen zu erstellen und zu operationalisieren, oder Data Studio, um eine aussagekräftige Visualisierung zu erstellen, oder BigQuery Geospatial, um Geospatial-Analysen durchzuführen, usw. Ihre SF-Daten können problemlos mit Daten aus anderen Quellen kombiniert werden, um ganzheitlichere und detailliertere Berichte zu erstellen. Ihre technischen Ressourcen können sich auf ihre Kernkompetenzen konzentrieren, statt sich um die Einrichtung und Pflege der Datenpipelines zu kümmern.

Schritte zur Verbindung von Salesforce mit Fivetran

Schritt 1. Öffnen Sie die Benutzeroberfläche des Salesforce-BigQuery-Konnektors von Fivetran.

Wählen Sie Salesforce als Quelle und BigQuery als Datenziel. Klicken Sie auf die Setup-Schaltfläche.

Schritt 2. Als Nächstes geben Sie den gewünschten Schemanamen an und autorisieren Ihre Salesforce-Verbindung (Fivetran verwendet Ihre Anmeldedaten, um von Zeit zu Zeit auf Ihre SF-Daten zuzugreifen).

Nach der Authentifizierung klicken Sie auf „Speichern und Testen“. Fivetran wird nun versuchen, eine Verbindung zu Ihrem Salesforce herzustellen und zu prüfen, ob die entsprechenden APIs funktionieren.

‍

Schritt 3. Als Nächstes müssen Sie Fivetran erlauben, auf Ihren BigQuery-Cluster zuzugreifen und Tabellen für Ihre Daten zu erstellen, zu aktualisieren und zu verwalten.

Geben Sie Ihre BigQuery ProjectID (Zieldatensatz), seine Zugangsdaten/URL usw. an.

‍

‍

Erteilen Sie Ihrem Fivetran-Konto innerhalb von BigQuery die Berechtigung, auf BigQuery-Tabellen zuzugreifen und sie zu verwalten.

‍

‍

Nächste Schritte: Hinzufügen eines neuen Auftraggebers mit Ihrem Fivetran-Servicekonto  

Und wählen Sie dann eine Rolle für Ihr oben angegebenes Fivetran-Konto, ich habe die Rolle „BigData-Benutzer“ verwendet.

‍

Schritt 4. Im nächsten Schritt wechseln Sie zu Ihrem Fivetran Dashboard, gehen Sie zu „Ziele“ und geben Sie BigQuery als Ihr Ziel an

‍

Klicken Sie auf „+ Ziel hinzufügen“, geben Sie einen Namen an und wählen Sie dann BigQuery als Zieltyp. Geben Sie im Formular zur Einrichtung des Ziels die Projekt-ID ein, die Sie in Schritt 3 oben gefunden haben.

Geben Sie den Datenstandort und den Datenverarbeitungsstandort ein. BigQuery wird diese Standorte angeben, von dort aus werden seine Dienste für Sie verfügbar gemacht. Geben Sie abschließend Ihre Zeitzone an und klicken Sie auf „Speichern & Testen“.

Schritt 5. Fivetran führt nun die folgenden Tests durch:-

Verbindungstest, um die Verbindung zu Ihrem BigQuery Data Warehouse zu überprüfen und festzustellen, ob eine Liste der Datensätze abgerufen werden kann.

‍Test zum Prüfen der Berechtigungen, um zu prüfen, ob wir die erforderlichen Berechtigungen für Ihr Data Warehouse haben.

‍Bucket-Konfigurationstest, um sicherzustellen, dass Sie die Berechtigung „Storage Object Admin“ für Ihren Daten-Bucket haben, wenn Sie Ihren eigenen Daten-Bucket zur Verarbeitung der Daten verwenden.  

Schritt 6. Nachdem diese Tests erfolgreich durchgeführt wurden, müssen Sie die zu synchronisierenden Objekte auswählen und einen Hash erstellen.

‍

Wählen Sie hier die Salesforce-Objekte aus, die Sie an BigQuery senden möchten. Herzlichen Glückwunsch! Ihr BigQuery-Warehouse ist mit Fivetran verbunden und kann verwendet werden.

Schritt 7. Gehen Sie schließlich zum Salesforce-Verbindungs-Dashboard.

‍

Prüfen Sie, ob alles in Ordnung ist, und klicken Sie auf „Erste Synchronisierung starten“.

Dies lädt Ihren ersten (anfänglichen) Datensatz und kümmert sich dann um zukünftige Aktualisierungen. So haben wir die Integration schnell und mit wenigen Klicks eingerichtet. Fivetran nimmt Ihnen die ganze Arbeit ab und entlastet Sie von den Feinheiten der Datenübertragung, der Datensynchronisation, der Datenvorverarbeitung und der Pipelinepflege. Als Nächstes sprechen wir einige leistungsstarke und vielseitige Funktionen von Fivetran an.

[CTA_MODULE]

Von Salesforce zu BigQuery: Vorteile der Verwendung von Fivetran

Der SF-Connector von Fivetran verwendet so wenig API-Aufrufe wie möglich und ist daher schnell und ressourcenschonend. Der Konnektor verwendet eine intelligente Mischung aus Bulk-SF-API und REST-API, während er Ihre Daten synchronisiert und so den Durchsatz erhöht.

Da Ihr SF-Konto über ein begrenztes rollierendes 24-Stunden-Bulk-API-Kontingent verfügt, geht der Connector, wenn er feststellt, dass 90 % des Bulk-PAI-Kontingents verbraucht sind, dazu über, das REST-API-Kontingent zu verwenden. Wenn der Verbrauch der SF REST-API-Quote ebenfalls 90 % erreicht, werden die Synchronisierungen automatisch um eine Stunde verschoben, wodurch sichergestellt wird, dass immer eine gewisse SF-API-Quote für Ihre anderen geschäftskritischen Anwendungen verfügbar ist.

Sie brauchen sich also keine Sorgen zu machen, dass Ihre anderen Prozesse durch die Erschöpfung der API-Quote des Tages blockiert werden. Es gibt noch viele weitere sehr nützliche Funktionen des Fivetran SF-Anschlusses, von denen einige wichtige im Folgenden aufgeführt sind.  

Fivetran führt eine Eins-zu-Eins-Zuordnung Ihrer Salesforce-Objekte mit Ihren Zielobjekten durch. Mit Ausnahme der berechneten/abgeleiteten Felder in SF bildet Fivetran Ihre Salesforce-Objekte so ab, dass die Semantik innerhalb der Daten erhalten bleibt und die Nutzung dieser Daten erleichtert wird. Nachstehend finden Sie eine verkleinerte ERD-Darstellung des Prozesses.

Anmerkung: Der Kürze halber werden hier nicht alle Beziehungen modelliert, aber Sie können leicht erkennen, wie Fivetran die Objekte auf intelligente Weise miteinander in Beziehung setzt.  

‍

@Quelle: https://docs.google.com/presentation/d/1sMmOXdKDkxJtRZa_ybyXtyrq22wE6phNo9EZ52RfV5Y/edit#slide=id.g3cb9b617d1_0_237

‍

• Fivetran bearbeitet Ihre berechneten Formelfelder selbstständig.

Die Formelfelder in Salesforce (SF), die auf der Grundlage aktueller Werte in anderen SF-Feldern berechnet/abgeleitet werden, eignen sich nicht gut für eine inkrementelle/lineare Synchronisierung mit anderen Feldern. Fivetran erkennt solche Formelfelder automatisch und schließt sie aus den Tabellen aus, die mit Ihrem Ziel synchronisiert werden.

Fivetran übersetzt die SF-Formeln mit Hilfe seiner eingebauten Formelübersetzungsfunktion in äquivalente SQL-Formeln und wendet nachgelagerte Transformationen auf solche Felder an, um sie mit den anderen Daten synchron zu halten.

Dadurch wird sichergestellt, dass diese Felder in Ihrem Ziel, in diesem Fall BigQuery, korrekt repliziert werden.  

• Fivetran synchronisiert Ihre aktualisierten Salesforce-Daten problemlos

Wenn Sie Salesforce verwenden, ändern sich Ihre Daten in SF und müssen mit den neuen und geänderten Daten aktualisiert/synchronisiert werden. Fivetran übernimmt die inkrementelle Synchronisierung für Sie und aktualisiert nur neue oder geänderte Daten, wodurch der Aktualisierungsprozess schlank und effizient bleibt. Fivetran unterhält einen internen Satz von Fortschritts-Cursors, die dazu dienen, den genauen Punkt zu verfolgen, an dem die letzte erfolgreiche Synchronisierung beendet wurde.

Es gibt bestimmte Zeitstempel innerhalb von SF, z. B.

SystemModStamp/LastModifiedDate/CreatedDate/LoginTime usw., die Fivetran auf intelligente Weise verwendet, um zu erkennen, welche Zeilen sich seit der letzten Synchronisierung geändert haben, woraufhin es inkrementelle Synchronisierungen durchführt. Wenn Sie dieses Verhalten dennoch außer Kraft setzen wollen, müssen Sie lediglich die Eigenschaft „updateable“/„replicable“ Ihrer SF-Tabelle(n) auf FALSE setzen. Im obigen Fall importiert Fivetran automatisch die gesamten mit false

‍

• Fivetran kann ganz einfach zwischen Ihrem AWS PrivateLink und Ihrem Salesforce Private Connect synchronisieren. Wenn Sie eine Salesforce Private Connect-Lizenz zur Verwendung von AWS PrivateLink haben, kann Fivetran Ihre Daten von Salesforce zu einem AWS-Ziel übertragen.

• Fivetran bietet Transparenz und feinkörnige Prüfung

Fivetran zeigt klar und deutlich, was es mit Ihren Daten gemacht hat/macht, wann die Synchronisierungs-Updates liefen/laufen würden, verarbeitete/gelöschte Zeilen, die letzte Aktualisierung jeder Tabelle, alle aktuellen Probleme, die Sie möglicherweise haben, usw.

Um diese Ebene der Prüfung und Transparenz zu ermöglichen, fügt Fivetran jeder Tabelle, die zu Ihrem Ziel hinzugefügt wird, zusätzliche Spalten hinzu, um Ihnen Einblicke in den Fortschritt/die Änderungen Ihrer Integration zu geben. So fügt Fivetran für Tabellen, die keinen Primärschlüssel für jede Zeile haben, fivetran_index (INTEGER) und fivetran_id (TEXT) hinzu, um die Reihenfolge der Aktualisierungen anzuzeigen bzw. Duplikate zu vermeiden.

In der Tabelle fivetran_audit können Sie sehen, wann jede Ihrer Tabellen aktualisiert wurde und welche Probleme dabei aufgetreten sind. Wenn es mehrere Warnungen zu einer einzigen Tabelle gibt, erstellt Fivetran eine fivetran_audit_warning und lässt Sie alle als Stacktrace/Ereigniskette anzeigen, um Probleme leicht zu erkennen und zu beheben.  Sie können auch „history_mode“ für einige/alle Ihrer Tabellen aktivieren, Fivetran fügt dann einige weitere Spalten zu diesen Tabellen hinzu, wie fivetran_start/fivetran_end/fivetran_active, für zusätzliches Tracking.

Systemtabellen innerhalb von Fivetran, wie FIVETRAN_QUERY/FIVETRAN_FORMULA_MODEL/FIVETRAN_FORMULA_HISTORY/FIVETRAN_API_CALL, bieten noch mehr Transparenz dazu, wie Fivetran mit Ihren Daten arbeitet. Die oben genannten Transparenz- und Audit-Funktionen ermöglichen es Ihnen, Fivetran besser zu nutzen und Ihre SF-Daten so abzustimmen, dass sie gut mit Fivetran funktionieren.

• Die Vielzahl der in Fivetran verfügbaren Anschlüsse.

Fivetran bietet mehr als 300 Konnektoren für viele verschiedene Datenbanken/Marketinganalysen/Vertriebsanalysen/Produktanalysen/Finanz- und Betriebsanalysen/Ingenieuranalysen/SAAS-Angebote usw. Was auch immer Ihr Data Stack sein mag, es gibt wahrscheinlich einen eingebauten Anschluss in Fivetran. Wenn sich Ihre Daten in vielen verschiedenen Silos/Datenhaltungslösungen befinden, könnte Fivetran Ihre Komplettlösung für die nahtlose Integration aller dieser Lösungen sein.

[CTA]

Methode 2: Von Salesforce zu BigQuery (manuelle Integration)

Sie können alle Ihre Salesforce-Daten als CSV/Avro-Dateien exportieren und diese Dateien dann in BigQuery importieren, um die Google BigQuery-Salesforce-Integration einzurichten.

Schritt 1 – Wählen Sie in Ihrem Salesforce-Datenexplorer-Panel die Tabelle(n), die Sie exportieren möchten.

Schritt 2 – Wählen Sie „In Cloud-Speicher exportieren“ und wählen Sie das Exportformat CSV.

Wählen Sie auch den Komprimierungstyp GZIP (GNU Zip) oder akzeptieren Sie den Standardwert.  

Laden Sie diese Datei herunter.

Schritt 3 – Gehen Sie in Ihrem BigQuery zum Abschnitt „Data Explorer“ und wählen Sie „Import“ und dann „Batch Ingestion“.  

Wählen Sie als Dateityp CSV/Avro. Denken Sie daran, dass Avro-Dateien im Vergleich zu CSV-Dateien viel schneller in BigQuery geladen werden können. In der Benutzeroberfläche können Sie die automatische Schemaerkennung aktivieren oder sie explizit angeben. Nachdem Sie Details wie den Datensatz und den Tabellennamen angegeben haben, klicken Sie auf „Import“. Diese Methode ist zwar einfach, kann aber mühsam werden, wenn Sie viele Tabellen/Dateien zu importieren haben. Wenn Sie außerdem mehrere Datenquellen mit sich ständig ändernden Daten haben, ist diese Methode praktisch unmöglich zu implementieren.

Methode 3: Von Salesforce zu BigQuery durch Schreiben von benutzerdefiniertem Code

Sowohl Salesforce als auch BigQuery bieten vielseitige und leistungsstarke APIs für den Datenimport und -export. Sie können Ihren eigenen Code in Ihrer bevorzugten Sprache wie Java oder Python schreiben und die oben genannten Funktionen erreichen. Diese Methode bietet ein Höchstmaß an Flexibilität und Leistung, da Sie jeden Datenübertragungsvorgang genauestens steuern können. Diese Methode erfordert jedoch Programmierressourcen und eine Menge Zeit, bis sie funktioniert.  Wenn sich Ihre Datenquellen und -senken weiterentwickeln/verändern, müssen Sie auch Ihre Programme pflegen und aktualisieren.

Von Salesforce zu BigQuery: Nachteile beim Schreiben von benutzerdefiniertem Code

• Sie benötigen mehrere Programmierressourcen, die sowohl die Interna von Salesforce als auch die von BigQuery verstehen.
• Alle Besonderheiten der beiden Plattformen müssen berücksichtigt werden.
• Sie benötigen auch ein Test- und Verifizierungsteam, das sicherstellt, dass alle gewünschten Daten BigQuery erreicht haben und dort in einem Format vorliegen, das von den Analyseprozessen problemlos genutzt werden kann.
• Ihr benutzerdefinierter Code muss häufig aktualisiert werden, wenn es Änderungen an Ihren Geschäftsprozessen ODER den zugrunde liegenden Plattformen gibt.
• Sie müssen mehrere Programme schreiben, um Ihre Daten aus unterschiedlichen Quellen an BigQuery zu übertragen. (Während Fivetran bereits über Konnektoren für die meisten gängigen Datenquellen verfügt.)
• Ihr Budget für Programmierung und Tests würde Ihre Investition in Fivetran in wenigen Monaten bei weitem übersteigen.

Fazit

Es gibt zwar mehrere Methoden zur Übertragung von Daten aus Salesforce in BigQuery, Ihr Schwerpunkt sollte jedoch auf der Implementierung der richtigen Analysen liegen, um aussagekräftige Einblicke in Ihre Geschäftsprozesse und Daten zu erhalten. Ihre technischen Ressourcen sollten sich auf die Kernaufgaben der Datenanalyse und der Erstellung leicht verständlicher Visualisierungen konzentrieren und nicht auf die Erstellung von Datenzuflüssen/-abflüssen.

Es ist besser, nicht viele Ressourcen und Mühen auf die Entwicklung und Pflege der Datenpipelines zu verschwenden, sondern diese Aufgabe modernen Tools zu überlassen, die speziell für diese Herausforderungen entwickelt wurden. Fivetran ist ein gut erprobtes Tool, das von erfahrenen Entwicklern stammt und ständig weiterentwickelt wird, um aktuellen und zukünftigen Herausforderungen gerecht zu werden.

[CTA_MODULE]