À mesure que les ensembles modernes de data se développent et que les applications deviennent plus sensibles au temps, l’ETL traditionnel prend du retard. Alors, comment les databases peuvent-elles s’adapter aux exigences en temps réel ?

Adoptez la change data capture (CDC). La CDC permet de transférer les data via de petits incréments en temps réel, plutôt que par l’intermédiaire de chargements ou de fenêtres de lot. Grâce à cette capacité, la CDC vous aide à prendre des décisions éclairées plus rapidement grâce à des mouvements de data en temps réel.

Dans ce guide rapide, nous explorons les bases de la CDC, ses avantages et quelques méthodes communes pour l’implémenter dans les databases relationnelles.

Qu’est-ce que la change data capture (CDC)?

La change data capture (CDC) est couramment utilisée pour la réplication à partir de databases et le traitement de data provenant de diverses sources, comme les applications SaaS ou d’autres systèmes uniquement accessibles via des API.

Deux raisons principales expliquent pourquoi la CDC gagne en popularité rapidement :

1. La CDC génère des cas d’utilisation puissants, alimentés par les données, sous la forme de réplication de data. La réplication de data permet d’obtenir un accès consolidé aux data opérationnelles pour l’analyse en temps réel, la diffusion de data et les cas d’utilisation d’apprentissage automatique.
2. La CDC permet le transfert des data en temps réel, au fur et à mesure que les modifications se produisent. Cela la rend inestimable pour les organisations exécutant des systèmes critiques 24 h/24, 7 j/7 sans horaire pratique pour les fenêtres de lot, en particulier dans les domaines où l’impact sur le traitement de database nuit directement au processus commercial principal. Étant donné que les systèmes critiques contiennent les data les plus importantes pour favoriser la prise de décision, l’accès en temps réel à ces data est nécessaire pour rester compétitif.

ETL et change data capture

La CDC peut sembler innovante, mais il s’agit juste d’une amélioration du processus ETL (extraction, transformation, chargement), utilisé pour charger les données dans un data warehouse ou un data lake.

Explorons la CDC à chaque étape du processus ETL.

Extraction

Pendant l’étape d’extraction, la CDC extrait les data en temps réel (ou temps quasi réel) et fournit un flux continu de data de modification.

Ce processus est traditionnellement effectué par lot, où une seule requête de database extrait un gros volume de données. Cette méthode a toutefois ses limites puisque les databases sources sont constamment mises à jour.

S’il est nécessaire d’actualiser une copie des tables sources à chaque fois, la table cible peut ne pas refléter avec exactitude l’état actuel de l’application source. La CDC contourne ce problème en maintenant un flux de data en temps réel.

Transformation

La CDC présente également de nouveaux avantages à l’étape de transformation.

Traditionnellement, l’intégralité des ensembles de data devait être transformés à l’aide d’outils ETL qui mettaient en correspondance la structure et le format de la table ou du répertoire cible avant le chargement. Bien que cela soit toujours vrai avec la CDC, elle ne tente pas de transformer de gros lots de data en une seule fois.

Au lieu de cela, les data sont chargées en continu au fur et à mesure des modifications de la source, puis transformées dans le répertoire de data cible. Avec la taille toujours croissante des data modernes, cette approche n’est pas seulement plus efficace : elle est indispensable pour tenir le cap.

Chargement

Comme vous l’avez compris dans la section « Transformation », le chargement et la transformation ont lieu quasi simultanément avec la CDC. Le chargement peut toutefois se produire avant la transformation, car la plupart des répertoires cibles basés sur le cloud (data warehouse, data lake, etc.) gèrent la transformation.

Avantages de la change data capture

Appliquer la CDC dans vos intégrations de data présente un certain nombre d’avantages uniques, et pas seulement pour l’ETL. Globalement, les opérations en temps réel de la CDC vous permettent d’intégrer, d’analyser et d’utiliser les data plus rapidement que jamais.

Voici comment l’efficacité de la CDC peut bénéficier à vos intégrations de data.

Opérations en temps réel (plus besoin de chargement par lots)

En éliminant les fenêtres ou le chargement de lots, l’ETL se produit en temps réel avec une meilleure communication entre les référentiels et les sources de data. Ceci réduit également l’impact sur les extraits sources, qui n’ont plus besoin d’être tous actualisés simultanément.

Impact réduit sur les ressources système

La CDC repose sur un principe clé : elle transfère les data en petits incréments, au lieu d’utiliser les chargements de lots. Cela permet de travailler en temps réel et de réduire considérablement l’impact sur les ressources système, qui seraient autrement surconsommées pendant le chargement de lots.

Migrations de database plus rapides, sans interruptions

La capacité de la CDC à déplacer les data de manière rapide et efficace permet également d’effectuer des migrations de database en temps réel, sans interruptions. L’analyse en temps réel, la synchronisation et d’autres applications dans les systèmes distribués sont également accessibles.

Synchronisation avec plusieurs systèmes de data

Le transfert de data en temps réel de la CDC permet également à plusieurs systèmes de data de rester synchronisés, peu importe où ils se trouvent. C'est un avantage de taille pour les applications et les environnements sensibles au temps.

Méthodes de change data capture

Il existe de nombreuses méthodes différentes pour l’implémentation de la change data capture dans les databases. Pour rester dans le cœur du sujet, nous nous concentrerons sur les databases relationnelles, couramment utilisées dans le traitement de data opérationnelles.

Plusieurs types de change data capture peuvent être utilisés pour le traitement des data issues d’une database. Cela comprend la CDC basée sur des journaux, des déclencheurs, des horodatages et des différences.

Change data capture basée sur des journaux

La plupart des databases conçues pour le traitement des transactions en ligne (OLTP) utilisent un journal de transactions pour consigner toutes modifications. Dans le cas d’un incident lié au système ou à la database, le journal des transactions favorise la récupération de database sans pertes. Essentiellement, toutes les modifications impliquées et récupérables peuvent être retrouvées dans les journaux de transactions de database.

Un mécanisme de capture basé sur les journaux recherche les modifications dans le journal de transactions, de manière asynchrone avec les transactions soumettant les modifications. Certaines technologies de database fournissent une API pour la CDC basée sur des journaux. D’autres ne la fournissent pas. Une expertise poussée est alors nécessaire pour extraire les modifications.

Peu de fournisseurs, dont Fivetran, proposent une CDC basée sur les journaux via ce que l’on appelle des lecteurs de journaux binaires. Un lecteur de journaux binaire analyse directement le journal de transactions, sans couches d’API intermédiaires qui pourraient ralentir ou limiter la change data capture.

Ces lecteurs ont également un impact minimal sur le traitement de la database et offrent une excellente flexibilité dans les options de déploiement. Par exemple, un relevé de journal binaire peut être effectué sur un système en veille ou en fonction des sauvegardes du journal.

Certains cas d’utilisation de réplication de data nécessitent une cohérence transactionnelle alignée aux tables de sources de data. La CDC basée sur des journaux la propose par défaut, puisque les limites de transaction et les ordres d’engagement sont déjà enregistrés dans le journal de transactions.

De plus, elle permet de faire un saut dans le temps et de récupérer l’historique des modifications.

• Adapté pour : vos databases les plus cruciales, qui ne peuvent pas subir un ralentissement du traitement de database. Il s’agit des systèmes qui comportent les ensembles de data les plus importants à inclure dans vos cas d’utilisation analytiques. La CDC basée sur des journaux gère les plus gros volumes de data de modification en temps réel.
• Quand envisager d’autres types de CDC : lorsque certains déploiements ou technologies de database, comme les databases ou applications déployées sur le cloud fournies en tant que solution gérée ou appareil, ne permettent tout simplement pas d’effectuer la CDC basée sur des journaux.

Change data capture basée sur des déclencheurs

La CDC basée sur des déclencheurs enregistre les modifications alors même qu’elles se produisent. Chaque opération d’insertion, de mise à jour et de suppression entraîne non seulement ses propres modifications, mais déclenche également son enregistrement dans une table distincte.

Avant le développement des solutions basées sur des journaux, l'approche basée sur des déclencheurs était privilégiée. Aujourd’hui, les organisations souhaitent éviter l’impact des déclencheurs sur le traitement des databases. Cependant, la CDC basée sur des déclencheurs fonctionne encore, et la solution native de SAP pour la CDC de SAP HANA s’appuie même sur cette technologie.

Il existe deux implémentations communes pour la CDC basée sur des déclencheurs :

1. Enregistrement de la modification dans son intégralité. Ce faisant, l’accès à l’historique complet des modifications est possible, mais double la quantité de data écrites dans la database pour la transaction d’origine. En répertoriant ces data de modification dans des tables distinctes, la récupération est plus simple.
2. Enregistrement de la clé d’identification de la ligne et du type d’opération uniquement (insertion, mise à jour ou suppression). Cette approche a un impact minime sur la transaction d’origine. Toutefois, le fait de connaître uniquement la clé et le type d’opération n’est pas suffisant pour reconstruire l’historique complet des modifications. L’extraction de data nécessite souvent des ressources supplémentaires en raison de la liaison requise entre la table des modifications et la table de base pour récupérer les anciennes et nouvelles valeurs.

• Adapté pour : les cas d’utilisation dans lesquels les transactions et les performances de database ne sont pas essentielles, et où votre système dispose d'une capacité de traitement appropriée.
• Quand envisager d’autres types de CDC : lorsque le traitement de votre database ne peut pas supporter une surcharge des déclencheurs de database en raison d’exigences critiques en matière de traitement de data ou de volumes importants. Les applications prêtes à l’emploi peuvent également empêcher l’ajout de déclencheurs. Si votre cas d’utilisation nécessite une cohérence transactionnelle, alors la CDC basée sur des déclencheurs n’est pas la meilleure option.

Change data capture basée sur des horodatages (ou d’autres filigranes)

Certaines applications enregistrent le moment où chaque modification de ligne est appliquée dans une colonne distincte (par exemple, LAST_MODIFIED). Il est possible d’extraire les modifications simplement en suivant les extractions les plus récentes et en filtrant la colonne respective.

L’inconvénient majeur de cette approche concerne l’incapacité d’identifier les lignes supprimées. Certaines technologies enregistrent naturellement un filigrane à chaque ligne. Par exemple, PostgreSQL utilise XMIN.

Si la valeur augmente de façon monotone, la CDC peut également utiliser une telle alternative de filigrane.

• Adapté pour : les applications avec une colonne de filigrane fiable sur toutes les tables. La CDC basée sur des horodatages ou des filigranes constitue une alternative lorsque d’autres options, telles que la CDC basée sur des journaux ou des déclencheurs, ne sont pas disponibles.
• Quand envisager d’autres types de CDC : lorsque vous avez besoin du traitement des suppressions. Si une cohérence transactionnelle exacte est requise, alors la CDC basée sur des horodatages ou des filigranes n’est pas vraiment une option appropriée.

Change data capture basée sur des différences

La change data capture basée sur des différences est identifiée par l’intermédiaire d’une comparaison par force brute de l’ensemble des data. Pour effectuer une analyse complète des différences, toutes les data doivent être extraites en vue d’être comparées. La différence est toujours basée sur deux instantanés de vos data.

• Adapté pour : les ensembles de data relativement réduits lorsque d’autres options ne sont pas disponibles.
• Quand envisager d’autres types de CDC : lorsque votre application nécessite l’historique complet des modifications de data ou si votre cas d’utilisation exige une cohérence transactionnelle exacte.

Change data capture avec Fivetran

Fivetran est une solution moderne d’intégration de data, conçue autour du concept de la CDC.

Notre plate-forme fournit plus de 200 connecteurs préconstruits permettant aux équipes data de centraliser et de transformer facilement les données provenant de centaines de sources locales vers des destinations cloud. Les connecteurs Fivetran sont également optimisés avec la technologie CDC. Elle garantit un déplacement efficace des data les plus volumineuses déployables sur plusieurs outils.

Prêt(e) à découvrir par vous-même les avantages de la CDC ? Inscrivez-vous dès aujourd’hui pour commencer votre essai gratuit.