本文為您介紹如何通過DataWorksData Integration即時同步資料庫中的資料至Hologres。
前提條件
開通DataWorks,詳情請參見入門概述。
已開通雲資料庫。
跨地區是否可以同步資料,詳情請參見配置資源群組與網路連通。
背景資訊
Hologres是即時互動式分析產品,與巨量資料生態無縫打通,深度整合智能研發平台DataWorks,支援高並發和低延時地查詢分析資料。您可以通過DataWorksData Integration同步將資料庫中的資料即時同步至Hologres,再進行高並發低延時的查詢分析處理。
常見的支援即時資料同步的資料庫包括:Oracle、Polar DB、PolarDB MySQL等。
如需查看更多支援的資料庫,請參見支援的資料來源及同步方案。
相關原理:MySQL Reader、Oracle資料來源、PolarDB Reader、SQL Server Reader、Hologres資料來源。
操作流程
通過DataWorksData Integration將多種資料庫資料穩定、高效的即時同步至Hologres,請參見以下操作步驟進行操作。
配置輸入資料來源
在同步資料之前,需要配置資料來源的資料來源。例如,您需要將MySQL資料即時同步至Hologres,就需要配置MySQL資料來源。您可以根據業務情境選擇資料來源並配置,詳情請參見配置資料來源。
配置輸出Hologres資料來源
說明Hologres資料來源必須使用Data Integration獨享資源群組。
在同步之前,需要配置輸出資料來源Hologres,詳情請參見配置Hologres資料來源。
配置任務
輸入資料來源與輸出Hologres資料來源配置成功後,需要開始配置同步方式並運行任務,DataWorksData Integration提供三種即時同步方式,您可以根據業務需求選擇,詳情見下表。
同步類型
適用情境
支援的資料來源
資料來源配置指導
同步任務配置指導
單表即時同步
適用於將源端部分表資料的變化即時同步至目標資料庫中,實現目標庫即時保持和源庫的資料對應。
MySQL Binlog
DataHub
LogHub
Kafka
PolarDB
SQL Server
整庫即時同步
適用於將源端全部表的資料變化即時同步至目標資料庫中,實現目標庫即時保持和源庫的資料對應。
PolarDB MySQL
PolarDB
MySQL
同步解決方案
提供多種資料來源之間進行不同資料同步情境的同步解決方案,包括即時資料同步、離線全量同步、離線增量同步處理等同步情境,助力企業資料更高效、更便捷的一鍵上雲。主要包括:
全量資料初始化。
增量資料即時寫入。
增量資料和全量資料定時自動合并寫入新的全量表分區。
PolarDB MySQL
Oracle
MySQL
PolarDB-X
PostgreSQL
說明使用DataWorks同步資料至Hologres時,同時支援為Hologres目標表添加附加欄位,例如添加更新時間等欄位。詳情請參見配置並管理即時同步任務。