全部產品
Search
文件中心

Hologres:即時同步資料庫的資料至Hologres

更新時間:Jun 30, 2024

本文為您介紹如何通過DataWorksData Integration即時同步資料庫中的資料至Hologres。

前提條件

  • 開通DataWorks,詳情請參見入門概述

  • 已開通雲資料庫。

說明

跨地區是否可以同步資料,詳情請參見配置資源群組與網路連通

背景資訊

Hologres是即時互動式分析產品,與巨量資料生態無縫打通,深度整合智能研發平台DataWorks,支援高並發和低延時地查詢分析資料。您可以通過DataWorksData Integration同步將資料庫中的資料即時同步至Hologres,再進行高並發低延時的查詢分析處理。

常見的支援即時資料同步的資料庫包括:Oracle、Polar DB、PolarDB MySQL等。

說明

如需查看更多支援的資料庫,請參見支援的資料來源及同步方案

相關原理:MySQL ReaderOracle資料來源PolarDB ReaderSQL Server ReaderHologres資料來源

操作流程

通過DataWorksData Integration將多種資料庫資料穩定、高效的即時同步至Hologres,請參見以下操作步驟進行操作。

  1. 配置輸入資料來源

    在同步資料之前,需要配置資料來源的資料來源。例如,您需要將MySQL資料即時同步至Hologres,就需要配置MySQL資料來源。您可以根據業務情境選擇資料來源並配置,詳情請參見配置資料來源

  2. 配置輸出Hologres資料來源

    說明

    Hologres資料來源必須使用Data Integration獨享資源群組。

    在同步之前,需要配置輸出資料來源Hologres,詳情請參見配置Hologres資料來源

  3. 配置任務

    輸入資料來源與輸出Hologres資料來源配置成功後,需要開始配置同步方式並運行任務,DataWorksData Integration提供三種即時同步方式,您可以根據業務需求選擇,詳情見下表。

    同步類型

    適用情境

    支援的資料來源

    資料來源配置指導

    同步任務配置指導

    單表即時同步

    適用於將源端部分表資料的變化即時同步至目標資料庫中,實現目標庫即時保持和源庫的資料對應。

    • MySQL Binlog

    • DataHub

    • LogHub

    • Kafka

    • PolarDB

    • SQL Server

    配置單表增量資料即時同步

    整庫即時同步

    適用於將源端全部表的資料變化即時同步至目標資料庫中,實現目標庫即時保持和源庫的資料對應。

    • PolarDB MySQL

    • PolarDB

    • MySQL

    配置並管理即時同步任務

    同步解決方案

    提供多種資料來源之間進行不同資料同步情境的同步解決方案,包括即時資料同步、離線全量同步、離線增量同步處理等同步情境,助力企業資料更高效、更便捷的一鍵上雲。主要包括:

    • 全量資料初始化。

    • 增量資料即時寫入。

    • 增量資料和全量資料定時自動合并寫入新的全量表分區。

    • PolarDB MySQL

    • Oracle

    • MySQL

    • PolarDB-X

    • PostgreSQL

    說明

    使用DataWorks同步資料至Hologres時,同時支援為Hologres目標表添加附加欄位,例如添加更新時間等欄位。詳情請參見配置並管理即時同步任務