全部產品
Search
文件中心

:資料同步概述

更新時間:Jun 30, 2024

即時數倉Hologres是一款相容PostgreSQL 11協議的即時數倉,與巨量資料生態無縫串連,支援高並發地即時寫入,資料寫入即可查,同時也支援離線資料的加速查詢、即時資料和離線資料聯邦分析,助力快速搭建企業級即時數倉。

Hologres資料同步說明

Hologres有著非常龐大的生態家族,支援多種異構資料來源的離線、即時寫入。

  • 對於開源巨量資料:Hologres支援當下最流行的巨量資料開源組件,其中包括Flink、Blink和Spark等,通過內建的Hologres Connector實現高並發即時寫入。

  • 對於資料庫類資料:Hologres與DataWorksData Integration(DataX和StreamX)深度整合,支援通過Hologres WriterHologres Reader,實現方便高效地將多種資料庫資料離線、即時、整庫同步至Hologres中,滿足各類企業資料同步遷移的需求。

無論是即時資料,還是離線資料,同步至Hologres之後就能使用Hologres對資料進行多維分析,例如通過JDBC或者ODBC對資料進行查詢、分析、監控,然後直接承接上遊的業務例如大屏、報表、應用等可視化展現,實現資料從寫入到服務分析一體化。具體使用流程如下所示:操作流程

常見同步方案

常見資料來源同步資料至Hologres的同步方式支援情況如下表所示,您可以根據業務情況選擇合適的同步方式。

常見資料來源

Hologres內建同步方案

DataWorksData Integration方式同步資料

Flink方式同步資料

MaxCompute

支援(推薦,SQL命令)

支援

支援

OSS

支援(推薦,SQL命令)

支援

不支援

本地檔案

支援(Copy命令)

不支援

不支援

MySQL等資料庫

不支援

支援(推薦)

支援

Kafka

不支援

支援

支援

DataHub

支援(Hologres資料來源直接寫入)

支援

支援

開源Connector支援

Hologres支援豐富的同步Connector如下表所示,並且這些Connector已經開源,請您根據業務情況自行選用。

Connector名稱

適用情境

Holo Client

適用於大批量資料寫入(批量、即時同步至Hologres)和高QPS點查(維表關聯)情境,基於JDBC實現,也提供C語言和GO語言版本。

Holo Shipper

將執行個體部分表匯入匯出的備份工具,適用於執行個體遷移或者資料庫資料移轉的情境,也可以dump至中間儲存再恢複。

Holo-datax-writer

適配開源DataX,依賴DataX架構,適用開源DataX將多種資料來源寫入Hologres,相比PostgreSQL Writer效能更好。

Holo-flink-connector

對接開源Flink,Flink版本包括1.11、1.12、1.13以及後續版本,實現高效能即時寫入。

說明

阿里雲Flink支援Hologres資料來源,可以直接寫入,無需引用connector。

Holo-Kafka-connector

適用於Kafka直接寫入Hologres的情境。

Holo-Spark-connector

適用於Spark(社區版以及阿里雲EMR Spark版)寫入Hologres的情境,支援Spark2.x、3.x及以上版本,提供高效能的寫入。

Holo-Hive-connector

適用於Hive寫入Hologres的情境,支援Hive2.x、3.x及以上版本,提供高效能的寫入。