即時數倉Hologres是一款相容PostgreSQL 11協議的即時數倉,與巨量資料生態無縫串連,支援高並發地即時寫入,資料寫入即可查,同時也支援離線資料的加速查詢、即時資料和離線資料聯邦分析,助力快速搭建企業級即時數倉。
Hologres資料同步說明
Hologres有著非常龐大的生態家族,支援多種異構資料來源的離線、即時寫入。
對於開源巨量資料:Hologres支援當下最流行的巨量資料開源組件,其中包括Flink、Blink和Spark等,通過內建的Hologres Connector實現高並發即時寫入。
對於資料庫類資料:Hologres與DataWorksData Integration(DataX和StreamX)深度整合,支援通過Hologres Writer和Hologres Reader,實現方便高效地將多種資料庫資料離線、即時、整庫同步至Hologres中,滿足各類企業資料同步遷移的需求。
無論是即時資料,還是離線資料,同步至Hologres之後就能使用Hologres對資料進行多維分析,例如通過JDBC或者ODBC對資料進行查詢、分析、監控,然後直接承接上遊的業務例如大屏、報表、應用等可視化展現,實現資料從寫入到服務分析一體化。具體使用流程如下所示:
常見同步方案
常見資料來源同步資料至Hologres的同步方式支援情況如下表所示,您可以根據業務情況選擇合適的同步方式。
常見資料來源 | Hologres內建同步方案 | DataWorksData Integration方式同步資料 | Flink方式同步資料 |
MaxCompute | 支援(推薦,SQL命令) | 支援 | 支援 |
OSS | 支援(推薦,SQL命令) | 支援 | 不支援 |
本地檔案 | 支援(Copy命令) | 不支援 | 不支援 |
MySQL等資料庫 | 不支援 | 支援(推薦) | 支援 |
Kafka | 不支援 | 支援 | 支援 |
DataHub | 支援(Hologres資料來源直接寫入) | 支援 | 支援 |
開源Connector支援
Hologres支援豐富的同步Connector如下表所示,並且這些Connector已經開源,請您根據業務情況自行選用。
Connector名稱 | 適用情境 |
適用於大批量資料寫入(批量、即時同步至Hologres)和高QPS點查(維表關聯)情境,基於JDBC實現,也提供C語言和GO語言版本。 | |
將執行個體部分表匯入匯出的備份工具,適用於執行個體遷移或者資料庫資料移轉的情境,也可以dump至中間儲存再恢複。 | |
適配開源DataX,依賴DataX架構,適用開源DataX將多種資料來源寫入Hologres,相比PostgreSQL Writer效能更好。 | |
對接開源Flink,Flink版本包括1.11、1.12、1.13以及後續版本,實現高效能即時寫入。 說明 阿里雲Flink支援Hologres資料來源,可以直接寫入,無需引用connector。 | |
適用於Kafka直接寫入Hologres的情境。 | |
適用於Spark(社區版以及阿里雲EMR Spark版)寫入Hologres的情境,支援Spark2.x、3.x及以上版本,提供高效能的寫入。 | |
適用於Hive寫入Hologres的情境,支援Hive2.x、3.x及以上版本,提供高效能的寫入。 |