全部產品
Search
文件中心

Hologres:一鍵表資料同步

更新時間:Nov 26, 2024

本文為您介紹如何使用DataStudio匯入MaxCompute資料至Hologres。

前提條件

已在DataWorks中建立對應的Hologres資料來源,並將其綁定至資料開發(DataStudio)模組,詳情請參見綁定Hologres執行個體

背景資訊

DataStudio支援一鍵MaxCompute資料同步功能,您可以使用可視化方式匯入MaxCompute表資料並進行查詢。該方式比建立外部表格直接查詢資料的效能更好。

您也可以使用SQL語句匯入MaxCompute資料,詳情請參見使用SQL從MaxCompute匯入

操作步驟

  1. 建立一鍵MaxCompute資料同步節點。

    1. 進入資料開發頁面。

      登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

    2. DataStudio介面的左側導覽列,單擊image,進入資料開發頁面。

    3. 單擊頂部功能表列的建立,選擇建立節點>Hologres>一鍵MaxCompute資料同步

    4. 建立節點對話方塊中,選擇引擎執行個體路徑,並輸入名稱,單擊確認

  2. 在編輯節點頁面,配置各項參數。

    參數

    配置項

    說明

    MaxCompute源表選擇

    目標串連

    已綁定的Hologres資料來源名稱。

    目標庫

    Hologres執行個體下的資料庫名稱。

    外部表格來源

    • 已有外部表格

      已經提前在Hologres中建立映射MaxCompute資料的外部表格。

    • 建立外部表格

      表示無相應的外部表格,需要同步時建立。

    外部Schema

    Hologres中已建立的MaxCompute外部表格所在的Schema。

    外部表格來源選擇已有外部表格時,需要配置此參數。

    外部表格表名字

    Hologres中已建立的MaxCompute外部表格名稱。

    外部表格來源選擇已有外部表格時,需要配置此參數。

    外部伺服器

    Hologres執行個體建立成功後會自動建立名稱為odps_server的伺服器, 可以直接調用,相關原理請參見postgres_fdw

    外部表格來源選擇建立外部表格時,需要配置此參數。

    MaxCompute專案

    MaxCompute的專案名稱。

    外部表格來源選擇建立外部表格時,需要配置此參數。

    MaxCompute表名

    同步資料的MaxCompute表名稱。

    外部表格來源選擇建立外部表格時,需要配置此參數。

    目標表設定

    目標Schema

    當前Hologres資料庫下的Schema名稱。

    目標表名

    需要匯入資料的Hologres內部表名稱。若表名稱已存在,執行後原表和資料將被刪除重建。

    目標表描述

    自訂添加需要匯入資料的Hologres內部表的描述。

    匯入GUC參數設定

    GUC參數

    匯入MaxCompute資料前需要設定的GUC參數,支援的GUC參數請見GUC參數。其餘SQL均不支援。

    同步設定

    同步欄位

    選擇需要同步的MaxCompute表欄位,可以選擇全部欄位,也可以選擇部分欄位。

    分區配置

    選擇需要同步的分區欄位。當前Hologres僅支援一級分區。

    MaxCompute的多級分區,在Hologres中設定為一級分區,其餘分區自動對應為Hologres的普通欄位。

    索引配置

    為目標表構建索引。索引的建立請參見建表概述

    SQL Script

    SQL Script

    自動解析出當前啟動並執行SQL,方便參照。

  3. 在編輯節點頁面單擊儲存表徵圖,儲存配置資訊。

  4. 在編輯節點頁面單擊運行表徵圖,運行同步任務,匯入MaxCompute表資料。

  5. 查看同步的MaxCompute表資料。

    1. 在左側導覽列,單擊PG管理表徵圖,進入表管理頁面。

    2. 雙擊需要查看的Hologres內部表,顯示錶編輯頁面。

      說明

      若表管理頁面未顯示目標表,您需要在DataWorks資料地圖中進行Hologres中繼資料採集,詳情請參見資料地圖

  6. (可選)周期性調度。

    1. 在節點的編輯頁面,單擊節點編輯地區右側的調度配置,配置節點的調度屬性,詳情請參見配置基礎屬性

    2. 在節點的編輯頁面,單擊工具列中的儲存表徵圖,儲存節點。

    3. 單擊工具列中的提交表徵圖,提交節點。

    4. 提交新版本對話方塊中,輸入變更描述,單擊確認