全部產品
Search
文件中心

DataWorks:建立Hologres資料來源

更新時間:Nov 14, 2024

若您要使用DataWorks進行Hologres任務的開發、管理,需先將您的Hologres執行個體建立為DataWorks的Hologres資料來源。建立完成後,可在DataWorks的各功能模組使用該資料來源串連Hologres執行個體,進行相應的資料同步、資料開發、資料分析等操作。

前提條件

  • 已購買Hologres執行個體並建立資料庫。操作詳情請參見購買Hologres建立資料庫

    說明

    建議購買Hologres執行個體時,地區與建立Hologres資料來源的DataWorks工作空間地區一致,如果地區不一致就只能建立為跨地區的資料來源,此類資料來源無法在DataWorks的資料開發(DataStudio)模組綁定,即無法在DataWorks的資料開發、營運中心頁面中執行對應計算任務,僅可進行資料同步任務。

  • 已購買所需的資源群組並完成資源群組配置。

    資料來源建立完成後,可用於資料同步、Hologres計算任務開發與調度、產生API提供資料服務等情境。新版通用型資源群組(推薦)僅一個資源群組即可滿足上述所有情境的應用;舊版獨享資源群組需根據使用情境(用於Data Integration、調度或資料服務)選擇相應類型資源群組購買。請提前準備好相應資源群組並完成資源群組配置,確保建立資料來源時可與資源群組網路連通。資源群組相關操作請參見資源群組管理

    說明

    Hologres執行個體僅支援使用新版資源群組及舊版獨享資源群組。

  • 已建立或加入目標工作空間。

    您需在目標工作空間中,將Hologres執行個體建立為該工作空間的資料來源,用於後續在該工作空間進行開發操作。同時,需將購買的DataWorks資源群組綁定至該工作空間,確保資料來源與資源群組網路連通。建立工作空間,詳情請參見建立並管理工作空間

    說明

    同一個Hologres執行個體可在多個DataWorks工作空間中被建立為資料來源。

使用限制

  • 僅當Hologres執行個體和DataWorks工作空間同地區、同阿里雲主帳號,且基於此執行個體建立的資料來源未開啟SSL認證,該資料來源才可用於資料開發和調度。

    重要

    若訪問Hologres執行個體時需要加密傳輸,則您可在建立資料來源時開啟SSL認證,但開啟認證後,該資料來源將無法用於資料開發和調度。

  • 跨帳號建立的資料來源(即將其他阿里雲帳號的Hologres執行個體建立為當前帳號下的資料來源),僅支援通過RAM角色的方式訪問對應Hologres執行個體,並且該資料來源不能用於資料開發和調度。

  • 僅支援使用新版資源群組及舊版獨享資源群組運行Hologres相關任務。詳情請參見新增和使用新版通用型資源群組使用舊版資源群組

操作前準備:許可權說明與配置

  1. DataWorks側許可權配置。

    建立資料來源之前,請確保操作的阿里雲帳號有DataWorks資料來源的建立許可權。滿足下列條件之一即可:

    說明

    若操作帳號(即當前登入帳號)為RAM帳號,則建立資料來源時,平台會根據您選擇的預設訪問身份,判斷該帳號是否還需具備其他許可權,具體如下:

    • 若資料來源的預設訪問身份設定為執行者,則無需再添加額外的許可權。

    • 若資料來源的預設訪問身份設定為阿里雲主帳號阿里雲RAM角色(非操作角色)阿里雲RAM子帳號(非操作帳號),則當前操作帳號需具備AdministratorAccess許可權。

  2. Hologres側許可權配置。

    在資料來源建立完成後,需要使用資料來源配置的訪問身份來訪問對應的Hologres執行個體,因此,您需確保訪問身份對應的阿里雲帳號有Hologres執行個體的操作許可權。Hologres許可權說明詳情級授權指導請參見Hologres許可權模型概述

  3. (可選)跨帳號情境下的許可權配置。(單擊展開查看詳情)

    跨阿里雲帳號建立Hologres資料來源時,僅支援通過RAM角色訪問的方式訪問對應的Hologres執行個體,且需要對對應的RAM角色配置以下權限原則。

    • 跨帳號建立資料來源情境樣本:

      本文樣本使用主帳號A登入DataWorks,通過主帳號B的Hologres執行個體建立Hologres資料來源,實現資料來源的跨帳號建立。

      • 主帳號A:開通了DataWorks,需訪問主帳號B下的Hologres。

      • 主帳號B:已開通Hologres執行個體並建立了Hologres資料庫。

    • 帳號B的RAM角色要求及許可權配置

      1. 帳號B需建立一個RAM角色並授權該角色可訪問指定Hologres執行個體。同時,RAM角色需添加帳號A為信任的雲帳號,即允許帳號A使用此RAM角色。詳情請參見RAM角色授權模式

      2. 修改RAM角色的權限原則,授權給帳號A,後續帳號A可使用此RAM角色來訪問Hologres。詳情請參見修改RAM角色的信任策略

        策略內容如下。

        {
            "Version": "1",
            "Statement": [
                {
                    "Action": [
                        "sts:AssumeRole",
                        "hologram:GetInstance",
                        "hologram:ListInstances",
                        "hologram:ListWarehouses"
                    ],
                    "Effect": "Allow",
                    "Principal": {
                        "Service": [
                            "帳號A的阿里雲帳號ID@engine.dataworks.aliyuncs.com"
                        ]
                    }
                }
            ]
        }

建立資料來源

  1. 進入資料來源頁面。

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心

    2. 進入工作空間管理中心頁面後,單擊左側導覽列的資料來源 > 資料來源列表,進入資料來源頁面。

  2. 單擊新增資料來源,選擇Hologres。在資料來源配置頁面中配置資料來源參數。

  3. 配置基礎資訊。

    您可根據介面提示配置資料來源的名稱等基礎資訊,核心配置參數如下表所示。

    說明

    標準模式工作空間,需分別建立開發環境資料來源和生產環境資料來源。工作空間模式,詳情請參見必讀:簡單模式和標準模式的區別

    參數

    說明

    資料來源名稱

    定義資料來源在DataWorks的名稱,名稱必須唯一。

    認證方式

    建立資料來源時無需配置,預設支援通過阿里雲帳號及阿里雲RAM角色身份進行認證。

    說明

    歷史建立的存量資料來源支援使用AccessID及AccessKey的認證方式,這類資料來源建議後續修改認證方式為阿里雲帳號及阿里雲RAM角色

    所屬雲帳號

    指定當前建立的資料來源對應的Hologres執行個體屬於當前阿里雲主帳號還是其他阿里雲主帳號。

    • 當前阿里雲主帳號:添加當前阿里雲主帳號下的Hologres執行個體作為當前工作空間的資料來源。

    • 其他阿里雲主帳號:添加其他阿里雲主帳號下的Hologres執行個體作為當前工作空間的資料來源。

      說明

      此方式即可實現跨帳號建立資料來源,資料來源建立完成後僅支援通過RAM角色訪問的方式執行。

    地區

    Hologres執行個體所在地區。

    說明

    若選擇的地區與當前工作空間地區不一致,則建立資料來源後,此類資料來源無法在DataWorks的資料開發(DataStudio)模組綁定,即不支援在資料開發(DataStudio)、營運中心使用,僅可用於Data Integration模組進行資料同步。

    Hologres執行個體及訪問身份配置

    所屬雲賬戶不同時,Hologres執行個體及訪問身份的配置參數不同。

    所屬帳號:當前阿里雲主帳號

    • Hologres執行個體資料庫名稱:在下拉框中選擇待添加為資料來源的Hologres執行個體,並填寫已建立的Hologres資料庫名稱。您可以登入Hologres控制台,在執行個體列表頁面進入執行個體詳情頁,查看對應資訊。

    • 預設訪問身份:用於指定後續使用什麼帳號訪問Hologres。

      • 開發環境:預設使用當前的執行者(即當前的登入帳號)訪問Hologres。

        例如在資料開發頁面中建立並調試Hologres引擎任務時,即使用當前登入資料開發頁面的阿里雲帳號訪問對應的Hologres。

      • 生產環境:您可以在下拉框中選擇使用主帳號或RAM帳號/RAM角色訪問Hologres。

        說明

        RAM角色相關操作請參見(進階)RAM角色登入並使用DataWorks

        下拉框中可選的訪問身份類型與當前操作建立Hologres資料來源的帳號有關,詳情可見介面提示。

        例如在營運中心周期性調度Hologres任務時,即使用此處配置的訪問身份訪問對應的Hologres。

    所屬帳號:其他阿里雲主帳號

    說明

    此情境為建立跨帳號的Hologres執行個體為資料來源,資料來源建立完成後,僅支援通過RAM角色的方式訪問對應Hologres。並且該類資料來源不能用於資料開發和調度。

    • 對方阿里雲主帳號UID對方RAM角色:填寫跨帳號的阿里雲帳號UID和RAM角色。後續即使用此阿里雲帳號下的RAM角色訪問對應Hologres。

    • 對方Hologres執行個體對方資料庫名稱:填寫已建立的Hologres執行個體ID、Hologres資料庫名稱。您可以登入Hologres控制台,在執行個體列表頁面進入執行個體詳情頁,查看對應資訊。

    認證選項SSL加密模式

    選擇訪問Hologres執行個體時,是否需要加密傳輸。

    若認證選項選擇SSL認證,則需先確保對應Hologres執行個體已開啟傳輸加密,否則後續串連訪問Hologres執行個體會報錯。

    重要

    開啟SSL認證的資料來源無法用於資料開發和調度。

  4. 測試資源群組連通性。

    根據使用情境不同,資源群組分為Data Integration(用於資料同步)、資料調度(用於任務調度)、資料服務(用於資料服務任務)這些類型。各類資源群組的詳細介紹請參見DataWorks資源群組概述

    您需根據資料來源後續的用途,在對應資源群組類型頁簽下,測試所需資源群組的連通性。若資源群組與資料來源無法連通,則相應資料來源任務將無法正常執行。

後續操作

為保障您的開發過程更加順暢,建議先閱讀DataWorks On Hologres使用說明,瞭解在DataWorks使用Hologres的開發流程、相關費用、環境準備、許可權控制等內容。

資料來源建立完成後,您可根據需要執行如下操作:

  • 計算任務開發與調度

    DataWorks的資料開發與營運中心模組,為您提供Hologres任務的開發與調度能力,若您需要基於該Hologres資料來源進行Hologres任務開發,或周期性調度Hologres相關任務,需先進入資料開發(DataStudio)頁面,將建立的資料來源綁定至資料開發(DataStudio)。

    說明

    僅當Hologres執行個體和DataWorks工作空間同地區、同帳號時,基於該專案建立的資料來源才可綁定至資料開發(DataStudio)。

  • 進行資料同步

    DataWorks的Data Integration模組為您提供讀取和寫入資料至Hologres的能力,您可將其他資料來源的資料同步至當前Hologres資料來源,或將當前Hologres資料來源的資料同步至其他資料來源。同時,可根據需要選擇離線同步、即時同步、同步解決方案等情境執行相關資料同步操作。

  • 增刪改查資料來源:進入資料來源管理頁面執行編輯、刪除等管理操作。