全部產品
Search
文件中心

DataWorks:建立Hologres資料來源

更新時間:Jun 28, 2024

若您要使用DataWorks進行Hologres任務的開發、管理,需先將您的Hologres執行個體建立為DataWorks的Hologres資料來源。建立完成後,可在DataWorks的各功能模組使用該資料來源串連Hologres執行個體,進行相應的資料同步、資料開發、資料分析等操作。

前提條件

  • 已購買Hologres執行個體並建立資料庫。操作詳情請參見購買Hologres建立資料庫

    說明

    建議購買Hologres執行個體時,地區與建立Hologres資料來源的DataWorks工作空間地區一致,如果地區不一致就只能建立為跨地區的資料來源,此類資料來源無法在DataWorks的資料開發(DataStudio)模組綁定,即無法在DataWorks的資料開發、營運中心頁面中執行對應計算任務,僅可進行資料同步任務。

  • 已購買所需的DataWorks資源群組並完成資源群組配置。Hologres執行個體僅支援使用獨享Data Integration資源群組、獨享調度資源群組、獨享資料服務資源群組。

    Hologres資料來源建立完成後,可用於進行資料同步、Hologres計算任務開發與調度、產生API提供資料服務等應用情境中,各應用情境需要分別使用DataWorks的Data Integration資源群組、調度資源群組、資料服務資源群組。

    您需要根據資料來源的應用情境提前準備好對應的資源群組並完成資源群組配置,在建立Hologres資料來源時確保與對應資源群組間網路連通。各資源群組的介紹與配置引導請參見DataWorks資源群組概述

  • 已建立或加入目標工作空間。

    您需在目標工作空間中,將Hologres執行個體建立為該工作空間的資料來源,用於後續在該工作空間進行開發操作。同時,需將購買的DataWorks資源群組綁定至該工作空間,確保資料來源與資源群組網路連通。建立工作空間,詳情請參見建立並管理工作空間

    說明

    同一個Hologres執行個體可在多個DataWorks工作空間中被建立為資料來源。

使用限制

  • 僅當Hologres執行個體和DataWorks工作空間同地區、屬於同一阿里雲主帳號,且資料來源未開啟SSL認證時,基於該執行個體建立的Hologres資料來源才可被資料開發綁定,即此類資料來源才可在DataWorks的資料開發、營運中心頁面中執行對應計算任務。

  • 支援跨帳號建立資料來源,即支援選擇其他阿里雲帳號下的Hologres執行個體建立為資料來源,但資料來源建立完成後僅支援通過RAM角色的方式訪問對應的Hologres執行個體。並且該類資料來源不能用於資料開發和調度。

  • 支援建立資料來源時選擇是否需要對資料來源開啟SSL認證,如果Hologres執行個體開啟了傳輸加密,您可以在建立Hologres資料來源時開啟SSL認證,但開啟認證後的Hologres資料來源不能用於資料開發和調度。

  • 僅支援使用獨享Data Integration資源群組、獨享調度資源群組運行Hologres任務;基於Hologres資料來源建立資料服務API,推薦使用獨享資料服務資源群組。獨享資源群組的購買與配置操作,詳情請參見新增和使用獨享Data Integration資源群組新增和使用獨享調度資源群組新增和使用獨享資料服務資源群組

操作前準備:許可權說明與配置

  1. DataWorks側許可權配置。

    進行建立資料來源操作前,您需確保操作的阿里雲帳號有DataWorks資料來源的建立、編輯、刪除、連通性測試等相關操作許可權。

    • 操作帳號擁有AliyunDataWorksFullAccess、AdministratorAccess許可權時,則具備相關操作許可權。

    • 如果您使用RAM帳號或RAM角色進行操作:

      • RAM帳號或RAM角色為專案所有者時,則具備相關操作許可權。

      • RAM帳號或RAM角色不是專案所有者時,您需將對應帳號添加為DataWorks工作空間的營運空間管理員角色,詳情請參見增加空間成員並管理成員角色許可權

  2. Hologres側許可權配置。

    在資料來源建立完成後,需要使用資料來源配置的訪問身份來訪問對應的Hologres執行個體,因此,您需確保訪問身份對應的阿里雲帳號有Hologres執行個體的操作許可權。Hologres許可權說明詳情級授權指導請參見Hologres許可權模型概述

  3. (可選)跨帳號情境下的許可權配置。(單擊展開查看詳情)

    跨阿里雲帳號建立Hologres資料來源時,僅支援通過RAM角色訪問的方式訪問對應的Hologres執行個體,且需要對對應的RAM角色配置以下權限原則。

    • 跨帳號建立資料來源情境樣本:

      本文樣本使用主帳號A登入DataWorks,通過主帳號B的Hologres執行個體建立Hologres資料來源,實現資料來源的跨帳號建立。

      • 主帳號A:開通了DataWorks,需訪問主帳號B下的Hologres。

      • 主帳號B:已開通Hologres執行個體並建立了Hologres資料庫。

    • 帳號B的RAM角色要求及許可權配置

      1. 帳號B需建立一個RAM角色並授權該角色可訪問指定Hologres執行個體。同時,RAM角色需添加帳號A為信任的雲帳號,即允許帳號A使用此RAM角色。詳情請參見RAM角色授權模式

      2. 修改RAM角色的權限原則,授權給帳號A,後續帳號A可使用此RAM角色來訪問Hologres。詳情請參見修改RAM角色的信任策略

        策略內容如下。

        {
            "Version": "1",
            "Statement": [
                {
                    "Action": [
                        "sts:AssumeRole",
                        "hologram:GetInstance",
                        "hologram:ListInstances",
                        "hologram:ListWarehouses"
                    ],
                    "Effect": "Allow",
                    "Principal": {
                        "Service": [
                            "帳號A的阿里雲帳號ID@engine.dataworks.aliyuncs.com"
                        ]
                    }
                }
            ]
        }

建立資料來源

  1. 進入資料來源頁面。

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心

    2. 進入工作空間管理中心頁面後,單擊左側導覽列的資料來源 > 資料來源列表,進入資料來源頁面。

  2. 單擊新增資料來源,選擇Hologres。在資料來源配置頁面中配置資料來源參數。

  3. 配置基礎資訊。

    您可根據介面提示配置資料來源的名稱等基礎資訊,核心配置參數如下表所示。

    說明

    標準模式工作空間,需分別建立開發環境資料來源和生產環境資料來源。工作空間模式,詳情請參見必讀:簡單模式和標準模式的區別

    參數

    說明

    資料來源名稱

    定義資料來源在DataWorks的名稱,名稱必須唯一。

    認證方式

    建立資料來源時無需配置,預設支援通過阿里雲帳號及阿里雲RAM角色身份進行認證。

    說明

    歷史建立的存量資料來源支援使用AccessID及AccessKey的認證方式,這類資料來源建議後續修改認證方式為阿里雲帳號及阿里雲RAM角色

    所屬雲帳號

    指定當前建立的資料來源對應的Hologres執行個體屬於當前阿里雲主帳號還是其他阿里雲主帳號。

    • 當前阿里雲主帳號:添加當前阿里雲主帳號下的Hologres執行個體作為當前工作空間的資料來源。

    • 其他阿里雲主帳號:添加其他阿里雲主帳號下的Hologres執行個體作為當前工作空間的資料來源。

      說明

      此方式即可實現跨帳號建立資料來源,資料來源建立完成後僅支援通過RAM角色訪問的方式執行。

    地區

    Hologres執行個體所在地區。

    說明

    若選擇的地區與當前工作空間地區不一致,則建立資料來源後,此類資料來源無法在DataWorks的資料開發(DataStudio)模組綁定,即不支援在資料開發(DataStudio)、營運中心使用,僅可用於Data Integration模組進行資料同步。

    Hologres執行個體及訪問身份配置

    所屬雲賬戶不同時,Hologres執行個體及訪問身份的配置參數不同。

    所屬帳號:當前阿里雲主帳號

    • Hologres執行個體資料庫名稱:在下拉框中選擇待添加為資料來源的Hologres執行個體,並填寫已建立的Hologres資料庫名稱。您可以登入Hologres控制台,在執行個體列表頁面進入執行個體詳情頁,查看對應資訊。

    • 預設訪問身份:用於指定後續使用什麼帳號訪問Hologres。

      • 開發環境:預設使用當前的執行者(即當前的登入帳號)訪問Hologres。

        例如在資料開發頁面中建立並調試Hologres引擎任務時,即使用當前登入資料開發頁面的阿里雲帳號訪問對應的Hologres。

      • 生產環境:您可以在下拉框中選擇使用主帳號或RAM帳號/RAM角色訪問Hologres。

        說明

        RAM角色相關操作請參見(進階)RAM角色登入並使用DataWorks

        下拉框中可選的訪問身份類型與當前操作建立Hologres資料來源的帳號有關,詳情可見介面提示。

        例如在營運中心周期性調度Hologres任務時,即使用此處配置的訪問身份訪問對應的Hologres。

    所屬帳號:其他阿里雲主帳號

    說明

    此情境為建立跨帳號的Hologres執行個體為資料來源,資料來源建立完成後,僅支援通過RAM角色的方式訪問對應Hologres。並且該類資料來源不能用於資料開發和調度。

    • 對方阿里雲主帳號UID對方RAM角色:填寫跨帳號的阿里雲帳號UID和RAM角色。後續即使用此阿里雲帳號下的RAM角色訪問對應Hologres。

    • 對方Hologres執行個體對方資料庫名稱:填寫已建立的Hologres執行個體ID、Hologres資料庫名稱。您可以登入Hologres控制台,在執行個體列表頁面進入執行個體詳情頁,查看對應資訊。

    認證選項加密模式

    選擇後續訪問Hologres執行個體時,是否需要加密傳輸。

    • 如果您需要選擇僅認證選項為SSL認證,則需要先確保對應Hologres執行個體已經開啟了傳輸加密,否則後續串連訪問Hologres執行個體會報錯。

    • 如果您開啟了SSL認證,則建立的資料來源不能用於資料開發和調度。

  4. 測試資源群組連通性。

    根據使用情境不同,資源群組分為Data Integration(用於資料同步)、資料調度(用於任務調度)、資料服務(用於資料服務任務)這些類型。各類資源群組的詳細介紹請參見DataWorks資源群組概述

    您需根據資料來源後續的用途,在對應資源群組類型頁簽下,測試所需資源群組的連通性。若資源群組與資料來源無法連通,則相應資料來源任務將無法正常執行。

後續操作

為保障您的開發過程更加順暢,建議先閱讀DataWorks On Hologres使用說明,瞭解在DataWorks使用Hologres的開發流程、相關費用、環境準備、許可權控制等內容。

資料來源建立完成後,您可根據需要執行如下操作:

  • 計算任務開發與調度

    DataWorks的資料開發與營運中心模組,為您提供Hologres任務的開發與調度能力,若您需要基於該Hologres資料來源進行Hologres任務開發,或周期性調度Hologres相關任務,需先進入資料開發(DataStudio)頁面,將建立的資料來源綁定至資料開發(DataStudio)。

    說明

    僅當Hologres執行個體和DataWorks工作空間同地區、同帳號時,基於該專案建立的資料來源才可綁定至資料開發(DataStudio)。

  • 進行資料同步

    DataWorks的Data Integration模組為您提供讀取和寫入資料至Hologres的能力,您可將其他資料來源的資料同步至當前Hologres資料來源,或將當前Hologres資料來源的資料同步至其他資料來源。同時,可根據需要選擇離線同步、即時同步、同步解決方案等情境執行相關資料同步操作。

  • 增刪改查資料來源:進入資料來源管理頁面執行編輯、刪除等管理操作。