若您要使用DataWorks進行Hologres任務的開發、管理,需先將您的Hologres執行個體建立為DataWorks的Hologres資料來源。建立完成後,可在DataWorks的各功能模組使用該資料來源串連Hologres執行個體,進行相應的資料同步、資料開發、資料分析等操作。
前提條件
已購買Hologres執行個體並建立資料庫。操作詳情請參見購買Hologres、建立資料庫。
說明建議購買Hologres執行個體時,地區與建立Hologres資料來源的DataWorks工作空間地區一致,如果地區不一致就只能建立為跨地區的資料來源,此類資料來源無法在DataWorks的資料開發(DataStudio)模組綁定,即無法在DataWorks的資料開發、營運中心頁面中執行對應計算任務,僅可進行資料同步任務。
已購買所需的資源群組並完成資源群組配置。
資料來源建立完成後,可用於資料同步、Hologres計算任務開發與調度、產生API提供資料服務等情境。新版通用型資源群組(推薦)僅一個資源群組即可滿足上述所有情境的應用;舊版獨享資源群組需根據使用情境(用於Data Integration、調度或資料服務)選擇相應類型資源群組購買。請提前準備好相應資源群組並完成資源群組配置,確保建立資料來源時可與資源群組網路連通。資源群組相關操作請參見資源群組管理。
說明Hologres執行個體僅支援使用新版資源群組及舊版獨享資源群組。
已建立或加入目標工作空間。
您需在目標工作空間中,將Hologres執行個體建立為該工作空間的資料來源,用於後續在該工作空間進行開發操作。同時,需將購買的DataWorks資源群組綁定至該工作空間,確保資料來源與資源群組網路連通。建立工作空間,詳情請參見建立並管理工作空間。
說明同一個Hologres執行個體可在多個DataWorks工作空間中被建立為資料來源。
使用限制
僅當Hologres執行個體和DataWorks工作空間同地區、同阿里雲主帳號,且基於此執行個體建立的資料來源未開啟SSL認證,該資料來源才可用於資料開發和調度。
重要若訪問Hologres執行個體時需要加密傳輸,則您可在建立資料來源時開啟SSL認證,但開啟認證後,該資料來源將無法用於資料開發和調度。
跨帳號建立的資料來源(即將其他阿里雲帳號的Hologres執行個體建立為當前帳號下的資料來源),僅支援通過RAM角色的方式訪問對應Hologres執行個體,並且該資料來源不能用於資料開發和調度。
僅支援使用新版資源群組及舊版獨享資源群組運行Hologres相關任務。詳情請參見新增和使用新版通用型資源群組、使用舊版資源群組。
操作前準備:許可權說明與配置
DataWorks側許可權配置。
建立資料來源之前,請確保操作的阿里雲帳號有DataWorks資料來源的建立許可權。滿足下列條件之一即可:
操作帳號是阿里雲主帳號。
操作帳號是RAM帳號或RAM角色,且擁有
AliyunDataWorksFullAccess
許可權。詳情請參見為RAM使用者授權、為RAM角色授權。操作帳號是RAM帳號或RAM角色,且擁有DataWorks工作空間的專案所有者、營運或空間管理員角色,詳情請參見增加空間成員並管理成員角色許可權。
說明若操作帳號(即當前登入帳號)為RAM帳號,則建立資料來源時,平台會根據您選擇的預設訪問身份,判斷該帳號是否還需具備其他許可權,具體如下:
若資料來源的預設訪問身份設定為執行者,則無需再添加額外的許可權。
若資料來源的預設訪問身份設定為阿里雲主帳號、阿里雲RAM角色(非操作角色)、阿里雲RAM子帳號(非操作帳號),則當前操作帳號需具備
AdministratorAccess
許可權。
Hologres側許可權配置。
在資料來源建立完成後,需要使用資料來源配置的訪問身份來訪問對應的Hologres執行個體,因此,您需確保訪問身份對應的阿里雲帳號有Hologres執行個體的操作許可權。Hologres許可權說明詳情級授權指導請參見Hologres許可權模型概述。
建立資料來源
進入資料來源頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心。
進入工作空間管理中心頁面後,單擊左側導覽列的
,進入資料來源頁面。
單擊新增資料來源,選擇Hologres。在資料來源配置頁面中配置資料來源參數。
配置基礎資訊。
您可根據介面提示配置資料來源的名稱等基礎資訊,核心配置參數如下表所示。
說明標準模式工作空間,需分別建立開發環境資料來源和生產環境資料來源。工作空間模式,詳情請參見必讀:簡單模式和標準模式的區別。
參數
說明
資料來源名稱
定義資料來源在DataWorks的名稱,名稱必須唯一。
認證方式
建立資料來源時無需配置,預設支援通過阿里雲帳號及阿里雲RAM角色身份進行認證。
說明歷史建立的存量資料來源支援使用AccessID及AccessKey的認證方式,這類資料來源建議後續修改認證方式為阿里雲帳號及阿里雲RAM角色。
所屬雲帳號
指定當前建立的資料來源對應的Hologres執行個體屬於當前阿里雲主帳號還是其他阿里雲主帳號。
當前阿里雲主帳號:添加當前阿里雲主帳號下的Hologres執行個體作為當前工作空間的資料來源。
其他阿里雲主帳號:添加其他阿里雲主帳號下的Hologres執行個體作為當前工作空間的資料來源。
說明此方式即可實現跨帳號建立資料來源,資料來源建立完成後僅支援通過RAM角色訪問的方式執行。
地區
Hologres執行個體所在地區。
說明若選擇的地區與當前工作空間地區不一致,則建立資料來源後,此類資料來源無法在DataWorks的資料開發(DataStudio)模組綁定,即不支援在資料開發(DataStudio)、營運中心使用,僅可用於Data Integration模組進行資料同步。
Hologres執行個體及訪問身份配置
所屬雲賬戶不同時,Hologres執行個體及訪問身份的配置參數不同。
所屬帳號:當前阿里雲主帳號
Hologres執行個體、資料庫名稱:在下拉框中選擇待添加為資料來源的Hologres執行個體,並填寫已建立的Hologres資料庫名稱。您可以登入Hologres控制台,在執行個體列表頁面進入執行個體詳情頁,查看對應資訊。
預設訪問身份:用於指定後續使用什麼帳號訪問Hologres。
開發環境:預設使用當前的執行者(即當前的登入帳號)訪問Hologres。
例如在資料開發頁面中建立並調試Hologres引擎任務時,即使用當前登入資料開發頁面的阿里雲帳號訪問對應的Hologres。
生產環境:您可以在下拉框中選擇使用主帳號或RAM帳號/RAM角色訪問Hologres。
說明RAM角色相關操作請參見(進階)RAM角色登入並使用DataWorks。
下拉框中可選的訪問身份類型與當前操作建立Hologres資料來源的帳號有關,詳情可見介面提示。
例如在營運中心周期性調度Hologres任務時,即使用此處配置的訪問身份訪問對應的Hologres。
所屬帳號:其他阿里雲主帳號
說明此情境為建立跨帳號的Hologres執行個體為資料來源,資料來源建立完成後,僅支援通過RAM角色的方式訪問對應Hologres。並且該類資料來源不能用於資料開發和調度。
對方阿里雲主帳號UID、對方RAM角色:填寫跨帳號的阿里雲帳號UID和RAM角色。後續即使用此阿里雲帳號下的RAM角色訪問對應Hologres。
對方Hologres執行個體、對方資料庫名稱:填寫已建立的Hologres執行個體ID、Hologres資料庫名稱。您可以登入Hologres控制台,在執行個體列表頁面進入執行個體詳情頁,查看對應資訊。
認證選項與SSL加密模式
選擇訪問Hologres執行個體時,是否需要加密傳輸。
若認證選項選擇SSL認證,則需先確保對應Hologres執行個體已開啟傳輸加密,否則後續串連訪問Hologres執行個體會報錯。
重要開啟SSL認證的資料來源無法用於資料開發和調度。
測試資源群組連通性。
根據使用情境不同,資源群組分為Data Integration(用於資料同步)、資料調度(用於任務調度)、資料服務(用於資料服務任務)這些類型。各類資源群組的詳細介紹請參見DataWorks資源群組概述。
您需根據資料來源後續的用途,在對應資源群組類型頁簽下,測試所需資源群組的連通性。若資源群組與資料來源無法連通,則相應資料來源任務將無法正常執行。
後續操作
為保障您的開發過程更加順暢,建議先閱讀DataWorks On Hologres使用說明,瞭解在DataWorks使用Hologres的開發流程、相關費用、環境準備、許可權控制等內容。
資料來源建立完成後,您可根據需要執行如下操作:
DataWorks的資料開發與營運中心模組,為您提供Hologres任務的開發與調度能力,若您需要基於該Hologres資料來源進行Hologres任務開發,或周期性調度Hologres相關任務,需先進入資料開發(DataStudio)頁面,將建立的資料來源綁定至資料開發(DataStudio)。
說明僅當Hologres執行個體和DataWorks工作空間同地區、同帳號時,基於該專案建立的資料來源才可綁定至資料開發(DataStudio)。
DataWorks的Data Integration模組為您提供讀取和寫入資料至Hologres的能力,您可將其他資料來源的資料同步至當前Hologres資料來源,或將當前Hologres資料來源的資料同步至其他資料來源。同時,可根據需要選擇離線同步、即時同步、同步解決方案等情境執行相關資料同步操作。
增刪改查資料來源:進入資料來源管理頁面執行編輯、刪除等管理操作。