DataWorks支援眾多資料來源作為Data Integration的輸入與輸出資料來源,可通過Data Integration模組的資料來源為Data Integration任務建立資料來源,本文為您介紹Data Integration側資料來源建立方式。
許可權控制
僅擁有營運或空間管理員角色的空間成員,以及擁有AliyunDataWorksFullAccess、AdministratorAccess權限原則的RAM角色可建立資料來源,授權詳情請參見空間級模組許可權管控,為RAM使用者授權。
除上述許可權外,部分資料來源建立時還會存在其他許可權控制,請根據介面提示進行授權。
支援的資料來源類型
DataWorksData Integration目前支援的資料來源可參考支援的資料來源及同步方案。
DataWorksData Integration功能在使用不同資料來源時存在差異,具體以實際頁面為準。
建立Data Integration資料來源
進入Data Integration頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入Data Integration。
單擊左側導覽列中的資料來源,進入資料來源列表頁面。
在資料來源列表頁面,可根據需要選擇新增資料來源或批量新增資料來源。
建立單個資料來源
單擊新增資料來源,選擇需要建立的資料來源類型並配置資料來源資訊。不同資料來源的配置存在差異,詳細的配置參數解釋可在配置介面查看對應參數的文案提示。
測試資源群組連通性(可選)。
在串連配置地區,找到工作空間綁定的資源群組,單擊連通狀態列的測試連通性。
說明資源群組的詳細介紹,請參見DataWorks資源群組概述。
如果顯示可連通,則單擊完成。
如果顯示無法連通,表示資源群組與資料來源無法連通,後續相應資料來源任務將無法正常執行。
您需要根據右側彈出的連通性診斷工具視窗,自助解決連通性問題,如果連通性診斷工具未給出具體解決辦法,請檢查您設定的帳號、密碼、串連地址等參數,以及確保將資源群組的IP地址加入到資料來源的白名單中。更多資訊,請參見網路連通。
大量建立資料來源
單擊批量新增資料來源,按如下步驟選擇需要建立的資料來源類型並配置資料來源資訊。目前僅支援大量建立Hive、MySQL、PolarDB、SQLServer和Oracle資料來源。
選擇相應資料來源並下載該資料來源的配置資訊模板。
建立資料來源的方式不同(串連串模式或執行個體模式),則模板配置資訊不同,具體請以實際介面為準。
根據模板格式填寫資料來源資訊。
填寫完後上傳模板檔案並啟動建立資料來源。
建立資料來源時,您可根據介面文字框的提示,查看資料來源的建立進度及詳情。若建立失敗,請基於相應報錯解決處理。
管理Data Integration資料來源
在資料來源列表頁面,您可根據資料來源類型和資料來源名稱對已建立的資料來源進行篩選,同時支援對資料來源進行編輯、複製、許可權管理以及刪除操作。
編輯:可根據需要修改資料來源的配置資訊。資料來源的名稱及適用環境無法更改。
刪除:可根據需要刪除無需使用的資料來源,刪除資料來源對DataWorks不同模組功能的影響如下:
刪除資料來源時需確認是否存在Data Integration任務。若存在,刪除該資料來源後,會導致Data Integration任務運行失敗。
如果資料來源已授權跨工作空間的使用者使用,則刪除資料來源後,跨工作空間使用該資料來源的任務會執行失敗。
複製:可通過複製功能,快速產生一個與當前資料來源配置資訊相同的新資料來源。
說明複製的新資料來源的名稱需要重新定義,不能與當前資料來源名稱相同。
許可權管理:您可通過資料來源的許可權管理功能,授權其他工作空間下的某使用者使用當前資料來源。授權後,該使用者擁有資料來源的查看及使用許可權,但無法編輯資料來源。詳情請參見管理資料來源許可權。
說明若授權某個工作空間擁有資料來源許可權,則工作空間中的所有成員均擁有該資料來源的查看及使用許可權。
附錄:不同方式建立資料來源說明
標準模式工作空間下,同一個名稱的資料來源存在開發環境和生產環境兩套配置,兩套配置可對應底層兩個資料庫/資料倉儲,針對不同環境您可設定不同的資料來源資訊,使測試與生產調度操作的資料來源隔離,以保護生產資料的安全。例如,執行離線同步任務時,可由運行環境控制任務所訪問的資料庫地址(配置生產、開發資料來源對應不同資料庫),實現開發環境和生產環境的資料隔離。
空間模式 | Data Integration側建立資料來源 | 管理中心側建立資料來源 |
標準模式工作空間 | 僅建立生產環境資料來源。 | 可同時建立生產環境與開發環境資料來源。 |
簡單模式工作空間 | 單模式工作空間僅擁有一個環境,在Data Integration側建立的資料來源與管理中心側建立的資料來源之間無區別。 |