全部產品
Search
文件中心

DataWorks:建立Data Integration資料來源

更新時間:Oct 24, 2024

DataWorks支援眾多資料來源作為Data Integration的輸入與輸出資料來源,可通過Data Integration模組的資料來源為Data Integration任務建立資料來源,本文為您介紹Data Integration側資料來源建立方式。

許可權控制

僅擁有營運空間管理員角色的空間成員,以及擁有AliyunDataWorksFullAccessAdministratorAccess權限原則的RAM角色可建立資料來源,授權詳情請參見空間級模組許可權管控為RAM使用者授權

除上述許可權外,部分資料來源建立時還會存在其他許可權控制,請根據介面提示進行授權。

支援的資料來源類型

DataWorksData Integration目前支援的資料來源可參考支援的資料來源及同步方案

說明

DataWorksData Integration功能在使用不同資料來源時存在差異,具體以實際頁面為準。

建立Data Integration資料來源

  1. 進入Data Integration頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > Data Integration,在下拉框中選擇對應工作空間後單擊進入Data Integration

  2. 單擊左側導覽列中的資料來源,進入資料來源列表頁面。

  3. 在資料來源列表頁面,可根據需要選擇新增資料來源批量新增資料來源

    建立單個資料來源

    1. 單擊新增資料來源,選擇需要建立的資料來源類型並配置資料來源資訊。不同資料來源的配置存在差異,詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

    2. 測試資源群組連通性(可選)。

      串連配置地區,找到工作空間綁定的資源群組,單擊連通狀態列的測試連通性

      說明

      資源群組的詳細介紹,請參見DataWorks資源群組概述

      • 如果顯示可連通,則單擊完成

      • 如果顯示無法連通,表示資源群組與資料來源無法連通,後續相應資料來源任務將無法正常執行。

        您需要根據右側彈出的連通性診斷工具視窗,自助解決連通性問題,如果連通性診斷工具未給出具體解決辦法,請檢查您設定的帳號、密碼、串連地址等參數,以及確保將資源群組的IP地址加入到資料來源的白名單中。更多資訊,請參見網路連通

    大量建立資料來源

    單擊批量新增資料來源,按如下步驟選擇需要建立的資料來源類型並配置資料來源資訊。目前僅支援大量建立HiveMySQLPolarDBSQLServerOracle資料來源。

    1. 選擇相應資料來源並下載該資料來源的配置資訊模板。

      建立資料來源的方式不同(串連串模式執行個體模式),則模板配置資訊不同,具體請以實際介面為準。

    2. 根據模板格式填寫資料來源資訊。

    3. 填寫完後上傳模板檔案並啟動建立資料來源。

      建立資料來源時,您可根據介面文字框的提示,查看資料來源的建立進度及詳情。若建立失敗,請基於相應報錯解決處理。

說明
  • DataWorks支援通過串連串模式執行個體模式建立資料來源,不同建立方式的配置資訊存在差異,請根據需要選擇。

    當使用串連串模式配置資料來源時,DataWorks會對資料來源的JDBC URL進行解析。若JDBC URL中包含DataWorks暫不支援的參數,DataWorks會將該參數移除。若您希望在JDBC URL中繼續使用DataWorks不支援的參數,則請提交工單聯絡技術支援人員諮詢。

  • 同一個資料來源名稱可分別配置開發環境資料來源、生產環境資料來源,且不同環境的資料來源配置是相互獨立的。

  • 更多Data Integration資料來源建立與介紹請參見:資料來源列表

管理Data Integration資料來源

資料來源列表頁面,您可根據資料來源類型資料來源名稱對已建立的資料來源進行篩選,同時支援對資料來源進行編輯複製許可權管理以及刪除操作。

image

  • 編輯:可根據需要修改資料來源的配置資訊。資料來源的名稱及適用環境無法更改。

  • 刪除:可根據需要刪除無需使用的資料來源,刪除資料來源對DataWorks不同模組功能的影響如下:

    • 刪除資料來源時需確認是否存在Data Integration任務。若存在,刪除該資料來源後,會導致Data Integration任務運行失敗。

    • 如果資料來源已授權跨工作空間的使用者使用,則刪除資料來源後,跨工作空間使用該資料來源的任務會執行失敗。

  • 複製:可通過複製功能,快速產生一個與當前資料來源配置資訊相同的新資料來源。

    說明

    複製的新資料來源的名稱需要重新定義,不能與當前資料來源名稱相同。

  • 許可權管理:您可通過資料來源的許可權管理功能,授權其他工作空間下的某使用者使用當前資料來源。授權後,該使用者擁有資料來源的查看及使用許可權,但無法編輯資料來源。詳情請參見管理資料來源許可權

    說明

    若授權某個工作空間擁有資料來源許可權,則工作空間中的所有成員均擁有該資料來源的查看及使用許可權。

附錄:不同方式建立資料來源說明

標準模式工作空間下,同一個名稱的資料來源存在開發環境和生產環境兩套配置,兩套配置可對應底層兩個資料庫/資料倉儲,針對不同環境您可設定不同的資料來源資訊,使測試與生產調度操作的資料來源隔離,以保護生產資料的安全。例如,執行離線同步任務時,可由運行環境控制任務所訪問的資料庫地址(配置生產、開發資料來源對應不同資料庫),實現開發環境和生產環境的資料隔離。

空間模式

Data Integration側建立資料來源

管理中心側建立資料來源

標準模式工作空間

僅建立生產環境資料來源。

可同時建立生產環境與開發環境資料來源。

簡單模式工作空間

單模式工作空間僅擁有一個環境,在Data Integration側建立的資料來源與管理中心側建立的資料來源之間無區別。

說明

若在標準工作空間下,需建立開發態資料來源,需前往專案管理中進行配置,詳情請參見:建立並管理資料來源