全部產品
Search
文件中心

DataWorks:資料來源開發和生產環境隔離

更新時間:Nov 14, 2024

資料來源隔離模式可以滿足標準模式下,開發環境和生產環境的資料隔離需求。

背景資訊

同一個名稱的資料來源存在開發環境和生產環境兩套配置,在配置資料來源時,您可基於標準模式工作空間對應底層兩個資料庫或資料倉儲的背景,針對不同環境設定不同的資料來源資訊。在同步任務執行過程中,可由執行環境控制離線同步任務所訪問的資料來源對應的資料庫地址,以此實現開發環境測試和生產資料產出的資料隔離需求。關於標準模式工作空間的介紹,詳情請參見必讀:簡單模式和標準模式的區別

  • 標準模式工作空間下,DataStudio介面與開發環境營運中心預設訪問開發環境資料來源指向的資料來源。

  • 生產調度環境下,生產環境營運中心介面任務執行預設訪問生產環境資料來源指向的資料來源。

樣本

說明
  • 由於開發環境和生產環境資料來源配置的資料庫、帳號密碼等可以不一致,所以可能導致DataStudio介面執行成功,生產環境調度時由於資料來源差異導致資料同步失敗的問題。請在配置資料來源時,確認開發資料來源對應的資料庫或資料倉儲與生產資料來源對應的資料庫或資料倉儲環境是否符合業務現狀。例如出現DataStudio執行成功,生產調度時執行失敗,或DataStudio執行與生產調度時執行資料量不一致等問題時,您可對比開發環境執行成功的日誌與生產環境的報錯日誌進行比對排查。

  • 由於任務最終將發布生產環境執行,若資料來源開發環境與生產環境配置不一致,請確保資源群組可分別與開發資料來源和生產資料來源連通。

新增資料來源隔離模式後,對工作空間有以下影響:

  • 僅標準模式工作空間支援資料來源開發生產隔離,即開發環境和生產環境可以配置不同的資料庫或資料倉儲。

    說明

    簡單模式工作空間僅一個環境,無法做到開發生產隔離,關於工作空間模式說明,詳情請參見:情境:工作空間模式升級(簡單模式升級標準模式)

  • 簡單模式升級標準模式時,會將資料來源拆分成生產環境和開發環境隔離的模式。

操作步驟

  1. 進入資料來源頁面。

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心

    2. 進入工作空間管理中心頁面後,單擊左側導覽列的資料來源,進入資料來源頁面。

  2. 頁面功能

    描述

    批量新增資料來源

    目前僅支援MySQL、PolarDB、SQLServer和Oracle資料來源。

    您可以下載相應資料來源的模板,根據模板中的格式填寫內容,選擇上傳檔案進行建立操作,文字框中會顯示添加詳情。模板內容:顯示資料來源類型、資料來源名稱、資料來源描述、環境類別(0開發、1生產)、連結地址。

    說明

    同一個開發環境和生產環境的資料來源名稱必須一致。

    新增資料來源

    • 開發環境可用的資料來源:可以在建立資料同步節點時選擇並在開發環境運行,但無法提交到生產環境或在生產環境運行。

    • 生產環境可用的資料來源:只允許在生產環境運行時使用,不可以在建立資料同步節點時選擇。

    適用環境

    簡單模式下的工作空間不顯示該配置。

    操作

    • 建立:如果不存在適用環境下的資料來源,顯示建立

    • 編輯刪除:如果存在適用環境下的資料來源,則顯示編輯刪除按鈕。

      • 刪除開發環境和生產環境的資料來源:需確認是否存在生產環境關聯的同步任務,操作無法復原,刪除後,在開發環境配置同步任務時此資料來源不可見。

        如果生產環境在使用此資料來源配置的同步任務,刪除後,生產環境任務不可正常運行。請刪除同步任務後再刪除此資料來源。

      • 刪除開發環境的資料來源:需確認是否存在生產環境關聯的同步任務,操作無法復原,刪除後,在開發環境配置同步任務時此資料來源不可見。

        如果在生產環境使用此資料來源配置的同步任務,刪除後,任務編輯時將不能擷取到中繼資料資訊,但生產環境任務可以正常運行。

      • 刪除生產環境的資料來源:需確認是否存在生產環境關聯的同步任務,刪除後,在開發環境使用此資料來源配置的同步任務將不能提交生產發布。

        如果生產環境在使用此資料來源配置的同步任務,刪除後,生產環境任務不可正常運行。

    選擇

    勾選後,可以進行批量測試連通性和大量刪除操作。