全部產品
Search
文件中心

DataWorks:必讀:簡單模式和標準模式的區別

更新時間:Jun 19, 2024

為方便不同安全管控要求的使用者生產資料,DataWorks為您提供簡單模式和標準模式兩種工作空間模式。本文從簡單模式工作空間與標準模式工作空間物理形態、對開發行為的影響等多個維度為您介紹兩種模式工作空間的區別。

背景資訊

本文內容由以下幾部分構成,分別為您解決不同的問題。

分類

說明

簡單模式與標準模式介紹

不同工作空間模式的物理形態介紹。

不同模式工作空間對生產任務開發與營運的影響

DataWorks建立於對應工作空間物理屬性之上的任務開發與營運機制介紹。

不同模式工作空間的優劣勢對比

不同工作空間模式的優劣勢對比。

標準模式工作空間對使用流程的影響圖示

以角色扮演的方式為您介紹標準模式工作空間下各角色各司其職實現的流程管控。

不同工作空間模式下,DataWorks模組對應操作的資料來源

簡單模式僅有生產環境,標準模式有開發環境和生產環境,此部分為您介紹各個環境與DataWorks模組的對應關係。

簡單模式如何?開發與生產隔離

若您已經在使用簡單模式工作空間,並希望實現簡單模式開發與生產隔離,您可參考該部分內容。

注意事項

  • 不同工作空間模式對於建立資料來源存在一定的要求,標準模式工作空間需要分別為開發環境和生產環境建立物理隔離的資料來源,才可以實現開發生產環境隔離。關於工作空間建立資料來源的詳情請參見:建立並管理資料來源

  • 是否可跨專案、跨資料庫訪問資源與資料來源本身特性有關。若建立資料來源時,開發環境與生產環境建立不同的資料來源,那麼在DataWorks開發環境是否可訪問生產環境下的表、資源、函數等,與資料來源本身特性有關。

  • 標準模式工作空間下,開發環境的任務預設不進行周期調度,僅發布至生產環境後可進行周期調度。

簡單模式與標準模式介紹

您可以從以下維度對比瞭解簡單模式與標準模式的物理形態。

說明

您可選擇建立任意模式工作空間體驗DataWorks,但建議您在實際開發時,使用標準模式工作空間實現DataWorks開發環境與生產環境代碼隔離、不同環境計算資源隔離、許可權隔離、任務發布流程管控等需求。

若您已在使用簡單模式工作空間,並且希望保留當前簡單模式工作空間的代碼時,可選擇工作空間模式升級,詳情請參見情境:工作空間模式升級(簡單模式升級標準模式)

本文從以下維度為您對比介紹簡單模式與標準模式工作空間。

維度

簡單模式

標準模式(推薦)

添加的資料來源個數

一個DataWorks工作空間對應一個資料來源。簡單模式

一個DataWorks工作空間對應兩個資料來源,可以將開發和生產環境的資料來源隔離。

說明

您需要分別為開發環境和生產環境建立物理隔離的資料來源,才可以實現開發生產環境隔離。

標準模式

對應DataWorks的環境

一個資料來源為DataWorks的生產環境。

兩個資料來源中,其中一個資料來源作為DataWorks開發環境,另一個作為DataWorks生產環境。

說明

開發環境與生產環境可以分別建立不同的資料來源,例如:

  • 開發與生產環境添加不同的雲執行個體。

  • 開發與生產環境添加同一個雲執行個體的不同專案或資料庫。

不同模式工作空間對生產任務開發與營運的影響

對比

簡單模式

標準模式(推薦)

生產任務開發流程管控差異

任務提交後,您無需發布,即可進入調度系統周期性執行,產出結果資料。

(提交-->生產)

簡單模式

任務需要先提交至開發環境,再執行發佈動作,將任務發布至生產環境,才可以自動調度運行任務。

(提交-->發布-->生產)

說明

標準模式下僅生產環境的任務才會自動調度。

標準模式

生產任務營運許可權管控差異

開發人員可直接編輯生產任務的代碼。

開發人員只能在資料開發介面編輯代碼並且提交,但是不能將代碼直接發布到生產環境,發布生產的操作需要有營運許可權(專案所有者、管理員、營運這幾類角色擁有此許可權)。

  • 所有代碼僅支援在開發環境編輯,無法修改生產環境的代碼。

  • 您可基於標準模式工作空間特性,以及DataWorks角色許可權體系來規劃與管控DataWorks上任務開發與營運流程。詳情請參見:情境樣本:標準模式對使用流程的影響

生產資料許可權管控差異

開發人員可直接使用生產資料進行測試,無法保障生產資料安全。

開發人員在開發環境可使用測試資料進行測試,也可通過授權或申請許可權,在開發環境使用生產表資料進行驗證。

說明
  • 僅MaxCompute支援在資訊安全中心可視化申請使用生產表資料許可權。MaxCompute資料存取權限控制,詳情請參見MaxCompute資料許可權控制詳情

  • 是否可跨專案、跨資料庫訪問資源與資料來源本身特性有關。若建立資料來源時,開發環境與生產環境建立了不同的資料來源,那麼在DataWorks開發環境是否可訪問生產環境下的表、資源、函數等,由資料來源本身特性有關。

資料訪問身份差異

使用統一身份直接操作生產環境。

MaxCompute、Hologres、EMR、CDH等訪問身份包括:阿里雲主帳號、RAM使用者、RAM角色(僅MaxCompute支援),任務責任人。

說明

非上述叢集,例如,AnalyticDB for MySQL、AnalyticDB for PostgreSQL等引擎與您建立資料來源時不同環境綁定的帳號有關,許可權與帳號在資料庫中的許可權一致。

  • 開發環境:預設為任務執行者(即當前登入使用者)進行任務測試。

  • 生產環境:統一使用指定的身份執行調度任務。您可在Data Integration > 資料來源中,找到目標資料來源後,修改訪問身份。

說明

MaxCompute、Hologres、EMR、CDH

  • 開發環境:任務責任人

  • 生產環境:阿里雲主帳號、RAM使用者、RAM角色(僅MaxCompute支援)

非上述叢集,例如,AnalyticDB for MySQL、AnalyticDB for PostgreSQL等引擎與您建立資料來源時不同環境綁定的帳號有關,許可權與帳號在資料庫中的許可權一致。

不同模式工作空間的優劣勢對比

對比

簡單模式

標準模式

優勢

簡單、方便、易用。

僅需要授權資料開發人員“DataWorks開發角色”即可完成所有資料倉儲開發工作。

安全、規範。

  • 具備安全、規範的代碼發布管控流程(包含程式碼檢閱、代碼DIFF查看等功能),保障生產環境穩定性,避免不必要的因代碼邏輯引起的髒資料蔓延或任務報錯等非預期情況。

  • 資料訪問得到有效管控,資料安全得以保障。

劣勢

存在不穩定、不安全的風險。

  • 無法設定開發環境和生產環境隔離,只能進行簡單的資料開發。

  • 無法對生產表許可權進行控制。

    說明

    當面向MaxCompute計算引擎時,開發角色預設擁有當前MaxCompute專案所有表的讀寫權限。開發角色的使用者可以隨意對錶進行增加、刪除和修改等操作,存在資料安全風險。

  • 無法對資料開發流程進行管控。

    說明

    開發角色可以不經過任何人審批,隨時新增、修改代碼並提交至調度系統,給生產帶來不穩定因素。

流程相對複雜,一般情況下無法一人完成所有資料開發、生產流程。

情境樣本:標準模式對使用流程的影響

如圖,標準模式“生產、開發隔離”的模式將影響資料模型設計、資料處理邏輯、代碼發布等流程。

標準模式

附錄:不同工作空間模式下,DataWorks模組對應操作的資料來源

您可以在資料開發 > 資料來源介面下查看資料開發中已繫結資料源資訊。綁定後不同工作空間模式下,DataWorks模組對應操作的資料來源如下表所示:

DataWorks模組

標準模式

簡單模式

資料開發

操作開發環境資料來源(執行個體,專案、資料庫)

操作生產環境資料來源(執行個體,專案、資料庫)

營運中心

  • 開發環境營運中心:操作開發環境資料來源(執行個體,專案、資料庫)

  • 生產環境營運中心:操作生產環境資料來源(執行個體,專案、資料庫)

附錄:簡單模式如何?開發與生產隔離

需求:若您已經在使用簡單模式的工作空間,並希望實現簡單模式工作空間開發環境與生產環境隔離。

實現:您需要準備兩個簡單模式工作空間,一個空間作為開發環境,一個空間作為生產環境,並通過跨空間發布的方式將作為開發環境工作空間下的任務發布至作為生產環境的工作空間,從而實現開發環境與生產環境隔離。

缺點:作為生產環境的工作空間,仍可以直接在資料開發模組中編輯生產代碼,從而導致生產環境的代碼更新入口不唯一,進而影響整個開發流程。

建議:建議您將簡單模式工作空間升級為標準模式工作空間,以便獲得更好的開發流程管控。詳情請參見情境:工作空間模式升級(簡單模式升級標準模式)