本文介紹DataWorks適用於不同情境的工作空間規劃方案。
工作空間許可權模型
DataWorks各主要模組針對工作空間的許可權隔離設定有所不同:
功能模組 | 許可權模型 |
工作空間管理 | 不同的工作空間的是完全隔離的。 不同的工作空間可以有不同的管理員、不同的內部成員,各工作空間擁有完全獨立的成員角色設定以及引擎執行個體的各項參數開關。 說明 所有工作空間的所有者帳號均為阿里雲主帳號。 |
資料開發(DataStudio) | 各工作空間之間的資料開發工作是完全隔離的。
說明 任務節點的調度依賴是可以跨工作空間配置的。 |
任務營運 | 各工作空間之間的任務營運是部分隔離的。
|
資料地圖 | 各工作空間之間的資料地圖是租戶內共用的。 在資料地圖中,搜尋和展示的範圍均為當前租戶、當前Region下所有工作空間的中繼資料。 說明 僅資料地圖中展示的中繼資料全域共用,實際的資料讀、寫入權限並非共用。通常來說,開發環境的資料讀、寫入權限為各工作空間的“開發”角色共用,而生產環境的資料許可權為生產帳號專屬 |
資料品質 | 各工作空間之間的資料品質是完全隔離的。 僅對應工作空間的“開發”、“營運”或“管理員”角色具備配置資料品質規則的許可權。 |
資料服務 | 各工作空間之間的資料服務是部分隔離的。 各工作空間會共用服務分組的定義,但是註冊或發布的服務API僅在當前工作空間可見。 |
資料保護傘 | 各工作空間之間的資料保護傘是全域共用的。 所有工作空間共用一套資料安全性原則和敏感性資料目錄。若資料保護傘的“進階安全模式”開啟,則只有各工作空間的“安全性系統管理員”具備操作資料保護傘的許可權。 |
工作空間規劃實踐
工作空間規劃可按照公司部門、公司業務或數倉層次進行規劃,或綜合三種維度進行混合規劃:
細分 | 按部門劃分 | 按業務劃分 | 按數倉層次劃分 |
劃分依據 | 工作空間的劃分可以與公司的組織架構相一致。 例如:生產部、營銷部、人力資源部、財務部等。各工作空間承載部門內部的資料開發需求,管理各自的資料表。 | 工作空間的劃分也可以根據具體商務專案規劃。 例如:“季度銷售衝刺戰役”、“春季安全生產大檢查”或“高管駕駛艙報表”等。各商務專案涉及多個橫向部門,對接多個業務系統的資料,匯總加工,形成資料產出。 | 按照數倉的層級結構劃分工作空間,每一層可以有獨立的一個或多個工作空間。 例如:“統一資料接入”、“ODS層”、“數倉匯總層”等。 |
適用情境 | 部門業務單一,部門內部人員具備開發能力,資料共用情境較少,單一部門即可完成端到端業務開發。 | 業務優先的攻堅專案,多部門聯合專案。 | 大型數倉,企業數倉公用層,資料中台。 |
優點 | 工作空間成員與組織架構一致,人員組成最穩定,資料安全性最高。同時計算、儲存成本歸屬清晰。 | 工作空間內業務專一,人員可根據業務動態調整,資料鏈路清晰,易營運。 | 資料架構清晰,共用便利,人員開發技能要求單一,可根據各層特性分配不同資源。 |
缺點 | 容易形成資料煙囪,資料重複計算、重複儲存,跨空間依賴複雜,資源易爭搶。 | 資料架構不清晰,各業務口徑不一致,工作空間內人員複雜,資料安全風險高。 | 開發週期長,營運鏈路長,標準模式下上層任務正式發布前需要修改代碼。 |
架構穩定性 | ★★★★★ | ★☆☆☆☆ | ★★★★★ |
人員靈活性 | ★☆☆☆☆ | ★★★★★ | ★★★★☆ |
業務複雜度 | ★★☆☆☆ | ★★★★☆ | ★★★☆☆ |
資料安全 | ★★★★★ | ★★☆☆☆ | ★★★☆☆ |
可營運性 | ★★☆☆☆ | ★★★★★ | ★★☆☆☆ |
資料共用 | ★★★☆☆ | ★☆☆☆☆ | ★★★★★ |
以上三種劃分模式可以混合使用,以綜合各自優點。一種常用的混合策略是整體按數倉層次劃分,但各層內部並非單一工作空間,而是進一步劃分為多個工作空間。
資料接入層(STG):按應用系統劃分,例如“stg_營銷系統”、“stg_生產管理系統”等。
任務節點:只有Data Integration任務。
資料表:只有未經處理資料,生命週期短。
空間成員:各應用系統的DBA。
資源傾斜:Data Integration資源群組、儲存空間。
資料清洗層(ODS):按部門劃分,不同部門內資料統一口徑,清洗掉不宜公開的資料,例如“ods_人力資源部”、“ods_生產部”等。
任務節點:只有單一輸入、單一產出的SQL任務。
資料表:ODS層表。
空間成員:各部門委派的資料清洗人員。
資源傾斜:時間靠前的(例如0點~2點)的調度資源群組、引擎計算資源。
數倉整合層(DW):整合為一個統一的工作空間,或按照業務域劃分,例如“dw_客戶域”、“dw_商品域”等。
任務節點:只有多輸入、單一產出的SQL任務。
資料表:DW層事實表、維度資料表。
空間成員:資料公用層專職開發人員。
資源傾斜:中期(例如2點~5點)的調度資源群組、引擎計算資源、儲存空間(應對資料膨脹)。
標籤資料層(TDM):整合為一個統一的工作空間,或按照業務對象劃分。
任務節點:只有多輸入、單一產出的SQL任務。
資料表:標籤表。
空間成員:資料公用層專職開發人員。
資源傾斜:中晚期(例如5點~7點)的調度資源群組、引擎計算資源、儲存空間(應對資料膨脹)
應用資料層(ADS):按業務劃分,針對各專項業務,建立獨立工作空間。
任務節點:SQL任務、Data Integration任務。
資料表:以滿足業務情境為優先。
空間成員:專案群組成員。
資源傾斜:晚期(例如7點~9點)的調度資源群組、引擎計算資源、Data Integration資源群組。