使用流程
DataWorks為您提供從端到端的一站式資料開發治理平台,資料處理流程主要包括以下幾個階段。
DataWorks子模組說明
功能目錄 | 子模組 | 功能說明 |
Data Integration | Data Integration | Data Integration是一個穩定高效、Auto Scaling的資料同步平台。 |
資料上傳與下載 | 資料上傳與下載提供便捷的資料上傳功能,支援多種資料來源,包括本地CSV檔案、OSS檔案等,將這些資料上傳到MaxCompute等巨量資料引擎中進行處理和分析。 |
資料開發與營運 | 資料建模 | 資料建模是全鏈路資料治理的第一步,基於阿里巴巴資料中台建模沉澱的方法論,專註於四個核心方面: 數倉規劃:設計高效的資料倉儲架構。 資料標準:建立統一的資料規範。 維度建模:構建合理的資料模型。 資料指標:定義準確的業務衡量標準。
以業務視角詮釋業務資料,讓企業內部實現“數同文”的快速理解與流通。 |
資料開發 資料開發(新版:參加公測) | 資料開發是一站式巨量資料開發系統,支援線上開發多種巨量資料引擎的資料處理任務,包括MaxCompute、E-MapReduce、Hologres、Flink 和AnalyticDB。 |
營運中心 | 營運中心的巨量資料營運與監控系統具備以下功能。 即時任務監控:支援即時查看任務運行狀態,確保及時掌握資料處理進度。 智能營運操作:為異常任務提供智能診斷、重跑等操作,簡化故障恢複流程。 智能基準管理:提供智能基準功能,確保重要任務按時完成。解決產出時間不可控及海量任務監控難的問題,保障任務產出的時效性。
|
資料治理 | 資料地圖 | 資料地圖是企業級資料管理系統,基於統一中繼資料的底層建設,支援資料對象的管理和盤點,以及快速尋找和深度理解資料對象的能力。 |
資料品質 | 資料品質是統一資料品質校正系統,與DataWorks任務調度系統緊密結合,協助使用者第一時間發現品質問題,有效防止資料品質問題擴散,為業務提供高效、可靠、可信賴的資料。 |
資料資產治理 | 資料資產治理是統一資產治理系統,針對多個治理領域,通過資料領域規則沉澱、自動識別資產待最佳化問題項、覆蓋事後及事前的治理最佳化策略等方式,協助使用者主動式、體系化完成資料治理工作。 |
資訊安全中心 | 資訊安全中心是集資料資產分級分類、敏感性資料識別、資料授權管理、敏感性資料脫敏、敏感性資料訪問審計、風險識別與響應於一體的一站式資料安全治理介面,協助使用者落地資料安全治理事項。 |
資料分析與服務 | 資料分析 | 資料分析提供了輕量化的分析工具,能夠便捷地串連各類資料來源和引擎,提供SQL查詢、試算表、可視化分析、智能洞察等多種資料分析能力,適用於資料分析師、業務營運等人員日常工作中的取數、查數和報表分析等業務洞察情境。 |
資料服務 | 資料服務是一個靈活輕量、安全穩定的資料API構建系統,旨在為個人、團隊和企業提供全面的資料服務和共用能力,協助您統一管理面向內外部的API服務。 |
更多 | 管理中心 | 管理中心為管理員提供工作空間通用配置、資料來源、計算資源、成員角色、租戶配置等核心功能的統一管理介面。通過這個介面,您可以高效地控制和最佳化各項資源,確保工作空間的順暢運作,並根據需求靈活調整配置。 |
核准中心 | 核准中心是管理資料許可權、敏感行為的功能模組,支援定義審批策略和處理審批次程序,滿足企業內部合規情境下的審批需求。 |
遷移助手 | 遷移助手是一站式任務遷移系統,支援將Oozie、Azkaban、Airflow、DolphinScheduler等開源調度引擎上的任務遷移至DataWorks上,同時支援將DataWorks上已有的開發成果進行備份和恢複。 |
開放平台 | 開發平台提供開放API(OpenAPI)、開放事件(OpenEvent)、擴充程式(Extensions)的能力,協助使用者快速實現各類應用系統與DataWorks的對接。 |