全部產品
Search
文件中心

DataWorks:DataWorks模組使用說明

更新時間:Dec 17, 2024

本文將為您概要介紹DataWorks主要子模組的功能及基本使用情境。

使用流程與主要子模組

使用流程

DataWorks為您提供從端到端的一站式資料開發治理平台,資料處理流程主要包括以下幾個階段。

DataWorks子模組說明

功能目錄

子模組

功能說明

Data Integration

Data Integration

Data Integration提供全面的資料同步解決方案,支援離線即時全增量同步。主要特點包括:

  • 靈活調度:支援設定離線同步任務的調度周期。

  • 廣泛相容:相容50多種異構資料來源,如關係型資料庫、資料倉儲、NoSQL、檔案儲存體和訊息佇列。

  • 網路連通性:適用於複雜網路環境,確保公網、IDC和VPC內的資料來源都能穩定串連。

  • 安全監控:整合安全控制與營運監控,保障資料同步的安全性和可靠性。

資料建模與開發

資料建模

資料建模產品包含數倉規劃資料標準維度建模資料指標四大產品模組。

  • 數倉規劃:支援數倉分層、資料域和資料集市的規劃,提供模型設計空間設定,確保不同部門可以共用統一的資料標準和模型。

  • 資料標準:定義欄位標準、標準代碼、度量單位和命名詞典,支援自動產生品質規則,簡化落標檢查流程。

  • 維度建模:提供逆向建模功能,解決現有數倉建模的冷啟動難題。支援可視化建模及通過Excel檔案或FML(類SQL的DSL)快速構建模型,與DataStudio無縫整合,自動產生ETL代碼。

  • 資料指標:支援原子指標和派生指標的定義與構建,與維度建模無縫對接,能夠根據原子指標和不同維度大量建立派生指標。

資料開發

資料開發相容多種計算引擎,提供智能編輯器視覺化檢視,並通過獨立的開發環境及可靠的管理功能,確保高效的任務管理和規範的資料開發流程。

  • 多引擎支援:DataStudio相容MaxCompute、EMR、CDH、Hologres、AnalyticDB和ClickHouse等多種計算引擎,允許在統一平台上進行開發、測試、發布和營運操作。

  • 智能開發工具:配備智能編輯器和可視化依賴編排工具,調度能力經過阿里集團內部複雜任務和業務依賴的反覆驗證,確保高效可靠的任務管理。

  • 隔離環境與規範流程:提供獨立的開發和生產環境,結合版本管理、程式碼檢閱、煙霧測試 (Smoke Test)、發布管控和Action Trail等功能,協助企業正常化資料開發流程,保障專案品質和安全性。

營運中心

營運中心支援對資料開發發布的周期任務手動任務即時任務進行以下營運操作:

  • 任務運行管理:監控任務運行狀態,快速定位並解決問題。

  • 關鍵計量查看:提供任務營運的關鍵計量和引擎工作清單,便於全面掌握任務效能。

資料地圖

資料地圖以資料搜尋為基礎,提供表使用說明資料類目資料血緣欄位血緣等工具,協助資料表的使用者和擁有者更好地管理資料、協作開發。

資料分析

SQL查詢

SQL查詢支援線上SQL分析業務洞察、編輯分享資料。並支援將查詢結果儲存為圖表卡片,快速搭建可視化資料報告便於日常彙報。

資料洞察

資料洞察支援資料探索與可視化,助您理解資料分布、建立及組合數據卡片為報告,並可將結果產生長圖進行分享。

資料治理

資料品質

資料品質功能支援對常見巨量資料儲存(如MaxCompute、E-MapReduce、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL和CDH等)進行全面的品質校正。它從完整性、準確性、有效性、一致性、唯一性和及時性等多個維度配置監控規則,並可將這些規則與調度節點關聯,在任務完成後自動觸發校正。這有助於第一時間發現並處理問題資料,按需設定規則的嚴格程度以控制任務是否失敗退出,從而防止髒資料的影響擴大,有效降低資料恢複的時間和成本。

資料資產治理

資料資產治理功能根據預先配置的治理計劃,自動識別平台在資料存放區、任務計算、代碼開發、資料品質和安全等方面的問題,並通過健康評分進行量化評估。它從全域、工作空間和個人等多個視角,以治理報告和熱門排行榜的形式呈現治理成果,協助您高效達成治理目標。此外,還提供業務資產管理、資產分析、任務資源消耗明細和費用預估等功能,使您能夠全面掌握各類資源的使用方式,最佳化資源配置。

資料服務

資料服務

資料服務為企業搭建統一的服務匯流排,協助企業統一建立及管理對內、對外的API服務,解決數倉、資料庫與資料應用間的“最後一公裡”,加速資料的流動和共用。

  • 雙模式資料API產生:支援零代碼和自助SQL兩種模式,輕鬆將各類資料來源中的資料錶轉換為資料API,並通過Function Compute加工API請求參數及返回結果。

  • Serverless架構:採用無伺服器架構,使用者無需關注運行環境等基礎設施,即可一鍵將API服務發布至API Gateway。

其他

資訊安全中心

資訊安全中心核心功能如下:

  • 資料許可權管理:提供精細化的許可權申請、審批和審計功能,實現最小化許可權管控。您可輕鬆跟蹤許可權審批次程序的進展,確保及時處理。

  • 資料Alibaba Content Security Service管理:通過資料分級分類、敏感性資料識別、訪問審計和資料來源追溯等功能,快速識別並處理存在安全隱患的資料,保障資料內容的安全可靠。

  • 安全診斷與最佳實務:提供平台安全診斷和資料使用診斷功能,在符合安全規範的前提下,協助您識別和解決各類安全問題,確保業務在最優安全環境中高效運行。

資料保護傘

資料保護傘為您提供敏感性資料規則配置識別敏感性資料查看識別結果處理敏感性資料等管控流程,協助您在敏感性資料產生的事件前、中、後各階段管控梳理專案中的敏感性資料,保障資料安全。

遷移助手

遷移助手支援遷移周期任務手動任務資源函數資料來源表中繼資料臨時查詢組件等對象。您可以根據業務需求,選擇全量匯出、增量匯出或自選匯出等方式匯出DataWorks中的開發成果。