全部產品
Search
文件中心

Data Management:概述

更新時間:Jun 30, 2024

Data Management的任務編排主要用於編排各類任務節點並進行周期或事件調度執行。您可以通過建立一個或多個任務節點群組成的任務流,實現複雜的任務調度,提高資料開發效率。

背景資訊

隨著互連網和物聯網的飛速發展、資料規模急劇增長、資料來源多樣化,同時資料分析需求及商務程序複雜性不斷增加,這使得傳統手動處理資料的方式無法滿足現有需求。因此,需要一個自動化流程來確保資料處理、分析、備份等多種需求的順序和正確性。

針對以上問題,DMS的任務編排應運而生,其可自動化處理資料,提高資料開發效率,減少出錯率,提升資料價值和可靠性。

支援的資料庫類型

  • 關係型資料庫:

    • MySQL:RDS MySQLPolarDB MySQL版MyBase MySQLPolarDB分布式版、其他來源MySQL

    • SQL Server:RDS SQL ServerMyBase SQL Server、其他來源SQL Server

    • PostgreSQL:RDS PostgreSQLPolarDB PostgreSQL版MyBase PostgreSQL、其他來源PostgreSQL

    • OceanBase:OceanBase MySQL模式OceanBase Oracle模式、自建OceanBase

    • PolarDB PostgreSQL版(相容Oracle)

    • Oracle

    • 達夢資料庫

    • DB2

  • NoSQL:Lindorm

  • 資料倉儲:

    • AnalyticDB for MySQL

    • AnalyticDB for PostgreSQL

    • DLA

    • MaxCompute

    • Hologres

  • Object Storage Service:OSS

任務類型介紹

分類

任務類型

描述

相關文檔

資料加工

單一實例SQL

將SQL語句發放到指定的關係型資料庫上並執行。

說明

如果目標執行個體已開啟無鎖結構變更,單一實例SQL任務會優先採用無鎖結構變更的方式執行,可以有效避免鎖表問題。更多資訊,請參見開啟無鎖結構變更

通用

單一實例SQL賦值

將SELECT語句讀取的資料賦值給輸出變數,輸出變數可以在下一節點中被使用。

配置SQL賦值節點

條件分支

條件分支節點可用於在任務流中進行條件判斷。執行任務流時,如果條件分支節點的條件運算式判斷結果為True,執行後續任務,否則不執行後續任務。

配置條件分支節點

EC遠程命令

基於ECS雲助手在遠程ECS上執行Shell、PowerShell、Bat命令或指令碼代碼。

配置ECS遠程命令節點

狀態檢查

表時間列狀態檢查

檢查某一時間點後,目標表中是否有新增資料。

稽核任務

用於檢查資料品質。設定品質規則和調度周期後,自動檢查資料品質並產生報告。

任務流依賴檢查

實現任務流自依賴和跨任務流間依賴,依賴的目標對象可以是某個任務流或某個任務節點。

配置任務流依賴檢查節點

相關文檔