Data Management的任務編排主要用於編排各類任務節點並進行周期或事件調度執行。您可以通過建立一個或多個任務節點群組成的任務流,實現複雜的任務調度,提高資料開發效率。
背景資訊
隨著互連網和物聯網的飛速發展、資料規模急劇增長、資料來源多樣化,同時資料分析需求及商務程序複雜性不斷增加,這使得傳統手動處理資料的方式無法滿足現有需求。因此,需要一個自動化流程來確保資料處理、分析、備份等多種需求的順序和正確性。
針對以上問題,DMS的任務編排應運而生,其可自動化處理資料,提高資料開發效率,減少出錯率,提升資料價值和可靠性。
支援的資料庫類型
關係型資料庫:
MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他來源MySQL
SQL Server:RDS SQL Server、MyBase SQL Server、其他來源SQL Server
PostgreSQL:RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、其他來源PostgreSQL
OceanBase:OceanBase MySQL模式、OceanBase Oracle模式、自建OceanBase
PolarDB PostgreSQL版(相容Oracle)
Oracle
達夢資料庫
DB2
NoSQL:Lindorm
資料倉儲:
AnalyticDB for MySQL
AnalyticDB for PostgreSQL
DLA
MaxCompute
Hologres
Object Storage Service:OSS
任務類型介紹
分類 | 任務類型 | 描述 | 相關文檔 |
資料加工 | 單一實例SQL | 將SQL語句發放到指定的關係型資料庫上並執行。 說明 如果目標執行個體已開啟無鎖結構變更,單一實例SQL任務會優先採用無鎖結構變更的方式執行,可以有效避免鎖表問題。更多資訊,請參見開啟無鎖結構變更。 | 無 |
通用 | 單一實例SQL賦值 | 將SELECT語句讀取的資料賦值給輸出變數,輸出變數可以在下一節點中被使用。 | |
條件分支 | 條件分支節點可用於在任務流中進行條件判斷。執行任務流時,如果條件分支節點的條件運算式判斷結果為True,執行後續任務,否則不執行後續任務。 | ||
EC遠程命令 | 基於ECS雲助手在遠程ECS上執行Shell、PowerShell、Bat命令或指令碼代碼。 | ||
狀態檢查 | 表時間列狀態檢查 | 檢查某一時間點後,目標表中是否有新增資料。 | 無 |
稽核任務 | 用於檢查資料品質。設定品質規則和調度周期後,自動檢查資料品質並產生報告。 | 無 | |
任務流依賴檢查 | 實現任務流自依賴和跨任務流間依賴,依賴的目標對象可以是某個任務流或某個任務節點。 |