数据管理DMS的任务编排主要用于编排各类任务节点并进行周期或事件调度执行。您可以通过创建一个或多个任务节点组成的任务流,实现复杂的任务调度,提高数据开发效率。
背景信息
随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源多样化,同时数据分析需求及业务流程复杂性不断增加,这使得传统手动处理数据的方式无法满足现有需求。因此,需要一个自动化流程来确保数据处理、分析、备份等多种需求的顺序和正确性。
针对以上问题,DMS的任务编排应运而生,其可自动化处理数据,提高数据开发效率,减少出错率,提升数据价值和可靠性。
支持的数据库类型
关系型数据库:
MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL
SQL Server:RDS SQL Server、MyBase SQL Server、其他来源SQL Server
PostgreSQL:RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、其他来源PostgreSQL
OceanBase:OceanBase MySQL模式、OceanBase Oracle模式、自建OceanBase
PolarDB PostgreSQL版(兼容Oracle)
Oracle
达梦数据库
DB2
NoSQL:Lindorm
数据仓库:
AnalyticDB MySQL版
AnalyticDB PostgreSQL版
DLA
MaxCompute
Hologres
对象存储:OSS
任务类型介绍
分类 | 任务类型 | 描述 | 相关文档 |
数据加工 | 单实例SQL | 将SQL语句发放到指定的关系型数据库上并执行。 说明 如果目标实例已开启无锁结构变更,单实例SQL任务会优先采用无锁结构变更的方式执行,可以有效避免锁表问题。更多信息,请参见开启无锁结构变更。 | 无 |
通用 | 单实例SQL赋值 | 将SELECT语句读取的数据赋值给输出变量,输出变量可以在下一节点中被使用。 | |
条件分支 | 条件分支节点可用于在任务流中进行条件判断。执行任务流时,如果条件分支节点的条件表达式判断结果为True,执行后续任务,否则不执行后续任务。 | ||
EC远程命令 | 基于ECS云助手在远程ECS上执行Shell、PowerShell、Bat命令或脚本代码。 | ||
状态检查 | 表时间列状态检查 | 检查某一时间点后,目标表中是否有新增数据。 | 无 |
稽核任务 | 用于检查数据质量。设置质量规则和调度周期后,自动检查数据质量并生成报告。 | 无 | |
任务流依赖检查 | 实现任务流自依赖和跨任务流间依赖,依赖的目标对象可以是某个任务流或某个任务节点。 |