全部产品
Search
文档中心

数据管理 DMS:概述

更新时间:Nov 13, 2023

数据管理DMS的任务编排主要用于编排各类任务节点并进行周期或事件调度执行。您可以通过创建一个或多个任务节点组成的任务流,实现复杂的任务调度,提高数据开发效率。

背景信息

随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源多样化,同时数据分析需求及业务流程复杂性不断增加,这使得传统手动处理数据的方式无法满足现有需求。因此,需要一个自动化流程来确保数据处理、分析、备份等多种需求的顺序和正确性。

针对以上问题,DMS的任务编排应运而生,其可自动化处理数据,提高数据开发效率,减少出错率,提升数据价值和可靠性。

支持的数据库类型

  • 关系型数据库:

    • MySQL:RDS MySQLPolarDB MySQL版MyBase MySQLPolarDB分布式版、其他来源MySQL

    • SQL Server:RDS SQL ServerMyBase SQL Server、其他来源SQL Server

    • PostgreSQL:RDS PostgreSQLPolarDB PostgreSQL版MyBase PostgreSQL、其他来源PostgreSQL

    • OceanBase:OceanBase MySQL模式OceanBase Oracle模式、自建OceanBase

    • PolarDB PostgreSQL版(兼容Oracle)

    • Oracle

    • 达梦数据库

    • DB2

  • NoSQL:Lindorm

  • 数据仓库:

    • AnalyticDB MySQL版

    • AnalyticDB PostgreSQL版

    • DLA

    • MaxCompute

    • Hologres

  • 对象存储:OSS

任务类型介绍

分类

任务类型

描述

相关文档

数据加工

单实例SQL

将SQL语句发放到指定的关系型数据库上并执行。

说明

如果目标实例已开启无锁结构变更,单实例SQL任务会优先采用无锁结构变更的方式执行,可以有效避免锁表问题。更多信息,请参见开启无锁结构变更

通用

单实例SQL赋值

将SELECT语句读取的数据赋值给输出变量,输出变量可以在下一节点中被使用。

配置SQL赋值节点

条件分支

条件分支节点可用于在任务流中进行条件判断。执行任务流时,如果条件分支节点的条件表达式判断结果为True,执行后续任务,否则不执行后续任务。

配置条件分支节点

EC远程命令

基于ECS云助手在远程ECS上执行Shell、PowerShell、Bat命令或脚本代码。

配置ECS远程命令节点

状态检查

表时间列状态检查

检查某一时间点后,目标表中是否有新增数据。

稽核任务

用于检查数据质量。设置质量规则和调度周期后,自动检查数据质量并生成报告。

任务流依赖检查

实现任务流自依赖和跨任务流间依赖,依赖的目标对象可以是某个任务流或某个任务节点。

配置任务流依赖检查节点

相关文档