调度参数可以同于数据集成任务配置的各个阶段。本文为您介绍调度参数的典型应用场景。
背景信息
DataWorks数据集成结合调度参数使用，可实现以下场景：
| 场景 | 说明 | 相关文档 |
|---|---|---|
| 增量数据同步 | 部分Reader插件可通过调度参数实现每次调度只同步指定时间范围内的数据至目标端。同时，您可以结合补数据功能，实现将对应时间内的数据同步至目标端对应分区的功能。例如MySQL、Loghub、Kafka等。 | 场景一：同步增量数据、场景四：同步历史数据 |
| 动态表名或文件路径 | 表名或文件名使用调度参数，可实现每次同步不同表的目的。例如OSS、FTP，MySQL等插件。部分插件可能需要转脚本配置。 | 场景二：同步动态表名或文件名中的数据 |
| 在同步时为目标表某字段赋值常量或时间变量 | 字段映射时您可以手动编辑字段并结合调度参数使用，为目标表某字段赋值同步业务日期的常量值。具体插件是否支持该操作请以各插件的支持情况为准。 | 场景三：定义目标字段 |
注意事项
在DataStudio界面单击运行
或高级运行
时，仅支持手动为离线同步任务配置的变量赋值常量，由于数据集成无法直接使用开发环境冒烟测试功能，建议您通过以下方式验证调度参数在调度场景下的替换情况。
或高级运行时，仅支持手动为离线同步任务配置的变量赋值常量，由于数据集成无法直接使用开发环境冒烟测试功能，建议您通过以下方式验证调度参数在调度场景下的替换情况。- SQL类型节点通过冒烟测试验证参数符合预期后，再将参数移入数据集成任务使用。SQL类型节点调度参数测试，详情请参见：配置并使用调度参数。
- 将离线同步节点提交至开发环境运维中心执行。
场景一：同步增量数据
重要 数据集成任务配置过程中，支持在数据过滤相关参数中使用调度参数，实现增量同步，同时您需要配置满足数据库的语法。增量同步详情请参见：场景：配置增量数据离线同步任务。
- 示例1：将LogHub每十分钟内的增量数据同步至MaxCompute T-1分区。
平台将根据定时时间，每十分钟生成一个调度实例，目标MaxCompute表分区名称也以调度参数的方式指定，$bizdate表示业务日期，定时任务执行时，任务配置的分区表达式会替换为调度参数所表达的业务日期。调度参数表达式的详细配置说明请参考文档：配置并使用调度参数。
说明 开始时间与结束时间为左闭右开区间。
- 示例2：每天0点将LogHub昨天的数据写入MaxCompute T-1分区。说明 开始时间与结束时间为左闭右开区间。
场景二：同步动态表名或文件名中的数据
调度参数可以为数据集成任务配置中定义的变量进行赋值。
- 示例1：动态文件名。
每日将OSS指定目录下文件名为时间日期结尾的文件同步至MaxCompute对应分区中。
说明 如果要实现同步动态表名或文件名中的数据，部分插件需要转脚本模式进行配置。同时，在使用变量的情况下，一般不支持数据预览功能。
- 示例2：动态表名。MySQL将源端具有时间格式规律的表通过调度参数实现动态表名配置，进而实现每天将MySQL对应业务表写入MaxCompute表对应分区。如下图所示：
场景三：定义目标字段
数据集成任务配置过程中，支持您为目标表某字段赋值同步业务日期的常量值。示例：下图框中的字段值将通过调度参数每日替换情况来动态赋值。
场景四：同步历史数据
基于调度参数可根据业务时间将参数自动替换为对应的值这一特性，当您创建任务当天需要将历史数据进行补齐时，您可使用补数据功能，补数据支持补历史一段时间的数据或者未来一段时间的数据，调度参数将在任务调度时根据补数据选择的业务时间自动替换为对应的值。补数据操作请参见：执行补数据并查看补数据实例。
示例：将MySQL增量数据写入MaxCompute对应的时间分区中。