本文为您介绍补数据的相关问题。

补数据功能说明

补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时,可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入MaxCompute对应的时间分区中的示例如下。增量同步

为什么小时分钟任务补数据选择了并行但实际不生效?

  • 问题现象

    小时分钟任务补数据选择了并行但实际不生效。

  • 产生原因

    补数据并行控制是,补一段以天为维度的业务日期区间的数据以及几天的实例是否同时执行。此功能不控制小时、分钟任务当天的所有实例是否并发执行,当天小时分钟任务的实例是否并发执行与您小时分钟任务是否设置了自依赖有关。自依赖使用说明,请参见场景2:依赖上一周期的结果时,如何配置调度依赖

  • 解决措施
    • 选择不并行,一个补数据实例下的多个业务日期串行执行,即上一个业务日期的补数据实例执行完,下一个业务日期的补数据实例才会执行。
    • 选择并行,您可以设置同时使用2组、3组、4组或5组等多个补数据实例进行补数据,即多个补数据实例下有多个业务日期并行执行。
    实时场景:假设小时、分钟节点选择补一个星期数据。
    • 如果小时、分钟节点设置了自依赖,那么小时、分钟节点每天的实例会一个一个执行。
    • 如果小时节点任务没有设置自依赖,那么小时、分钟节点每天的实例一块执行。

为什么补数据选择业务时间后不运行,实例显示黄色,实例状态显示等待时间?

  • 问题现象

    补数据选择业务时间后不运行,实例显示黄色,实例状态显示等待时间。

  • 产生原因

    如果您补数据选择的业务日期实例,其定时时间为未来时间时,会出现等待时间的情况。

  • 解决措施
    您可以选择立即执行未来时间的数据。并行运行定时时间
    说明
    • 如果您补数据选择的业务时间(实例定时时间)为未来时间,当不勾选此选框时,实例会出现等待时间的情况(实例显示黄色,实例状态为等待时间)。
    • 如果您补数据选的业务时间(实例定时时间)为未来时间,当勾选此选框时,实例会马上执行。

为什么补数据选择业务时间昨天和今天,也会出现等待时间的情况?

  • 问题现象

    补数据选择业务时间昨天和今天,会出现等待时间的情况。

  • 产生原因

    从平台维度来看,业务时间昨天的数据,今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。

    如果您需要过滤今天的周期实例,您需要在周期实例面板选择过滤业务时间昨天的实例,实例的定时时间为今天。今天的周期实例

为什么补数据选择补0点~1点生成了多个实例?

  • 问题现象

    补数据选择补0点~1点生成了多个实例。

  • 产生原因
    补数据生成多少个实例与您节点配置的定时时间有关。
    • 假设小时任务设置0:00开始至23:59分每小时调度一次。如果选择补数据区间为00:00~1:00,那么将产生两个实例,实例定时时间分别为0:00,1:00。
    • 假设分钟任务设置0:00开始至23:59分每30分钟调度一次。如果选择补数据区间为00:00~1:00,那么将产生三个实例,实例定时时间分别为0:00,00:30,1:00。

为什么进行大量补数据操作时,会出现等待资源情况(实例显示黄色,实例状态为等待资源)?

  • 问题现象

    进行大量补数据操作时,出现等待资源情况(实例显示黄色,实例状态为等待资源)。

  • 产生原因
    资源组可执行任务最大并发数有上限,如果当前任务执行并发数超过资源组所支持的最大并发数时,将会出现等待资源的情况。
    说明 等待资源排查,详情请参见等待资源

为什么补数据报错调起的节点运行时间不在所选业务时间范围内?

  • 问题现象

    补数据报错调起的节点运行时间不在所选业务时间范围内。

  • 产生原因
    小时分钟任务需要选择具体的调度时间区间才可以正常生成补数据实例并执行。选择小时区间

为什么有节点选择了补数据,但是没有生成补数据实例?

  • 问题现象

    某节点选择了补数据,但是没有生成补数据实例。

  • 产生原因
    不在生效日期范围内的节点不生成实例,请检查需要补数据的节点生效时间是否在有效期内。调度配置

周、月任务如何执行补数据操作

  • 操作说明:周、月调度的任务在补数据时,业务时间请选择真实调度时间的前一天。任务定时时间为定时每周几或“每月定时几号”跑的任务,只有在指定调度时间才会真实跑数据,在非指定时间内,非调度时间内其他时间会生成空跑实例,不会实际执行任务,该实例状态为周、月实例空跑周期,更多空跑介绍,详情请参见场景一:周月实例空跑周期
    说明
  • 场景示例:对月调度任务进行补数据
    任务调度周期定义:定时每月1号0点调度的任务,在补数据时,需要选择业务为上个月末。月调度任务补数据