数据集成实时同步任务支持动态扩缩容,本文介绍任务资源的设置需要遵循的规则。
规则说明
任务在动态扩缩容资源时,需要确保扩缩容后,满足任务单个Worker占用的CU不发生变化。
当只有任务的Worker数量发生变化时,要求任务扩缩容的目标CU满足如下公式:
说明
数据集成CU售卖最小单位为0.5 CU。
目标CU = ceil( (任务初始CU ± 单个Worker占用CU的整数倍) / 0.5) × 0.5
任务初始CU设置与单个Worker占用CU的公式如下:
任务Worker数 =
floor(任务初始CU/经验常量)
单个Worker占用CU =
(任务初始CU-任务管控进程占用CU)/任务Worker数
说明
上述公式中:
经验常量目前设置为3,后续可能根据实际情况做出调整。
任务管控进程占用CU设置如下,后续可能根据实际情况做出调整:
任务初始
CU <= 2
时,任务管控进程占用CU为0.25 CU
。任务初始
2 < CU <= 10
时,任务管控进程占用CU为0.5 CU
。任务
CU > 10
时,任务管控进程占用CU为0.75 CU
。
当扩缩容CU设置不满足上述公式时,任务执行扩缩容时可能触发重启(是否重启,取决于具体的目标CU设置以及调度先后次序)。