批量计算服务支持一个作业包含多个任务,任务之间可以有 DAG 依赖关系。
即前面的任务运行完成(Finished
)后, 后面的任务才开始运行。
示例一
在 job description json 中这样描述:
{
"Name": "my-job",
"DAG": {
...
"Dependencies": {
"split": ["count"],
"count": ["merge"]
}
}
}
split运行完成后,count开始运行,count完成后,merge才开始运行。
merge运行完成,整个作业结束。
实例二
在 job description json 中这样描述:
{
"Name": "my-job",
"DAG": {
...
"Dependencies": {
"split": ["count1","count2"],
"count1": ["merge"],
"count2": ["merge"]
}
}
}
split 运行完成后,count1 和 count2 同时开始运行,count1 和 count2 都完成后,merge 才开始运行。
merge 运行完成,整个作业结束。