大数据开发治理平台 DataWorks：do-while节点逻辑原理介绍

背景信息

使用限制

• 仅DataWorks标准版及以上版本支持使用do-while节点。详情请参见DataWorks各版本详解。

• do-while节点循环次数上限为1024次。

• 不支持并发执行。即上次循环完成后才可进入下一次循环。

注意事项

节点组成与流程编排

内置变量

通常，do-while节点使用${dag.变量名}格式来获取变量。DataWorks为您提供了两个系统内置变量${dag.loopTimes}、${dag.offset}；同时，您也可以结合赋值节点，通过${dag.变量名}格式获取赋值参数值。

• 系统内置变量

  每次任务循环运行时，您可以通过一些内置的变量来获取当前已循环次数和偏移量。

  内置变量	含义	取值
  ${dag.loopTimes}	当前已循环次数	第一次循环为1、第二次为2、第三次为3…第n次为n。
  ${dag.offset}	偏移量	第一次循环为0、第二次为1、第三次为2…第n次为n-1。

• 获取赋值节点结果

  如果您联合使用了赋值节点，则还可以通过以下方式来获取赋值参数值和循环变量参数。

  说明

  当do-while节点依赖赋值节点时，您可将赋值节点的本节点输出参数设置为do-while节点的本节点输入参数，在do-while节点中获取赋值节点的结果集与结果集中的指定节点。格式为${dag.变量名}，其中，变量名需配置为do-while节点的本节点输入参数。本文示例定义do-while节点中的input参数（即本节点输入参数）来接收赋值节点结果集，实际使用时，需替换为您真实的参数名称。

  内置变量	含义
  ${dag.input}	上游赋值节点传递的数据集。
  ${dag.input[${dag.offset}]}	循环节点内部获取当前循环的数据行。
  ${dag.input.length}	循环节点内部获取数据集长度。

取值案例

不同赋值语言的赋值节点，其结果集格式存在差异。do-while节点获取赋值节点结果集时，Shell赋值语言需使用一维数组的方式在代码中获取赋值节点传递的结果集、或结果集中的指定数据；ODPS SQL赋值语言需使用二维数组的方式在代码中获取赋值节点传递的结果集、或结果集中的指定数据。详情请参见赋值节点输出格式。

案例1：上游赋值节点为Shell语法

• 节点输出

  上游赋值节点为Shell语法，最后一条输出结果为2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01。

• 变量取值

  内置变量	第1次循环时取值	第2次循环时取值
  ${dag.input}	2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01
  ${dag.input[${dag.offset}]}	2021-03-28	2021-03-29
  ${dag.input.length}	5
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

案例2：上游赋值节点为ODPS SQL语法

• 节点输出

  上游赋值节点为ODPS SQL语法，最后一条Select语句查询出两条数据：

  +----------------------------------------------+
  | uid            | region | age_range | zodiac |
  +----------------------------------------------+
  | 0016359810821  | 湖北省 | 30~40岁   | 巨蟹座 |
  | 0016359814159  | 未知   | 30~40岁   | 巨蟹座 |
  +----------------------------------------------+

• 变量取值

  内置变量	第1次循环时取值	第2次循环时取值
  ${dag.input}	+----------------------------------------------+ | uid | region | age_range | zodiac | +----------------------------------------------+ | 0016359810821 | 湖北省 | 30~40岁 | 巨蟹座 | | 0016359814159 | 未知 | 30~40岁 | 巨蟹座 | +----------------------------------------------+
  ${dag.input[${dag.offset}]}	0016359810821,湖北省,30~40岁,巨蟹座	0016359814159,未知,30~40岁,巨蟹座
  ${dag.input.length}	2 说明 二维数组的行数为数据集长度，当前赋值节点输出的二维数组行数为2。
  ${dag.input[0][1]} 说明 二维数组的第一行第二列的取值。	湖北省
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

退出循环示例：End节点代码样例

End节点支持使用ODPS SQL、Shell和Python（Python2）三种语言进行循环判断代码开发，以下为您示例三种不同语言下，典型的代码样例。

使用ODPS SQL语言

SELECT  CASE 
 WHEN COUNT(1) > 0 AND ${dag.offset}<= 9 
  THEN true 
  ELSE false 
 END 
FROM  xc_dpe_e2.xc_rpt_user_info_d  where dt='20200101';

End节点示例代码中将表行数和迁移量与固定值比较，来限制do-while节点整体的循环次数。

使用Shell语言

if [ ${dag.loopTimes} -lt 5 ];
then
     echo "True"
else
     echo "False"
fi

将循环次数${dag.loopTimes}和5进行比较，来限制do-while节点整体的循环次数。

例如：第一次循环${dag.loopTimes}的值为1、第二次为2，以此类推，第五次为5。至此end节点的输出结果为False，do-while节点退出循环。

使用Python（Python2）语言

if ${dag.loopTimes}<${dag.input.length}:
   print True;
else
   print False;
# 如果end节点输出True，则继续下一个循环。
# 如果end节点输出False，则终止循环。

代码中把循环次数${dag.loopTimes}和赋值节点传递的数据集行数进行比较，来限制do-while节点整体的循环次数。

应用场景

与赋值节点联合使用

与分支节点、归并节点联合应用

与分支节点和归并节点联合应用时，典型的应用场景和注意事项如下所示。