云原生大数据计算服务 MaxCompute：创建ODPS Script节点

Script Mode的SQL编译较为简单，您只需要按照业务逻辑，用类似于普通编程语言的方式进行编译，无需考虑如何组织语句。

--SET语句
set odps.sql.type.system.odps2=true;
[set odps.stage.reducer.num=***;]
[...]
--DDL语句
create table table1 xxx;
[create table table2 xxx;]
[...]
--DML语句
@var1 := SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM table3
    [WHERE where_condition];
@var2 := SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM table4
    [WHERE where_condition];
@var3 := SELECT [ALL | DISTINCT] var1.select_expr, var2.select_expr, ...
    FROM @var1 join @var2 on ...;
INSERT OVERWRITE|INTO TABLE [PARTITION (partcol1=val1, partcol2=val2 ...)]
    SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM @var3;
[@var4 := SELECT [ALL | DISTINCT] var1.select_expr, var.select_expr, ... FROM @var1
    UNION ALL | UNION
    SELECT [ALL | DISTINCT] var1.select_expr, var.select_expr, ... FROM @var2;
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
    AS
    SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM var4;]

ODPS Script节点的使用限制如下：

• 脚本模式支持SET语句、部分DDL语句（结果是屏显类型的语句除外，例如desc、show）和DML语句。
• 一个脚本的完整形式是SET语句>DDL语句>DML语句。每种类型语句都可以有0到多个语句，但不同类型的语句不能混合。
• 多个语句以@开始，表示变量连接。
• 一个脚本，目前最多支持一个屏幕显示结果的语句（例如单独的Select语句），否则会报错。不建议您在脚本中执行屏幕显示的Select语句。
• 一个脚本，目前最多支持一个Create table as语句，并且必须是最后一句。建议将建表语句和Insert语句分开写。
• 脚本模式下，如果有一个语句失败，整个脚本的语句都不会执行成功。
• 脚本模式下，只有所有输入的数据都准备完成，才会生成一个作业进行数据处理。
• 脚本模式下，如果一个表被写入后又被读取，会报错。

  insert overwrite table src2 select * from src where key > 0;
  @a := select * from src2;
  select * from @a;

  为避免先写后读，可以进行如下修改。

  @a := select * from src where key > 0;
  insert overwrite table src2 select * from @a;
  select * from @a;

  示例如下。

  create table if not exists dest(key string , value bigint) partitioned by (d string);
  create table if not exists dest2(key string,value bigint ) partitioned by (d string);
  @a := select * from src where value >0;
  @b := select * from src2 where key is not null;
  @c := select * from src3 where value is not null;
  @d := select a.key,b.value from @a left outer join @b on a.key=b.key and b.value>0;
  @e := select a.key,c.value from @a inner join @c on a.key=c.key;
  @f := select * from @d union select * from @e union select * from @a;
  insert overwrite table dest partition (d='20171111') select * from @f;
  @g := select e.key,c.value  from @e join @c on e.key=c.key;
  insert overwrite table dest2 partition (d='20171111') SELECT * from @g;

  脚本模式适用于以下场景：

  • 脚本模式更适合用于改写需要层层嵌套子查询的单个语句，或因为脚本复杂性而不得不拆成多个语句的脚本。
  • 多个输入的数据源数据准备完成的时间相差很大（例如一个凌晨1点可以准备好，另一个上午7点可以准备好），不适合通过table variable衔接，可以拼接为一个大的脚本模式SQL。