大数据开发治理平台 DataWorks：基于Lindorm计算引擎进行任务开发

编排任务流

双击已创建的业务流程，将所需节点拖拽至业务流程面板，配置节点基础信息并通过连线方式规划节点的上下游依赖。本文示例编排的任务流如下。

• 虚拟节点（Vi）：作为业务流程中任务的起始节点，统一调起业务流程中的任务。

• CDH Hive节点：本文用于基于Lindorm计算引擎执行SQL任务。

编写任务代码

示例在CDH Hive节点使用Spark SQL语法开发SQL作业。

1. 双击业务流程中的CDH Hive节点，进入节点编辑页面。

   本文需依次单击创建的A、B、C三个节点，配置节点任务。

2. （可选）配置引擎参数。

   Lindorm计算引擎支持自定义常用的Spark配置项，包括资源配置项、执行配置项和监控配置项。例如，SET spark.executor.cores=2;，您可根据业务需要配置相关参数。详细参数介绍，请参见作业配置说明。

   说明

   引擎参数配置语句必须写在SQL任务语句之前。

3. 编写任务代码。

   开发SQL代码：简单示例

   在CDH Hive节点的SQL编辑区域输入任务代码，示例如下。更多Lindorm支持的SQL语法，请参见Spark SQL。

   CREATE TABLE test
   (
       id    INT
       ,name STRING
   );
   
   INSERT INTO test VALUES
           (1,'jack');
   
   SELECT  * from test;

   开发SQL代码：使用调度参数示例

   DataWorks提供调度参数，可实现调度场景下代码动态入参，您可在节点中通过${变量名}的方式定义代码中的变量，并在调度配置>参数处，为该变量赋值。

   • 调度参数支持的格式，详情请参见调度参数支持的格式。

   • 更多Lindorm支持的SQL语法，请参见Spark SQL。

   select '${var}'; --可以结合调度参数使用。

   本文任务示例代码

   • 节点A的任务代码如下。

     CREATE TABLE IF NOT EXISTS tableA (
       id INT,
       name STRING,
       data STRING
     )
     USING parquet
     PARTITIONED BY (partition_date DATE);
     
     INSERT OVERWRITE TABLE tableA PARTITION (partition_date='${var}')
     VALUES (1, 'Alice', 'Sample data 1'), (2, 'Bob', 'Sample data 2');

   • 节点B的任务代码如下。

     CREATE TABLE  IF NOT EXISTS tableB (
         id INT,
       name STRING,
       data STRING
     )
     USING parquet
     PARTITIONED BY (partition_date DATE);
     
     INSERT OVERWRITE TABLE  tableB PARTITION (partition_date)
     SELECT * FROM tableA WHERE partition_date='${var}';

   • 节点C的任务代码如下。

     CREATE TABLE IF NOT EXISTS tableC
     (
         id    INT
         ,name STRING
         ,data STRING
     )
     USING parquet
     PARTITIONED BY (partition_date DATE);
     
     INSERT OVERWRITE TABLE tableC PARTITION (partition_date)
     SELECT * FROM tableB WHERE partition_date='${var}';