大数据开发治理平台 DataWorks：数据开发：开发者

进入数据开发

登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与治理 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

操作流程

1. 步骤一：新建业务流程。

   数据开发基于业务流程组织与开发代码，您需要先新建业务流程，才可进行后续的开发工作。

2. 步骤二：新建表。

   DataWorks支持使用可视化方式创建表，并以目录结构方式在界面展示。数据开发前，您需先在引擎创建用于接收数据清洗结果的表。

3. 步骤三：新建节点。

   DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同类型的节点。您可根据业务需要，选择合适的节点进行引擎任务开发。

4. 步骤四：编辑节点。

   根据节点类型，在节点编辑页面通过对应数据库的语法编写业务代码。

5. 步骤五：定义节点调度属性。

   用于定义该节点的调度相关属性，周期性调度运行节点。

6. 步骤六：调试代码。

   您可使用DataWorks提供的代码片段快捷运行、运行、高级运行三种方式调试代码，验证代码逻辑是否正确。

7. 步骤七：保存并提交节点。

   节点调试无误后，您需要保存并提交节点。

8. 步骤八：冒烟测试。

   为保障生产任务高效运行，避免计算资源浪费。任务发布上线前，您可将任务提交至开发环境进行冒烟测试，保障任务的正确性。

9. 步骤九：发布任务。

   DataWorks仅支持自动调度发布至生产环境的任务，因此在冒烟测试无误后，您需将任务发布至生产环境调度系统进行周期调度。

步骤一：新建业务流程

DataWorks以业务流程为中心组织数据开发，通过各类型开发节点的容器看板，将相关工具、优化及管理操作围绕看板对象进行组织，使开发管理更加方便智能。您可根据业务需求，将同类型业务统一放置一个业务流程。

1. 进入数据开发页面。

   登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与治理 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

2. 创建业务流程。

   您可使用如下两种方式创建：

   • 方式一：鼠标悬停至图标，单击新建业务流程。

   • 方式二：右键单击数据开发左侧目录树的业务流程，选择新建业务流程。

3. 配置业务流程的名称及描述，单击新建。

   本文示例创建名为创建第一个周期调度任务的业务流程。实际开发时，请根据您的业务进行规划。

   说明

   更多业务流程的使用，详情请参见创建及管理业务流程。

步骤二：新建表

DataWorks的数据开发节点会对您的源数据进行清洗加工，因此，您需先在引擎创建用于接收数据清洗结果的表，并定义表结构。

1. 创建表。

   1. 在步骤一创建的业务流程中，展开子目录，右键单击MaxCompute > 表，选择新建表。

   2. 配置表名称、引擎实例等信息。

   本文示例分别创建如下两种表。

   表名称	描述
   bank_data	用于存储原始业务数据。
   result_table	用于存储数据清洗后的结果。

   说明

   • 建表语句请参考建表语句。

   • 更多引擎的可视化建表操作，如创建MaxCompute表、创建EMR表等，详情请参见创建表。

2. 配置表结构。

   进入表编辑页面，切换至DDL模式，通过DDL语句配置表结构。生成表结构后，在基本属性区域输入表的中文名，并将其提交至开发环境与生产环境，提交成功后可在对应环境的数据源项目查看该表。查看各环境绑定的数据源信息，详情请参见创建MaxCompute数据源。

   说明

   • 表的新增、更新等操作均需要提交至对应环境后，才会在引擎侧生效。

   • 您也可以使用可视化方式，根据业务需求及界面引导配置所需表结构。可视化建表，详情请参见创建并使用MaxCompute表。

   生成bank_data表结构的参考语句如下。

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT '年龄',
    job             STRING COMMENT '工作类型',
    marital         STRING COMMENT '婚否',
    education       STRING COMMENT '教育程度',
    default         STRING COMMENT '是否有信用卡',
    housing         STRING COMMENT '房贷',
    loan            STRING COMMENT '贷款',
    contact         STRING COMMENT '联系途径',
    month           STRING COMMENT '月份',
    day_of_week     STRING COMMENT '星期几',
    duration        STRING COMMENT '持续时间',
    campaign        BIGINT COMMENT '本次活动联系的次数',
    pdays           DOUBLE COMMENT '与上一次联系的时间间隔',
    previous        DOUBLE COMMENT '之前与客户联系的次数',
    poutcome        STRING COMMENT '之前市场活动的结果',
    emp_var_rate    DOUBLE COMMENT '就业变化速率',
    cons_price_idx  DOUBLE COMMENT '消费者物价指数',
    cons_conf_idx   DOUBLE COMMENT '消费者信心指数',
    euribor3m       DOUBLE COMMENT '欧元存款利率',
    nr_employed     DOUBLE COMMENT '职工人数',
    y               BIGINT COMMENT '是否有定期存款'
   );

   生成result_table表结构的参考语句如下。

   CREATE TABLE IF NOT EXISTS result_table
   (
   education STRING COMMENT '教育程度',
   num BIGINT COMMENT '人数'
   )
   PARTITIONED BY
   (
   day STRING,
   hour STRING
   );

3. 上传数据。

   将原始业务数据存储至DataWorks的表（本文示例为bank_data表）中。本文示例采用直接上传方式，导入本地文件banking.txt至DataWorks，通过上传数据模拟实际数据写入情况。操作图示如下。更多上传数据内容，请参考本地数据上传至bank_data。

步骤三：新建节点

1. 创建节点。

   您可通过如下两种方式创建：

   • 方式一：基于目录树创建。

     1. 在目录树的业务流程中找到步骤一创建的业务流程。

     2. 右键单击所需引擎，在新建节点下选择合适节点。

   • 方式二：基于业务流程面板创建。

     1. 在目录树的业务流程中找到步骤一创建的业务流程。

     2. 双击该业务流程，进入业务流程面板。

     3. 在面板左侧导航栏单击所需节点，或将所需节点拖拽至面板。

2. 配置节点引擎实例、名称等信息。

   本文示例创建名为result_table（与步骤二创建的结果表名称相同）的ODPS SQL节点。

   说明

   使用DataWorks节点进行数据开发时，通过开发节点清洗数据，再将清洗结果存放至结果表。建议您将结果表名称作为节点的名称，以便快速定位该节点产出的表数据。

   

步骤四：编辑节点

在业务流程目录树或业务流程面板中找到步骤三创建的节点，双击进入节点编辑页面。根据节点类型，通过对应数据库的语法编写业务代码。

INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
, COUNT(marital) AS num
FROM bank_data
GROUP BY education;

步骤五：定义节点调度属性

步骤六：调试代码

步骤七：保存并提交节点

1. 单击工具栏的图标，保存节点配置。

2. 单击工具栏的图标，提交节点至开发环境。

步骤八：冒烟测试

步骤九：发布任务

在标准模式工作空间下，数据开发（DataStudio）界面提交的操作（包括数据开发节点、资源、函数的新增、更新、删除等）都将进入任务发布界面等待发布。您需进入任务发布 > 创建发布包将相关操作通过发布流程发布至生产环境，发布后才可生效。发布详情请参见发布任务。