大数据开发治理平台 DataWorks：数据开发功能索引

区域

描述

1

• 切换工作空间。

  该区域为您展示了当前登录数据开发模块的工作空间。单击图标即可切换至当前地域的其他工作空间。

• 进入DataWorks其他模块。

  单击图标即可选择进入数据集成、运维中心等其他模块。

  • 数据集成：数据集成。

  • 数据建模：数仓规划、数据标准、数据指标、维度建模。

  • 数据开发与运维：DataStudio（数据开发）、运维中心（工作流）、任务发布、代码评审。

  • 数据治理：数据地图、数据质量、安全中心、数据保护伞、数据治理中心。

  • 数据分析：数据分析。

  • 数据服务：数据服务。

  • 机器学习：人工智能平台PAI。

  • 更多：发布中心审批中心、DataWorks（首页）、迁移助手、全局成员管理。

• 返回DataWorks控制台。

  单击图标，在当前页面左下角单击图标，即可返回DataWorks控制台。

2

在该区域单击图标，即可展示对应功能按钮的名称。

• 数据开发：用于周期调度任务的开发，支持基于各类引擎创建不同节点进行数据开发，该模块开发的任务可发布到生产环境进行运维。

  说明

  您需要在数据开发中绑定相应类型的数据源后，才可以基于该引擎进行数据开发。

• 手动业务流程：用于手动触发式任务的开发，该模块开发的任务可发布生产进行运维。

• 运行历史：用于查看在DataStudio界面测试运行的历史记录，当前支持保留3天的历史记录。

• 临时查询：用于进行单次简单的测试查询，无法发布生产运维。

• 公共表：用于查看当前登录的阿里云账号下所有的生产表。

• 表管理：用于使用可视化方式对目标表执行相关操作。支持的表操作与表对应的引擎可执行的操作一致。

• 使用内建函数：MaxCompute系统自带函数的相关介绍。

• 回收站：用于管理在数据开发与手动业务流程中删除的节点、资源及函数。

• 组件管理：组件是一种带有多个输入参数和输出参数的SQL代码过程模板，SQL代码过程的处理通常会引入一到多个源数据表，通过过滤、连接和聚合等操作，加工出新业务需要的目标表。

• 操作历史：可以通过操作类型、操作人、操作时间进行筛选，查看当前工作空间中的历史操作记录。

• 操作检查：可以通过操作类型、检查状态进行筛选，查看相应操作的详细信息。

• MaxCompute：单击MaxCompute即可显示下列子模块。

  • MaxCompute资源管理：用于管理MaxCompute引擎现有的资源。您可以通过该功能查看资源的操作记录。同时，支持将不在DataWorks中上传的资源通过此功能加载至DataWorks的数据开发进行管理。

  • MaxCompute函数管理：用于管理MaxCompute引擎现有的函数。您可以通过该功能查看函数的操作记录。同时，支持将不在DataWorks上注册的函数通过此功能加载至DataWorks的数据开发进行管理。

3

4

系统配置，包括如下内容：

• 个人设置：用于配置管理模块、编辑器功能、界面风格等。

• 配置代码模板：用于管理语句代码的模板，使其呈现所需样式。

• 调度设置：用于配置启用调度设置页面的调度周期功能，启用后周期任务才能自动调度运行。

• 安全设置与其他：

  • 数据安全：用于控制在工作空间中查询页面内容时，是否对敏感信息进行脱敏。

  • 代码强制评审：用于开启代码强制评审，配置代码审核人员，把控开发任务的代码质量。

5

数据开发编辑器常用的快捷键。更多快捷键，详情请参见编辑器快捷键列表。

区域

功能描述

1

• 解决方案：用于将一类业务流程组合为一个解决方案，业务流程可以被多个解决方案复用。解决方案支持使用列表及图形化的方式呈现。

• 业务流程：用于实际业务开发，业务流程为业务的抽象实体，帮助您使用业务视角来组织数据代码开发。

单击图标，即可呈现当前工作空间下的所有解决方案或业务流程。

2

• 刷新（）：用于手动刷新目录树，当您对业务流程或解决方案进行变更操作，可手动刷新对应目录树。

• 定位（）：用于快速定位当前打开的文件。

• 代码搜索（）：用于通过关键字搜索代码片段，快速定位数据开发、手动业务流程、临时查询、回收站中包含该代码片段的所有节点及相关代码片段的详细内容。当目标表数据产生变更，您需要查找操作源（即导致目标表数据变更的任务）时，可以使用该功能。

• 批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。

• 导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表中。

• 快捷新建（）：用于快速创建业务流程，以及各类型的节点、表、资源、函数等。

• 解决方案及业务流程目录树展示：

  • 全部：目录树基于解决方案及业务流程展示当前工作空间下所有已创建的文件（节点、资源、函数等）。

  • 我负责的：目录树基于解决方案及业务流程展示当前登录账号为负责人的文件（节点、资源、函数等）。

  • 我收藏的：目录树基于解决方案及业务流程展示当前登录账号收藏的文件（节点、资源、函数等）。

• 文件查找：

  • 精确查找：您可以输入文件名称或创建人，单击图标查找指定节点。

  • 按节点类型查找：您可以单击图标，通过筛选节点类型，查找指定类型的所有节点。指定节点类型后，则目录树将仅展示当前工作空间中该类型的节点。

    说明

    您还可以根据业务需求选择是否需要隐藏引擎实例及隐藏节点类型文件夹，隐藏后，目录树将不会呈现相应内容。

    • 隐藏引擎实例及隐藏节点类型文件夹仅适用于新版业务流程。

    • 通常，目标引擎下仅包含一个引擎实例时，建议您将其隐藏。

    • 如果您不需要使用数据开发、表、资源、函数等节点类型文件夹时，则可以将其隐藏。

3

使用目录树的方式对各业务流程中的节点、表、资源、函数进行管理：

• 业务流程：业务开发的单位，用于进行具体的业务开发工作。

• 节点：代码开发的最小单位，支持对应引擎、算法、数据集成、数据库、通用节点进行代码开发。

• 表：使用可视化方式操作表。

• 资源：使用可视化方式上传资源。

  说明

  当前仅支持MaxCompute、E-MapReduce、CDH引擎使用可视化方式上传资源。

• 函数：使用可视化方式注册函数。

  说明

  当前仅支持MaxCompute、E-MapReduce、CDH引擎使用可视化方式注册函数。

双击业务流程名称，即可进入业务流程编辑页面（区域5~8），您可以在该页面进行数据开发。

4

资源组编排（）：用于在数据开发阶段，批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时，可以根据实际业务需求，使用该功能快速为目标节点重新分配资源组，促进资源的合理使用。修改后您需要通过批量发布将该操作发布至生产运维中心，使生产环境节点使用的调度资源组修改操作生效。

5

• 常用节点：为您展示当前工作空间中常用的类型节点，方便您快速筛选创建目标类型节点。

• 使用节点组：用于跨业务流程引用一批节点，您可以将业务流程内复用率较高的节点组合为一个节点组，以便在其他业务流程中快速复用该节点组（即快速克隆这批节点）。

• 快速创建节点：您可以将数据集成、MaxCompute、E-MapReduce等目录下的节点直接拖拽至右侧业务流程编辑面板，创建对应类型的节点。

6

业务流程可视化操作面板详情1：

• 切换布局（）：您可以切换当前业务流程编辑面板的布局为纵向、横向或网格。

• 框选（）用于将选中的节点组合为节点组，批量执行节点相关的操作。

• 刷新（）刷新当前业务流程。当您对业务流程执行变更操作时，可手动刷新，获取最新界面。

• 格式化（）：将业务流程中各节点的位置格式化为水平对齐。

• 适配窗口（）：根据当前界面的窗口大小，自动适配业务流程的布局。

• 居中（）居中当前业务流程的各节点。

• 1：1（）用于将当前业务流程的各节点与编辑面板按照1：1比例布局。

• 放大（）放大当前业务流程的各节点。

• 缩小（）：缩小当前业务流程的各节点。

• 查找（）输入关键字，搜索包含关键字的节点。

  说明

  查找方式为模糊匹配，即输入关键字后，DataWorks会展示出当前业务流程中包含关键字的所有节点。

• 全屏（）全屏显示当前业务流程。

• 隐藏引擎信息（）用于显示或隐藏各节点的引擎信息。

7

业务流程可视化操作面板详情2：

• 流程参数：用于批量替换代码中的统一变量，目前仅支持ODPS SQL类型节点使用流程参数。

• 操作历史：用于查看业务流程面板中节点的相关操作记录。

• 查看版本：业务流程每次提交都会生成一个新的版本，您可以在此处查看业务流程的各个版本记录及版本详情。

8

业务流程可视化操作面板详情3：

• 提交（）：批量提交业务流程内更新的节点至任务发布界面。

• 运行（）：运行当前业务流程下所有节点。

• 停止运行（）：运行中的业务流程可以选择批量终止运行业务流程中的节点。

• 发布（）：快速在任务发布界面定位该业务流程下待发布的节点。节点的发布操作。

• 前往运维（）：快速进入生产运维中心，查看节点的运维详情。

• 搜索：当前如果打开的页签较多，您可以单击图标，使用下拉列表查看所有页签。

• 关闭页签：单击图标，关闭指定页签。

功能

描述

新建节点

用于快速新建各类型节点。

新建表

用于快速新建各类型表。

新建资源

用于快速新建各类引擎资源。

新建函数

用于快速新建各类引擎函数。

看板

用于进入目标业务流程的编辑面板。

修改业务流程

用于修改业务流程的名称、负责人、描述等信息。

删除业务流程

删除当前业务流程。

批量操作

用于批量修改业务流程中节点、资源、函数的责任人、引擎实例、调度属性等，并支持批量提交并发布，将变更操作发布至生产环境生效。

区域

功能描述

1

节点开发相关功能按钮：

• 保存（）：保存当前节点的代码及相关配置。

• 另存为临时查询文件（）：将当前代码另存为一个临时文件，您可以进入临时查询页面查看。详情请参见创建临时查询。

• 提交（）：提交当前节点。

• 提交并允许他人编辑该文件（）：提交当前节点，并允许其他用户编辑该节点的代码。

• 偷锁编辑（）：用于非节点责任人编辑节点。

• 运行（）：运行当前节点的代码。运行SQL代码时，您只需要给SQL语句中的变量赋一次值，即使节点的代码发生变更，也会保留初始的赋值。

  说明

  如果您创建的节点没有选择调度资源组，则运行任务时，系统会先提示您选择可用的调度资源组。

• 高级运行（带参数运行）（）：使用配置的参数运行当前节点代码。运行代码时每次都需要手动给SQL语句中的变量进行赋值，运行的初始赋值会传递给高级运行，高级运行的自定义参数赋值后，会刷新当前运行的自定义参数。

  说明

  如果您创建的节点没有选择调度资源组，则运行任务时，系统会先提示您选择可用的调度资源组。

• 停止运行（）：停止正在运行的节点。

• 重新加载（）：刷新节点页面，返回至上次保存的页面。

• 在开发环境执行冒烟测试（）：在开发环境测试当前节点的代码。开发环境冒烟测试可以模拟调度参数在生产调度中参数的替换情况，选择业务日期后，根据您填写的调度参数替换该业务日期下的值。您可以通过该功能测试调度参数的替换情况。

  说明

  开发环境冒烟测试每次变更调度属性后，其中的参数配置需要重新保存并提交，然后选择开发环境冒烟测试，否则替换的调度属性仍会是原来的值。

• 查看开发环境的冒烟测试日志（）：查看运行在开发环境的节点运行日志。

• 前往开发环境的调度系统（）：跳转至开发环境的运维中心进行相关运维操作。详情请参见查看周期实例。

• 格式化（）：对当前节点代码排序，常用于单行代码过长的情况。

• 分享（）：分享当前节点给其他用户。

2

血缘关系：展示当前节点和其它节点的依赖关系和内部血缘关系。

结构：代码结构通过SQL算子进行可视化展示。

3

SQL编辑器：您可以根据业务需求在编辑器中编写任务的SQL语句。

• 单击图标，即可跳转至SQL语句的首行位置。

• 单击图标，即可全屏展示SQL编辑器。

• 单击图标，快速运行目标代码片段，测试代码片段编写是否正确。详情请参见调试代码片段：快捷运行

  说明

  鼠标单击代码行，才会显示该图标。

4

发布运维操作：

• 发布：进入任务发布页面，您可以在该页面查看节点的发布详情，或进行节点发布后的生产运维操作。

• 运维：进入生产运维中心，执行节点相关的运维操作。

功能

描述

重命名

修改目标节点的名称。

收藏

收藏目标节点后，单击数据开发目录树右上方的我收藏的，即可展示已收藏的节点。对于已收藏的节点，后续无需收藏时，则可在节点的快捷菜单单击取消收藏。

移动

移动目标节点至其他业务流程目录。

克隆

用于复制出一个具有相同节点类型、责任人及资源属性的节点。

查看历史版本

用于在版本面板查看节点历史版本、提交人、提交时间、变更类型、状态、备注等信息。

在运维中心查看节点

进入运维中心查看节点的运行信息。标准环境的工作空间，若节点提交至开发环境及生产环境，则您可选择进入开发环境运维中心或生产环境运维中心，分别查看节点的运行情况。

发起代码评审

提交当前节点的代码至评审人进行评审。开发人员提交的节点必须通过评审人对代码的审核才可以发布。

删除

删除该节点及其上下游依赖节点对该节点的依赖。已发布至生产环境的节点被删除后，您需要进入任务发布界面执行发布操作，发布后该节点才会在生产环境下线，详情请参见下线任务。