数据开发（DataStudio）（旧版）

能力概览

数据开发（DataStudio）的主要功能介绍如下。您可参考数据开发相关概念辅助理解。

界面认识

您可通过功能索引了解数据开发操作界面，以及各模块功能如何使用。

开发流程

DataWorks数据开发支持创建多种类型引擎的实时同步任务、离线调度任务（包括离线同步任务、离线加工任务）、手动触发任务。其中，数据同步相关能力您可前往数据集成模块了解；实际开发调度任务时，不同引擎任务的配置要求存在差异，您需先了解不同引擎基于DataWorks开发的注意事项及相关说明，再根据待开发的任务类型开始数据开发工作。

• 各引擎开发说明：DataWorks支持创建各种数据源并进行引擎开发任务，不同引擎任务所需的配置存在差异，其中主要引擎任务的开发说明请参见：

  • DataWorks On MaxCompute使用说明

  • DataWorks On Hologres使用说明

  • DataWorks On EMR使用说明

• 通用开发流程：DataWorks的工作空间分为标准模式和简单模式，不同模式工作空间下调度任务的开发流程存在一定差异，具体如下。

  标准模式工作空间开发流程。

  简单模式工作空间开发流程。

  • 基本流程：以标准模式为例，调度任务的开发流程包括开发、调试、调度配置、提交、发布、运维等阶段。其中，任务开发的通用开发流程，请参见通用开发流程。

  • 流程管控：任务在开发过程可结合数据开发（DataStudio）自带的代码评审、冒烟测试等功能，以及数据治理中心预设的检查项、开放平台基于扩展程序实现自定义逻辑校验等功能，保障开发任务符合规范。

    说明

    不同工作空间模式涉及的流程管控操作存在差异，具体请以实际管控功能为准。

管理方式

DataWorks数据开发的业务流程是具体代码开发、资源组织的单位，是业务的抽象实体，帮助您使用业务视角来组织数据代码开发。工作空间之间的业务流程、任务节点为独立开发，互不影响。更多关于业务流程的使用，详情请参见创建业务流程。

业务流程的呈现包括目录树及操作面板两种方式，帮助您基于业务视角组织代码，使资源类别更明确，业务逻辑更清晰。

• 目录树结构：提供基于任务类型的代码组织方式。

• 业务流程面板：提供流程化的业务逻辑展现方式。

环境准备

若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。

1. 您需根据后续要开发和调度的任务类型，提前创建好对应的数据源或集群。

   数据源或集群	说明

   数据源或集群	说明
   创建MaxCompute数据源	首次创建MaxCompute数据源后，DataWorks会自动将数据源绑定至数据开发（DataStudio），您无需按本文手动绑定。但后续创建的MaxCompute数据源需要手动绑定至数据开发（DataStudio）。
   创建Hologres数据源	创建这些数据源后，需要参照本文指导手动绑定。
   创建AnalyticDB for PostgreSQL数据源
   创建AnalyticDB for MySQL3.0数据源
   创建ClickHouse数据源
   注册E-MapReduce集群至DataWorks	注册集群后，DataWorks会将集群绑定至数据开发（DataStudio），您无需按本文手动绑定。
   注册CDH或CDP集群至DataWorks

2. 进入数据开发页面。

   登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与治理 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

3. 在左侧导航栏单击计算资源，进入计算资源新建页面。

   若左侧导航栏未显示计算资源模块，则您需进入个人设置页面，设置该模块显示至左侧导航栏中。操作详情请参见模块管理。

4. 绑定计算资源。

   在计算资源新建页面，您可通过计算资源名称或计算资源类型搜索找到目标数据源或集群进行绑定操作。绑定后，便可基于数据源的连接信息读取该数据源的数据，进行相关开发操作。

   说明

   当数据源信息发生变更时，若当前界面数据更新不及时，请刷新当前页面更新缓存数据。

   

   • 部分场景可能导致数据源或集群无法绑定至DataStudio（数据开发）：

     • 部分数据源或集群是否可在DataStudio绑定，与数据源或集群的配置有关。例如，不支持在DataStudio绑定AccessKey及AccessSecret模式创建的数据源。更多绑定限制，请参见产品绑定界面提示说明。

     • 数据源缺失开发环境或生产环境。

     • 一个MaxCompute计算资源不能同时被多个DataWorks工作空间绑定。

     说明

     不同数据源或集群无法绑定至DataStudio（数据开发）的原因存在差异，平台会自动展示不支持绑定的原因，您可基于具体原因进行排查处理。

   • 当前仅支持绑定MaxCompute、E-MapReduce、Hologres、AnalyticDB for MySQL、ClickHouse、CDH/CDP、AnalyticDB for PostgreSQL至DataStudio（数据开发）。

   • 不同DataWorks版本，支持绑定的数据源或集群类型及数量限制存在差异。详情请参见DataWorks各版本支持的功能详情。

入门教程

您可以参考数据开发入门，快速了解并掌握数据开发的基本操作及开发流程，详情请参见数据开发入门。

支持的节点类型

DataWorks的数据开发（DataStudio）模块提供了多种类型节点，同时，多种类型节点支持周期性任务调度，您可基于业务需要选择合适的节点进行相关开发操作。DataWorks支持的节点合集，详情请参见DataWorks节点合集。