全部产品
Search
文档中心

大数据开发治理平台 DataWorks:在工作空间创建数据源或注册集群

更新时间:Nov 15, 2024

工作空间创建完成后,您需要先将您的数据库或数据仓库,通过创建数据源的方式添加至DataWorks工作空间,或将您的集群注册至DataWorks工作空间,以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例,为您介绍开发前的工作空间环境准备,包括“如何创建数据源或注册集群”,“用于进行调度的数据源如何绑定至数据开发”。

背景信息

在DataWorks工作空间中,主要基于数据源或集群执行相关数据同步、数据开发操作。具体如下:

  • 数据源

    • DataWorks支持创建多种类型的数据源,数据源创建成功后,便可在当前工作空间基于该数据源进行数据同步操作。数据同步支持的数据源,详情请参见数据源列表

    • 仅MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL3.0、ClickHouse数据源可用于数据开发,若您需基于该类数据源进行数据开发、任务调度、数据分析等操作,则数据源创建完成后还需绑定至数据开发(DataStudio)。

  • 集群:DataWorks支持将E-MapReduce、CDH/CDP整个集群注册至工作空间,集群注册成功后,您便可在当前工作空间基于该集群进行数据开发、任务调度、数据分析等操作。如需基于集群的某个组件执行数据同步任务,则需将该组件创建为相应的数据源,详情请参见支持的数据源及同步方案

更多数据源或集群的介绍,详情请参见创建并管理数据源

前提条件

  • 已创建工作空间,详情请参见创建工作空间

  • 已购买所需引擎产品,详情请参见各引擎的官网文档。

权限说明

若创建数据源或注册集群时,您不具备相关权限,请按照界面提示申请相应权限。不同类型的引擎所需的权限存在差异,具体请以实际界面为准。

示例创建MaxCompute数据源所需的权限如下。image

步骤一:创建数据源或注册集群

工作空间创建完成后,您需将所需的引擎项目创建为当前工作空间的数据源或注册为工作空间的集群,用于执行后续开发操作。

创建数据源

  1. 进入管理中心页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 在左侧导航栏单击数据源 > 数据源列表,进入数据源列表页面。

  3. 单击新增数据源,根据需要创建相应的数据源。

    目前,仅MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL3.0、ClickHouse数据源可用于数据开发、任务调度,创建操作如下。

    数据源类型

    相关文档

    MaxCompute

    创建MaxCompute数据源

    Hologres

    创建Hologres数据源

    AnalyticDB for PostgreSQL

    创建AnalyticDB for PostgreSQL数据源

    AnalyticDB for MySQL3.0

    创建AnalyticDB for MySQL3.0数据源

    ClickHouse

    创建ClickHouse数据源

    此类数据源创建完成后,您已经可以使用该数据源进行相关数据同步操作,详情请参见数据集成概述

    若您需使用数据源进行数据开发、数据分析、或周期性调度任务,则请继续执行步骤二:将数据源绑定至数据开发(DataStudio)

注册集群

  1. 进入管理中心页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 管理中心左侧导航栏单击集群管理 > 注册集群,根据需要注册相应的集群。

    集群类型

    相关文档

    E-MapReduce

    注册EMR集群至DataWorks

    CDH/CDP

    注册CDH或CDP集群至DataWorks

    集群注册完成后,您便可使用该集群执行相关数据开发及周期性调度任务数据分析等操作。

    如需基于集群的某个组件进行数据同步,则还需将该组件创建为相应数据源,详情请参见支持的数据源及同步方案

步骤二:将数据源绑定至数据开发(DataStudio)

数据源创建完成后,若您需在当前工作空间基于该数据源执行数据开发、数据分析、或使用运维中心周期性调度运行相关任务等操作,还需将数据源绑定至当前工作空间的数据开发(DataStudio)模块。详细操作请参见开发前准备:绑定数据源或集群

说明

E-MapReduce、CDH/CDP集群注册完成后,平台默认将其绑定至数据开发(DataStudio),即无需手动绑定,便可在当前工作空间执行E-MapReduce、CDH/CDP相关任务的开发操作。