全部产品
Search
文档中心

大数据开发治理平台 DataWorks:创建并配置发布环境

更新时间:Nov 14, 2024

发布中心用于发布同地域同一阿里云账号下,不同项目(例如,简单模式生产、开发环境)间,以及跨账号、跨地域或跨云平台(例如,金融云、政务云等)节点、函数、资源、组件等对象。创建发布包前,您需要先创建相应的发布环境。本文为您介绍如何创建并配置发布环境。

使用限制

DataWorks仅支持具有空间管理员角色权限的成员创建及配置发布环境。如果您的账号需要创建发布环境,则需要授权目标账号空间管理员角色权限,详情请参见添加及管理工作空间成员

进入发布中心

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 单击顶部菜单栏的image图标,选择全部产品 > 更多 > 发布中心,进入发布中心。

    说明

    标准模式工作空间中的节点,在数据开发界面提交后将自动进入任务发布界面。目前标准模式的任务发布,仍需使用任务发布功能,发布中心暂不支持标准模式工作空间开发环境到生产环境的发布。

配置发布环境

在发布中心界面,您可以根据业务需求选择配置跨工作空间发布及跨云发布的发布环境,具体配置如下。

  1. 进入发布环境管理。

    在发布中心页面,单击左侧导航栏的发布环境管理,进入发布环境管理

  2. 创建发布环境。

    发布环境管理页面,单击新建发布环境,创建发布环境。

  3. 配置环境信息。

    新建发布环境对话框,配置环境信息。

    1. 配置环境基本信息。

      参数

      描述

      环境名称

      新创建的发布环境名称。

      发布类型

      发布环境的类型,取值如下:

      • 跨工作空间发布:原跨项目克隆功能。用于同地域同一阿里云账号下,不同项目间节点发布的场景。

        例如,简单模式工作空间的开发环境和生产环境是分隔的,您可以直接使用跨工作空间发布,无需逐个创建即可将开发环境的节点批量发布至生产环境中进行发布调度,详情请参见发布任务

      • 跨云发布:用于跨账号、跨地域或跨云平台(例如,金融云、政务云等)节点克隆迁移的场景。

      目标工作空间

      选择需要创建发布环境的工作空间。

      • 发布类型跨工作空间发布:选择当前登录账号已加入的工作空间(即当前账号为目标工作空间的成员)。

        说明

        如果您需要添加用户为目标工作空间的成员,详情请参见添加及管理工作空间成员

      • 发布类型选择跨云发布:您需要手动输入目标工作空间的名称。

        说明
        • 进入工作空间管理页面,即可查看工作空间名称,详情请参见创建并管理工作空间

        • 跨云发布时,您需要同时为原工作空间及目标工作空间的成员。如果您需要添加用户为目标工作空间的成员,详情请参见添加及管理工作空间成员

      发布对象所有者

      仅当发布类型选择跨工作空间发布时,需要配置该参数。

      表示发布包跨工作空间发布成功后,在目标工作空间发布包中各节点的责任人。取值如下:

      • 默认:DataWorks优先将节点在原工作空间中的责任人置为第一责任人。如果该责任人非目标工作空间中的成员,则系统会将发布包执行人(即发布该发布包的用户)置为节点的责任人。

      • 发布包创建人:DataWorks将创建发布包的用户置为节点的责任人。

      • 发布包执行人:DataWorks将执行发布操作(即发布目标发布包)的用户置为节点的责任人。

    2. 配置引擎实例映射。

      用于为原工作空间引擎实例配置映射的目标工作空间引擎实例。配置后,在发布任务时,系统会将原引擎实例中的节点、资源、函数、组件等相关内容绑定至目标引擎实例中,并且目标引擎实例的配置信息与原引擎实例一致。

      说明
      • 引擎实例映射区域至少需要保留一个原引擎实例,并为其配置到目标端的映射关系。

      • 请根据您的实际业务判断是否需要在目标工作空间中映射原引擎实例。

      参数

      描述

      原工作空间引擎实例

      显示原工作空间中数据开发绑定的所有引擎实例。

      引擎类型

      引擎类型。

      目标工作空间引擎实例

      选择原工作空间引擎实例需要映射的目标端引擎实例。

      您可以进入目标工作空间的发布中心 > 发布环境管理页面,单击右上角的查看工作空间环境信息,查看引擎实例信息。进入发布环境管理,详情请参见发布环境配置

      忽略映射

      开启后,目标工作空间不会映射对应原工作空间的引擎实例,原引擎实例中的节点、资源、函数、组件等后续将不会被打包发布。

      当原工作空间中引擎实例下的节点、资源、函数、组件等不需要发布时,您可以为该引擎实例开启忽略映射

    3. 配置资源组映射。

      用于为原工作空间资源组配置映射的目标工作空间资源组。配置后,在发布任务时,系统会使用映射的目标资源组代替原资源组运行任务。

      说明
      • DataWorks仅支持配置同类型的资源组相互映射。

      • 在映射数据集成资源组时,您需要保证目标数据集成资源组的白名单、网络连通性等配置与原数据集成资源组一致,否则可能会影响数据集成任务的正常运行。数据集成资源组的网络连通配置,详情请参见网络连通方案

      参数

      描述

      原工作空间资源组

      显示原工作空间绑定的所有资源组。

      资源组类型

      资源组类型。

      目标工作空间资源组

      选择原工作空间资源组需要映射的目标端资源组。

      您可进入目标工作空间的发布中心 > 发布环境管理页面,单击右上角的查看工作空间环境信息,查看资源组信息。进入发布环境配置,详情请参见发布环境配置

      说明

      仅当发布类型跨工作空间发布时,配置该参数。

      目标工作空间资源组唯一标识符

      选择原工作空间资源组需要映射的目标端资源组,此处需输入资源组ID。

      您可进入目标工作空间的发布中心 > 发布环境管理页面,单击右上角的查看工作空间环境信息,查看资源组信息。进入发布环境配置,详情请参见发布环境配置

      说明

      仅当发布类型跨云发布时,配置该参数。

      忽略映射

      开启后,目标工作空间不会映射对应原工作空间的资源组,任务发布时,仍然使用原工作空间的资源组。

      说明

      默认资源组和公共资源组不支持使用忽略映射功能。

      当原工作空间中的资源组数量比目标工作空间的资源数量多时,您可以为多出的资源组开启忽略映射。开启后,任务发布时,将继续使用原资源组运行任务。

    4. 配置依赖映射。

      该区域显示原工作空间下存在的所有跨项目依赖的上游项目名称,您可以为该项目配置与其映射的目标项目。配置后,任务发布时,系统在目标工作空间中会根据该映射关系,将目标项目配置为发布节点的上游依赖,生成新的上下游依赖关系。节点克隆时的依赖关系说明,详情请参见逻辑说明

      说明
      • 依赖映射区域默认为您展示T+1天自动更新的依赖,如果您需要查看实时更新的依赖,请单击刷新依赖

      • 如果您配置了跨项目依赖映射至新的项目,DataWorks将根据映射关系修改节点的依赖关系,请确保映射的工作空间可正常添加依赖。常见的无法正常添加依赖的情况,请参见提交节点报错:当前节点依赖的父节点输出名不存在

      • MaxCompute引擎类任务(例如,ODPS SQL、ODPS Spark等 )配置依赖映射后,系统会同步修改该任务的任务代码。详情请参见逻辑说明

      参数

      描述

      原项目名称

      显示原工作空间下所有跨项目依赖的项目名称。

      项目属性

      项目类别。

      目标项目名称

      选择原项目需要映射的目标项目。

      忽略映射

      开启后,任务发布时,系统将忽略该项目的依赖映射,继续使用原项目作为跨项目依赖的项目,发布节点的上下游依赖关系保持不变。

    5. 配置数据源映射。

      用于为原工作空间的数据源配置映射的目标工作空间数据源。配置后,任务发布时,发布任务中使用的数据源将变更为映射的目标数据源。

      说明

      仅当发布类型选择跨工作空间发布时,需要配置数据源映射。

      参数

      描述

      原数据源名称

      显示原工作空间下所有数据源。

      数据源类型

      数据源类型。

      目标数据源名称

      选择原数据源需要映射的目标数据源。

      忽略映射

      开启后,任务发布时,系统将忽略该数据源,不会将其映射至目标工作空间。

    6. 配置参数映射。

      用于为原工作空间映射的目标工作空间进行参数配置。配置后,在发布任务时,系统会将此处配置的参数(包含业务流程参数和调度参数)引用至目标工作空间中。您可选择通过可视化界面或表达式定义参数的名称及赋值。参数的详情配置,详情请参见调度参数支持的格式

      说明

      请确保每次发布任务中,参数名称唯一。避免相同参数赋值至不同的任务中。

    7. 备注区域,配置发布环境的描述信息。

  4. 单击新建,成功创建发布环境。

管理发布环境

发布环境管理页面为您展示了已创建的发布环境列表,您可以查看环境名称状态创建人等信息。管理发布环境同时,可以对已有环境执行如下操作:

  • 查看:查看发布环境的配置信息。

  • 修改:修改发布环境的配置信息。

  • 克隆:快速生成一个与当前环境配置相同的发布环境。

  • 禁用:如果当前环境近期无需使用,您可以将其禁用。禁用后,开发人员在创建发布包界面将无法再基于该发布环境打包发布节点。

  • 启用:重新启用禁用状态的发布环境。

  • 删除:删除废弃使用的发布环境。

    说明

    环境删除后将无法恢复,请您谨慎操作。

后续步骤

发布环境创建完成后,您可以进入创建发布包页面创建发布包,详情请参见创建及发布发布包:跨工作空间创建及发布发布包:跨云