全部产品
Search
文档中心

大数据开发治理平台 DataWorks:MaxCompute资源管理

更新时间:Nov 15, 2024

您可以通过MaxCompute资源面板,查看在MaxCompute计算引擎中存在的资源、资源的变更历史,并可以一键添加资源文件至数据开发面板的业务流程中。

使用限制

仅支持MaxCompute客户端(odpscmd)上传的不超过200M的资源通过MaxCompute资源功能加载至数据开发(DataStudio)具体的业务流程,在数据开发(DataStudio)界面可视化管理和使用该资源。

查看资源

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 展开左侧导航栏中的MaxCompute,单击MaxCompute资源

    1

    序号

    图标

    说明

    切换

    MaxCompute资源默认显示生产环境下的资源,如果您需要查看提交但未发布的资源,请单击切换环境图标切换环境。查看资源

    说明

    简单模式的工作空间只有生产环境。

    1

    单击后,可以筛选不同的资源类型。

    说明

    目前支持Jar、Archive、File和Python等资源类型。

    排序

    单击后,可以切换条目排序,默认按更新时间倒序排列。

  3. 单击相应的资源,即可查看资源名称资源类型资源大小等详细信息。

    • MaxCompute资源面板中所列的资源,并非一定与数据开发面板中的资源一致。

      • 数据开发面板中的资源只有上传为ODPS资源,并提交发布后,才会出现在MaxCompute资源面板的开发环境或生产环境中。

      • 通过MaxCompute客户端、MaxCompute Studio等非DataWorks渠道上传的资源文件,不会在数据开发面板显示,但会出现在MaxCompute资源面板中。MaxCompute资源面板显示的资源可能存在延迟,建议您使用命令查找相应资源,详情请参见附录一:通过命令操作数据源中的资源

    • 使用MaxCompute资源面板中所列的资源时,请注意与数据开发面板中资源的区别。

      使用场景

      数据开发

      MaxCompute资源

      在ODPS SQL节点中使用

      是(需同时上传至MaxCompute)

      在ODPS MR节点中使用

      是(需同时上传至MaxCompute)

      在Shell节点中使用

      在临时查询中使用

      是(需同时上传至MaxCompute)

      在业务流程中创建函数

      是(需同时上传至MaxCompute)

添加资源至数据开发面板

下图为添加资源至数据开发面板的流程。数据开发

  1. 找到需要的资源后,单击添加到数据开发

    添加到数据开发

    您可以通过此操作,快速将MaxCompute资源面板中的资源文件同步至数据开发的业务流程中。

  2. 新建资源对话框中,输入资源名称,并选择目标文件夹,单击点击上传,选择相应的文件进行上传。

    上传过程中,您可以进行如下操作:

    • 重命名资源名称。

    • 选择目标文件夹,即修改资源所处的业务流程。

    上传过程中,您不可以进行如下操作:

    • 更改资源类型。

    • 选择是否上传为ODPS资源。

    • 重新上传文件。

  3. 配置完成后,单击新建,即可完成资源的创建。

    说明
    • 创建完成后,您需要手动完成保存、提交、发布等操作,与业务流程中对资源进行的操作一致。详情请参见创建并使用MaxCompute资源

    • 资源提交、发布过程中,会同样上传至开发环境、生产环境的MaxCompute,同时更新在MaxCompute资源面板的资源文件中。

    • 由于资源在MaxCompute项目中的唯一性,如果在同一工作空间中有同名资源,添加过程将会覆盖原有资源。如果原有资源处于不同的业务流程,将会在新业务流程下完成覆盖。

查看资源的变更历史

单击相应资源下的查看变更历史,即可查看资源文件的创建、修改记录。