大数据开发治理平台 DataWorks：镜像管理

前提条件

• 已创建Serverless资源组。该功能需要与Serverless资源组配合使用，Serverless资源组的更多详情，请参见新增和使用Serverless资源组。

• （可选）如果任务运行的环境需要依赖位于公网的第三方包，则Serverless资源组绑定的VPC需要具备公网访问能力，具体配置详情，请参见使用公网NAT网关SNAT功能访问互联网。

• 已拥有AliyunDataWorksFullAccess或ModifyResourceGroup权限策略。授权详情请参见产品及控制台权限控制详情：RAM Policy。

使用限制

• 该功能仅支持与新Serverless资源组配合使用。

  说明

  如果您使用旧版独享调度资源组运行PyODPS任务节点时，需要依赖第三方包，可使用运维助手，具体请参见独享调度资源组配置第三方包。

• 不同DataWorks版本，支持创建的自定义镜像最大个数存在限制：

  • 基础版和标准版：10个。

  • 专业版：50个。

  • 企业版：100个。

• 仅专业版以上版本支持镜像构建能力。

• 每个地域最多支持两个镜像同时构建。

操作步骤

配置示例

场景说明

假设需要对MaxCompute表中的某一列数据进行分词，然后将分词结果存入另一张表中，用于下游调度节点使用。

可以使用此方案，在自定义镜像中预装jieba分词工具包，然后通过PyODPS任务使用该镜像对表数据进行分词处理并存储结果至新表，无缝集成至下游调度流程。

操作步骤

1. 创建测试数据。

   1. 创建MaxCompute数据源，并在DataWorks数据开发中绑定已创建的MaxCompute数据源。详情请参见创建MaxCompute数据源。

   2. 在数据开发中，创建ODPS节点，新建测试表并添加测试数据。

      说明

      如下示例使用了调度参数，请在右侧调度配置中设置参数名为bday，参数值为$[yyyymmdd]。

      -- 创建测试表
      CREATE TABLE IF NOT EXISTS custom_img_test_tb
      (
          c_customer_id BIGINT NOT NULL,
          c_customer_text STRING NOT NULL,
          PRIMARY KEY (c_customer_id)
      )
      COMMENT 'TABLE COMMENT'
      PARTITIONED BY (ds STRING COMMENT '分区')
      LIFECYCLE 90;
      
      -- 向表中插入测试数据
      INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
      (1, '晚来天欲雪，能饮一杯无？'),
      (2, '月落乌啼霜满天，江枫渔火对愁眠。'),
      (3, '山重水复疑无路，柳暗花明又一村。'),
      (4, '春眠不觉晓，处处闻啼鸟。'),
      (5, '静夜思，床前明月光，疑是地上霜。'),
      (6, '海上生明月，天涯共此时。'),
      (7, '旧时王谢堂前燕，飞入寻常百姓家。'),
      (8, '一行白鹭上青天，窗含西岭千秋雪。'),
      (9, '人生得意须尽欢，莫使金樽空对月。'),
      (10, '天生我材必有用，千金散尽还复来。');

   3. 保存并发布。

2. 创建自定义镜像。

   参见步骤二：创建自定义镜像，关键参数如下：

   • 镜像名称/ID：选择dataworks_pyodps_task_pod，DataWorks PYODPS节点官方镜像。

   • 支持任务类型：选择PyODPS 3。

   • 安装包：选择Python3和jieba。

3. 发布自定义镜像并修改归属项目空间。具体请参见步骤三：发布镜像和步骤四：修改镜像归属空间。

4. 在调度任务中使用自定义镜像。

   1. 在数据开发中，创建PyODPS3节点，配置如下内容：

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      
      # 读取表数据
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      
      # 对提取的文本进行分词
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      
      # 创建目标表
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='分词结果')], partitions=[Column(name='ds', type='string', comment='分区字段')])
          o.create_table("participle_tb", schema)
      
      # 写入分词结果到目标表
      # 定义输出分区和表
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      
      # 如果分区不存在，先创建分区
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      
      # 将分词结果写入表
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. 在右侧调度配置中，设置如下关键参数：

      • 调度参数：参数名bday，参数值为$[yyyymmdd]。

      • 调度资源组：选择Serverless资源组，与发布镜像时选择的测试资源组相同。

      • 镜像：选择已发布并绑定了当前工作空间的自定义镜像。

   3. 保存并带参运行。

   4. （可选）新建临时查询，使用如下SQL查询产出表中是否有数据。

      SELECT * FROM participle_tb WHERE ds=<分区日期>;

      

   5. 将PyODPS节点发布至生产环境。

      说明

      数据开发中修改的镜像不会同步到生产环境中，您需要通过发布任务将任务发布后，才能在生产环境中生效。

5. 将自定义镜像构建为持久化镜像。具体请参见步骤六：构建持久化镜像。

相关文档

• 使用自定义镜像时，调度资源组必须配置为Serverless资源组，Serverless资源组的更多信息，请参见新增和使用Serverless资源组。

• PyODPS的更多用法，请参见PyODPS概述。

• 数据开发中更多参数配置说明，请参见任务调度属性配置概述。