DataWorks：鏡像管理

前提條件

• 已建立Serverless資源群組。該功能需要與Serverless資源群組配合使用，Serverless資源群組的更多詳情，請參見新增和使用Serverless資源群組。

• （可選）如果任務啟動並執行環境需要依賴位於公網的第三方包，則Serverless資源群組綁定的VPC需要具備公網訪問能力，具體配置詳情，請參見使用公網NAT GatewaySNAT功能訪問互連網。

• 已擁有AliyunDataWorksFullAccess或ModifyResourceGroup權限原則。授權詳情請參見產品及控制台許可權控制詳情：RAM Policy。

使用限制

• 該功能僅支援與新Serverless資源群組配合使用。

  說明

  如果您使用舊版獨享調度資源群組運行PyODPS任務節點時，需要依賴第三方包，可使用營運助手，具體請參見獨享調度資源群組配置第三方包。

• 不同DataWorks版本，支援建立的自訂鏡像最大個數存在限制：

  • 基礎版和標準版：10個。

  • 專業版：50個。

  • 企業版：100個。

• 僅專業版以上版本支援鏡像構建能力。

• 每個地區最多支援兩個鏡像同時構建。

操作步驟

配置樣本

情境說明

假設需要對MaxCompute表中的某一列資料進行分詞，然後將分詞結果存入另一張表中，用於下遊調度節點使用。

可以使用此方案，在自訂鏡像中預裝jieba分詞工具包，然後通過PyODPS任務使用該鏡像對錶資料進行分詞處理並儲存結果至新表，無縫整合至下遊調度流程。

操作步驟

1. 建立測試資料。

   1. 建立MaxCompute資料來源，並在DataWorks資料開發中綁定已建立的MaxCompute資料來源。詳情請參見建立MaxCompute資料來源。

   2. 在資料開發中，建立ODPS節點，建立測試表並添加測試資料。

      說明

      如下樣本使用了調度參數，請在右側調度配置中設定參數名為bday，參數值為$[yyyymmdd]。

      -- 建立測試表
      CREATE TABLE IF NOT EXISTS custom_img_test_tb
      (
          c_customer_id BIGINT NOT NULL,
          c_customer_text STRING NOT NULL,
          PRIMARY KEY (c_customer_id)
      )
      COMMENT 'TABLE COMMENT'
      PARTITIONED BY (ds STRING COMMENT '分區')
      LIFECYCLE 90;
      
      -- 向表中插入測試資料
      INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
      (1, '晚來天欲雪，能飲一杯無？'),
      (2, '月落烏啼霜滿天，江楓漁火對愁眠。'),
      (3, '山重水複疑無路，柳暗花明又一村。'),
      (4, '春眠不覺曉，處處聞啼鳥。'),
      (5, '靜夜思，床前明月光，疑是地上霜。'),
      (6, '海上生明月，天涯共此時。'),
      (7, '舊時王謝堂前燕，飛入尋常百姓家。'),
      (8, '一行白鷺上青天，窗含西嶺千秋雪。'),
      (9, '人生得意須盡歡，莫使金樽空對月。'),
      (10, '天生我材必有用，千金散盡還複來。');

   3. 儲存並發布。

2. 建立自訂鏡像。

   參見步驟二：建立自訂鏡像，關鍵參數如下：

   • 鏡像名稱/ID：選擇dataworks_pyodps_task_pod，DataWorks PYODPS節點官方鏡像。

   • 支援任務類型：選擇PyODPS 3。

   • 安裝包：選擇Python3和jieba。

3. 發布自訂鏡像並修改歸屬專案空間。具體請參見步驟三：發布鏡像和步驟四：修改鏡像歸屬空間。

4. 在調度任務中使用自訂鏡像。

   1. 在資料開發中，建立PyODPS3節點，配置如下內容：

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      
      # 讀取表資料
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      
      # 對提取的文本進行分詞
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      
      # 建立目標表
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='分詞結果')], partitions=[Column(name='ds', type='string', comment='分區欄位')])
          o.create_table("participle_tb", schema)
      
      # 寫入分詞結果到目標表
      # 定義輸出分區和表
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      
      # 如果分區不存在，先建立分區
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      
      # 將分詞結果寫入表
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. 在右側調度配置中，設定如下關鍵參數：

      • 調度參數：參數名bday，參數值為$[yyyymmdd]。

      • 調度資源群組：選擇Serverless資源群組，與發布鏡像時選擇的測試資源群組相同。

      • 鏡像：選擇發行並綁定了當前工作空間的自訂鏡像。

   3. 儲存並帶參運行。

   4. （可選）建立臨時查詢，使用如下SQL查詢產出表中是否有資料。

      SELECT * FROM participle_tb WHERE ds=<分區日期>;

      

   5. 將PyODPS節點發布至生產環境。

      說明

      資料開發中修改的鏡像不會同步到生產環境中，您需要通過發布任務將任務發布後，才能在生產環境中生效。

5. 將自訂鏡像構建為持久化鏡像。具體請參見步驟六：構建持久化鏡像。

相關文檔

• 使用自訂鏡像時，調度資源群組必須配置為Serverless資源群組，Serverless資源群組的更多資訊，請參見新增和使用Serverless資源群組。

• PyODPS的更多用法，請參見PyODPS概述。

• 資料開發中更多參數配置說明，請參見任務調度屬性配置概述。