全部產品
Search
文件中心

MaxCompute:周期性調度作業概述

更新時間:Jun 19, 2024

如果您希望周期性運行MaxCompute作業,可使用DataWorks的DataStudio開發週期性MaxCompute作業,並配置周期性調度的時間屬性、調度依賴等配置項,將作業整體提交至DataWorks的營運中心進行周期性調度。本文為您概要介紹當前使用DataWorks開發週期性作業的能力。

周期性作業開發流程

DataWorks on MaxCompute的基本開發流程如下圖。資料開發流程
說明 DataWorks的工作空間分為基礎版與標準版,其中標準版為開發生產環境隔離的環境,以上流程圖以標準版DataWorks為例。
其中:
  • 不同類型的作業任務可以使用不同的節點,如ODPS SQL節點、ODPS Spark節點、PyODPS節點等。
  • 同時您還可以通過DataWorks介面化的建立MaxCompute表、將MaxCompute函數註冊至DataWorks、在DataWorks上建立MaxCompute資源,來提高作業開發效率。
  • 同時您也可以使用DataWorks的通用節點來實現較複雜的作業邏輯(如迴圈、遍曆等),更多介紹請參見進階應用程式:實現複雜作業邏輯

費用說明

DataWorks資料開發與營運中心提供MaxCompute資料同步、資料加工任務的周期調度,不僅包含DataWorks相關費用,同時會產生產品側其他費用,具體如下。

一、DataWorks相關費用

以下費用會體現在DataWorks產品相關賬單中。DataWorks計費詳情請參見DataWorks計費項目說明

費用

說明

DataWorks版本費用

進行任務開發前,您需先開通DataWorks。如果開通的是DataWorks標準版、專業版、企業版,則在開通時需支付相應版本的版本費用。

任務調度的調度資源費用

任務開發完成後,進行任務調度時需使用調度資源。您需按需購買調度資源群組(例如,訂用帳戶的獨享調度資源群組、隨用隨付的公用調度資源群組),支付相應的資源群組費用。

資料同步的同步資源費用

運行資料同步任務時,除調度資源外,還需使用資料同步資源。您需按需購買資料同步所需的資源群組(例如,訂用帳戶的獨享Data Integration資源群組、隨用隨付的公用Data Integration(調試)資源群組),支付相應的資源群組費用。

說明
  • DataStudio介面使用運行、帶參運行功能執行的任務,不會收取調度費用。

  • 沒有實際執行成功的任務及空跑的任務不收取調度費用。

您可參考DataWorks調度任務下發邏輯,以輔助瞭解上述計費說明。

二、非DataWorks相關費用

以下費用不會體現在DataWorks產品相關賬單中。任務開發運行過程中可能會產生的其他費用如下。

重要

其他產品收費情況由對應產品的計費邏輯決定,您可查看對應產品的計費文檔瞭解詳情。以MaxCompute為例,計費詳情請參見MaxCompute計費項目說明

費用

說明

資料庫費用

資料同步時,讀寫上下遊資料庫中的資料,可能會產生資料庫費用。

計算和儲存費用

運行計算引擎任務時,可能會產生計算引擎的計算和儲存費用。例如,運行一個MaxCompute的SQL任務,建立表並寫入表資料,可能會產生MaxCompute的計算和儲存費用。

網路服務費用

連通DataWorks和其他相關產品的網路環境時,可能會產生網路服務費用。例如,使用Express Connect、共用頻寬、EIP等產品連通網路時,會產生相應產品的服務費用。

許可權控制

DataWorks為您提供了產品級與模組層級的許可權控制,並支援使用可視化方式申請與審批MaxCompute資料來源的相關許可權。許可權控制相關介紹如下。

一、資料訪問與許可權控制

您可通過ODPS SQL節點或臨時查詢節點,查詢MaxCompute表資料,簡單模式工作空間無法做到細粒度許可權控制及開發生產隔離,本文以標準模式工作空間樣本說明。

  • 許可權預設情況說明

    RAM使用者被添加至工作空間成為空白間成員後,其資料存取權限預設情況如下。

    權限類別

    描述

    MaxCompute開發專案許可權

    DataWorks通過空間級預設角色與開發環境MaxCompute資料來源Role的映射關係,讓被授予空間角色的RAM使用者(子帳號)擁有該角色映射的開發資料來源許可權,預設擁有開發環境對應的資料來源專案許可權,但無生產環境對應的資料來源專案許可權。

    MaxCompute生產專案許可權

    除被授予調度訪問身份的RAM使用者(子帳號)擁有生產環境MaxCompute專案較大許可權外,其他RAM使用者(子帳號)沒有生產環境專案許可權。如需操作生產表,請前往資訊安全中心申請許可權。

    DataWorks為您提供了預設的審批次程序,同時,也支援管理者自訂審批次程序。

    更多關於MaxCompute資料存取權限控制說明,請參見MaxCompute資料許可權控制詳情

  • 資料訪問行為說明

    MaxCompute支援跨專案查詢表,因此,在資料開發(DataStudio)介面可通過指定專案名稱的方式,跨專案查詢DataWorks工作空間中的生產資料。跨專案訪問表的方式及各介面執行所使用的帳號說明,請見下表。

    說明
    • 不同環境建立的資料來源及環境配置的執行帳號,可查看工作空間的資料來源資訊。詳情請參見建立MaxCompute資料來源

    • DataWorks標準模式工作空間下,開發環境預設使用任務執行者個人身份執行任務,生產調度環境預設使用某雲帳號執行任務,即調度訪問身份。詳情請參見建立MaxCompute資料來源

    程式碼範例

    開發環境(資料開發、開發環境營運中心)執行代碼

    生產環境(生產環境營運中心)執行代碼

    訪問開發專案中的開發表:

    select col1 from projectname_dev.tablename;

    使用任務執行者個人云帳號訪問開發表。

    • RAM使用者(子帳號)執行相關任務,則使用RAM使用者(子帳號)個人云帳號訪問開發表。

    • 阿里雲主帳號執行相關任務,則使用阿里雲主帳號訪問開發表。

    使用調度訪問身份訪問開發表。

    訪問生產專案中的生產表:

    select col1 from projectname.tablename;

    使用任務執行者個人云帳號訪問生產表。

    說明

    由於生產資料安全控制,個人云帳號預設無許可權訪問生產表,需前往資訊安全中心進行申請。DataWorks提供預設審批次程序,支援管理者自訂審批次程序。

    使用調度訪問身份訪問生產表。

    在目標類型環境(例如,開發環境)執行語句,訪問相應環境中的表(即開發表):

    select col1 from tablename;

    在開發環境執行時,使用任務執行者個人云帳號訪問身份,訪問開發資料來源中目標表。

    在生產環境執行時,使用調度訪問身份,訪問生產資料來源中目標表。

二、功能模組許可權控制

進行資料開發前,您可為使用者授權指引授予工作空間成員不同空間角色,讓其擁有不同的操作許可權。權限類別型如下:

  • 通過RAM Policy許可權體系,管理DataWorks功能模組(例如,不允許使用者訪問資料地圖)與DataWorks控制台的許可權(例如,允許使用者刪除工作空間)。

  • 通過RBAC許可權模型,管理DataWorks空間級模組(例如,允許使用者進入資料開發執行相關開發操作)與全域模組的使用許可權(例如,禁止使用者訪問資料保護傘模組)。

開發流程