如果您希望周期性運行MaxCompute作業,可使用DataWorks的DataStudio開發週期性MaxCompute作業,並配置周期性調度的時間屬性、調度依賴等配置項,將作業整體提交至DataWorks的營運中心進行周期性調度。本文為您概要介紹當前使用DataWorks開發週期性作業的能力。
周期性作業開發流程
- 不同類型的作業任務可以使用不同的節點,如ODPS SQL節點、ODPS Spark節點、PyODPS節點等。
- 同時您還可以通過DataWorks介面化的建立MaxCompute表、將MaxCompute函數註冊至DataWorks、在DataWorks上建立MaxCompute資源,來提高作業開發效率。
- 同時您也可以使用DataWorks的通用節點來實現較複雜的作業邏輯(如迴圈、遍曆等),更多介紹請參見進階應用程式:實現複雜作業邏輯。
費用說明
DataWorks資料開發與營運中心提供MaxCompute資料同步、資料加工任務的周期調度,不僅包含DataWorks相關費用,同時會產生產品側其他費用,具體如下。
一、DataWorks相關費用
以下費用會體現在DataWorks產品相關賬單中。DataWorks計費詳情請參見DataWorks計費項目說明。
費用 | 說明 |
DataWorks版本費用 | 進行任務開發前,您需先開通DataWorks。如果開通的是DataWorks標準版、專業版、企業版,則在開通時需支付相應版本的版本費用。 |
任務調度的調度資源費用 | 任務開發完成後,進行任務調度時需使用調度資源。您需按需購買調度資源群組(例如,訂用帳戶的獨享調度資源群組、隨用隨付的公用調度資源群組),支付相應的資源群組費用。 |
資料同步的同步資源費用 | 運行資料同步任務時,除調度資源外,還需使用資料同步資源。您需按需購買資料同步所需的資源群組(例如,訂用帳戶的獨享Data Integration資源群組、隨用隨付的公用Data Integration(調試)資源群組),支付相應的資源群組費用。 |
DataStudio介面使用運行、帶參運行功能執行的任務,不會收取調度費用。
沒有實際執行成功的任務及空跑的任務不收取調度費用。
您可參考DataWorks調度任務下發邏輯,以輔助瞭解上述計費說明。
二、非DataWorks相關費用
以下費用不會體現在DataWorks產品相關賬單中。任務開發運行過程中可能會產生的其他費用如下。
其他產品收費情況由對應產品的計費邏輯決定,您可查看對應產品的計費文檔瞭解詳情。以MaxCompute為例,計費詳情請參見MaxCompute計費項目說明。
費用 | 說明 |
資料庫費用 | 資料同步時,讀寫上下遊資料庫中的資料,可能會產生資料庫費用。 |
計算和儲存費用 | 運行計算引擎任務時,可能會產生計算引擎的計算和儲存費用。例如,運行一個MaxCompute的SQL任務,建立表並寫入表資料,可能會產生MaxCompute的計算和儲存費用。 |
網路服務費用 | 連通DataWorks和其他相關產品的網路環境時,可能會產生網路服務費用。例如,使用Express Connect、共用頻寬、EIP等產品連通網路時,會產生相應產品的服務費用。 |
許可權控制
DataWorks為您提供了產品級與模組層級的許可權控制,並支援使用可視化方式申請與審批MaxCompute資料來源的相關許可權。許可權控制相關介紹如下。
一、資料訪問與許可權控制
您可通過ODPS SQL節點或臨時查詢節點,查詢MaxCompute表資料,簡單模式工作空間無法做到細粒度許可權控制及開發生產隔離,本文以標準模式工作空間樣本說明。
許可權預設情況說明
RAM使用者被添加至工作空間成為空白間成員後,其資料存取權限預設情況如下。
權限類別
描述
MaxCompute開發專案許可權
DataWorks通過空間級預設角色與開發環境MaxCompute資料來源Role的映射關係,讓被授予空間角色的RAM使用者(子帳號)擁有該角色映射的開發資料來源許可權,預設擁有開發環境對應的資料來源專案許可權,但無生產環境對應的資料來源專案許可權。
MaxCompute生產專案許可權
除被授予調度訪問身份的RAM使用者(子帳號)擁有生產環境MaxCompute專案較大許可權外,其他RAM使用者(子帳號)沒有生產環境專案許可權。如需操作生產表,請前往資訊安全中心申請許可權。
DataWorks為您提供了預設的審批次程序,同時,也支援管理者自訂審批次程序。
更多關於MaxCompute資料存取權限控制說明,請參見MaxCompute資料許可權控制詳情。
資料訪問行為說明
MaxCompute支援跨專案查詢表,因此,在資料開發(DataStudio)介面可通過指定專案名稱的方式,跨專案查詢DataWorks工作空間中的生產資料。跨專案訪問表的方式及各介面執行所使用的帳號說明,請見下表。
說明不同環境建立的資料來源及環境配置的執行帳號,可查看工作空間的資料來源資訊。詳情請參見建立MaxCompute資料來源。
DataWorks標準模式工作空間下,開發環境預設使用任務執行者個人身份執行任務,生產調度環境預設使用某雲帳號執行任務,即調度訪問身份。詳情請參見建立MaxCompute資料來源。
程式碼範例
開發環境(資料開發、開發環境營運中心)執行代碼
生產環境(生產環境營運中心)執行代碼
訪問開發專案中的開發表:
select col1 from projectname_dev.tablename;
使用任務執行者個人云帳號訪問開發表。
RAM使用者(子帳號)執行相關任務,則使用RAM使用者(子帳號)個人云帳號訪問開發表。
阿里雲主帳號執行相關任務,則使用阿里雲主帳號訪問開發表。
使用調度訪問身份訪問開發表。
訪問生產專案中的生產表:
select col1 from projectname.tablename;
使用任務執行者個人云帳號訪問生產表。
說明由於生產資料安全控制,個人云帳號預設無許可權訪問生產表,需前往資訊安全中心進行申請。DataWorks提供預設審批次程序,支援管理者自訂審批次程序。
使用調度訪問身份訪問生產表。
在目標類型環境(例如,開發環境)執行語句,訪問相應環境中的表(即開發表):
select col1 from tablename;
在開發環境執行時,使用任務執行者個人云帳號訪問身份,訪問開發資料來源中目標表。
在生產環境執行時,使用調度訪問身份,訪問生產資料來源中目標表。
二、功能模組許可權控制
進行資料開發前,您可為使用者授權指引授予工作空間成員不同空間角色,讓其擁有不同的操作許可權。權限類別型如下:
通過RAM Policy許可權體系,管理DataWorks功能模組(例如,不允許使用者訪問資料地圖)與DataWorks控制台的許可權(例如,允許使用者刪除工作空間)。
通過RBAC許可權模型,管理DataWorks空間級模組(例如,允許使用者進入資料開發執行相關開發操作)與全域模組的使用許可權(例如,禁止使用者訪問資料保護傘模組)。