全部產品
Search
文件中心

DataWorks:配置任務調度

更新時間:Sep 13, 2024

本文以配置任務write_result的調度周期為周調度為例,為您介紹如何設定DataWorks的調度屬性和相依性屬性。

前提條件

  • 已建立虛擬節點(start)和ODPS SQL節點(insert_data,詳情請參見建立商務程序

  • 已建立同步節點write_result產生的同步任務,詳情請參見建立同步任務

背景資訊

DataWorks具有強大的調度能力,支援根據時間、依賴關係的觸發機制。DataWorks可以為您保障每日千萬層級的任務,根據DAG關係準確、準時運行,並且支援分鐘、小時、天、周和月多種調度周期配置,詳情請參見時間屬性配置說明

配置時間屬性

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 在相應的商務程序下,雙擊開啟離線同步節點write_result的編輯頁面。

  3. 單擊編輯頁面右側導覽列的調度配置

    說明

    手動商務程序中建立的節點需要手動觸發,無法通過調度執行。

  4. 時間屬性地區,配置任務的調度時間屬性。

    image.png

    參數

    描述

    執行個體產生方式

    包括T+1次日產生發布後即時產生。詳情請參見執行個體產生方式:發布後即時產生執行個體

    調度類型

    • 正常調度:按照調度周期配置的定時時間啟動調度,正常執行任務(即會真實跑資料)。

    • 暫停調度:按照調度周期配置的定時時間啟動調度,但節點狀態被置為暫停(即不會真實跑資料)。

    • 空跑調度:按照調度周期配置的定時時間啟動調度,但該節點為空白跑狀態(即不會真實跑資料)。

    調度周期

    節點的運行周期(年、月、周、日、小時和分鐘),此處樣本設定每周一、周二的00:00點啟動調度。

    cron運算式

    根據您配置的調度時間預設顯示,不可以更改。

    逾時定義

    當任務運行時間長度超過逾時時間,任務將自動終止運行。

    • 逾時時間對周期執行個體、補資料執行個體、測試執行個體均生效。

    • 逾時時間預設值為3~7天,系統根據實際負載情況動態調整預設的任務逾時時間,範圍為3~7天不等。

    說明
    • 逾時定義最大值可設定為168小時。

    • 由於任務執行時間過長而導致任務逾時終止,仍會收取該任務產生的流量、計算等費用。

    重跑屬性

    包括運行成功或失敗後皆可重跑運行成功後不可重跑,運行失敗後可以重跑運行成功或失敗後皆不可重跑

    失敗自動重跑

    如果重跑屬性設定為運行成功或失敗後皆可重跑運行成功後不可重跑,運行失敗後可以重跑時,會顯示該屬性,可以配置任務出錯自動重跑。如果設定為運行成功或失敗後皆不可重跑,則不會顯示該屬性,即任務出錯不會自動重跑。

    重跑次數

    當勾選出錯自動重跑後,您需要配置重跑次數

    重跑間隔

    當勾選出錯自動重跑後,您需要配置重跑間隔。預設每次重跑的間隔為30分鐘,最小支援設定為1分鐘,最大支援設定為30分鐘。

    生效日期

    節點的有效日期,請根據自身需求進行設定。

    更多時間屬性介紹,詳情請參見時間屬性配置說明

配置調度依賴

相依性屬性中可以配置節點的上遊依賴,表示即使當前節點的執行個體已經到定時時間,也必須等待上遊節點的執行個體運行完畢,才會觸發運行。

例如,當前節點的執行個體將在上遊insert_data節點的執行個體運行完畢後,才會觸發執行。

說明

從業務維度看,節點依賴關係設定就是下遊節點等待上遊節點產出表資料後,下遊節點再對該表資料進行下一步操作,比如對上遊產出的表資料進行進一步清洗,或者將上遊清洗的結果表資料迴流至其他資料庫,但這些都需要等待上遊節點執行成功(上遊節點產出表資料)後才可以進行的操作,節點依賴關係的設定,保障的就是下遊節點執行時,依賴的上遊資料已經產出。關於調度依賴的邏輯說明詳情,您可以參考文檔:調度依賴配置指引

在調度系統中,每一個工作空間中預設會建立一個工作空間名稱_root節點作為根節點。如果本節點沒有上遊節點,可以直接依賴根節點。

提交並發布任務

  1. write_result節點的編輯頁面,單擊工具列中的儲存表徵圖,儲存節點。

  2. 提交任務。

    說明

    您需要設定節點的重跑屬性依賴的上遊節點,才可以提交任務。

    1. 單擊工具列中的提交表徵圖。

    2. 提交對話方塊中,輸入變更描述

    3. 單擊確認

    如果您使用的是標準模式的工作空間,提交成功後,開發環境便有了該同步任務,如果需要將其發布至生產環境進行周期性調度請單擊左上方的任務發布在此介面將同步任務發布至生產環境。具體操作請參見發布任務

    同步任務只有提交至調度系統中,才會從第二天開始,自動根據調度屬性配置的周期,在各時間點產生執行個體,並定時運行。

    說明

    如果是23:30以後提交的同步任務,則調度系統從第3天開始,才會自動周期產生執行個體並定時運行。

後續步驟

現在,您已經學習了如何設定離線同步任務的調度屬性和依賴關係,您可以繼續下一個教程。在該教程中,您將學習如何對提交的任務進行周期營運,並查看日誌排錯。詳情請參見運行及排錯