全部產品
Search
文件中心

DataWorks:執行個體產生方式:發布後即時產生執行個體

更新時間:Jun 19, 2024

DataWorks會為您的周期調度節點自動產生自調度執行個體,支援T+1次日產生發布後即時產生兩種執行個體產生方式,即發布至生產環境後第二天自動調度及發布至生產環境後立即自動調度。本文為您介紹即時產生執行個體的規則及配置要點。

注意事項

  • 周期執行個體生效情況

    調度任務發布至生產環境後,均可在營運中心的周期任務介面查看任務的最新依賴情況,但自動調度的周期執行個體何時生效,或依賴關係何時更新,與您選擇的執行個體產生方式有關。

  • 變更操作的生效時間

    每日全量轉執行個體期間(即23:30~24:00),任務的變更操作會在第三天產生的周期執行個體生效。

  • 推薦的使用情境

    頻繁使用即時產生執行個體,由於存在執行個體替換邏輯,會導致當天依賴關係較複雜,依賴關係在第二天會恢複正常。建議僅在需要根據新配置,替換已有自動調度的周期執行個體時,選擇使用該功能。

    若您不確定依賴關係是否符合預期,建議先通過必讀:複雜依賴情境調度配置原則與樣本,提前瞭解DataWorks對於上下遊周期數不同情境的依賴掛載原則,實際配置時,通過預覽依賴功能,預覽依賴關係後再發布。

    若選擇T+1次日產生方式時,需根據最新配置立即執行循環任務,您可對最新狀態的周期任務執行補資料(即補業務時間昨天的資料)操作,該操作與當天周期執行個體執行的行為一致。

  • 即時產生執行個體存在時間差

    為避免執行個體變更導致任務運行異常,發布後即時產生執行個體存在10分鐘的時間差,即任務定時時間在發布時間點十分鐘後(即即時轉執行個體生效時間點),任務才會真實執行或根據最新的調度配置重建執行個體並調度。時間差

功能概要

使用發布後即時產生方式產生執行個體時,相關功能情境的執行個體運行及上下遊依賴情況如下。

功能情境

相關文檔

建立任務發布當天會即時產生執行個體,發布當天產生的執行個體是否真實執行,與任務的定時時間有關。

情境一:建立節點發布後選擇即時產生執行個體

修改發行任務的調度時間(即定時時間與調度頻率),當天執行個體依賴較複雜。非必要,建議發行任務不使用發布後即時產生執行個體方式。

情境二:更新發行任務的調度周期

若上下遊均為建立任務,但上下遊執行個體的產生方式不一致,可能導致產生情境:節點孤立

情境三:上下遊任務執行個體產生方式不一致

任務發布後即時產生的執行個體,其下遊會按照上遊最新的調度配置(天、月、小時)來設定下遊依賴。

情境四:變更任務調度時間,對下遊依賴關係的影響

情境一:建立節點發布後選擇即時產生執行個體

新發布至生產環境的任務,執行個體執行情況與其定時時間有關,如下表。

情境

描述

任務的定時時間為未來時間

DataWorks將根據定時時間產生可執行檔周期執行個體並調度執行。

該策略僅影響任務當天的執行個體運行情況。執行個體是否替換,與執行個體定時時間是否在發布時間點10分鐘後有關,詳情請參見注意事項

任務的定時時間為過去時間

DataWorks會產生到期的空跑執行個體,執行個體狀態為即時產生的到期執行個體,該執行個體不會真實執行。

若需執行當天資料,可選擇進行補資料操作,補業務時間昨天的資料。該操作產生執行個體時也會存在10分鐘的時間差,詳情請參見注意事項

樣本:假設任務發布至生產環境的時間為12:00,則即時轉執行個體生效時間點為12:10

  • 若任務的定時時間在12:10後,則任務將真實調度執行。

  • 若任務的定時時間在12:10前,則任務將空跑,其執行個體狀態為即時產生的到期執行個體樣本

情境二:更新發行任務的調度周期

更新生產任務的調度時間(即調度頻率與定時時間),並將變更操作發布至生產環境,該任務當天周期執行個體可能會出現變更前與變更後的執行個體同時存在,因此,會導致任務當天的依賴關係比較複雜。

說明

此情境僅發生在即時轉執行個體任務發布的當天,發布第二天任務會正常根據配置組建循環執行個體。

發行的任務更新調度頻率具體如下:

  • 任務的定時時間為未來時間

    DataWorks將根據最新調度配置替換已產生的未來時間段的執行個體。

  • 任務的定時時間為過去時間

    DataWorks會保留定時時間之前的執行個體,替換或刪除定時時間之後的執行個體。

說明

調度時間變更並發布後,當天執行個體是否會根據新配置重建執行個體並真實執行,取決於任務定時時間的設定,以及最終將變更操作發布至生產環境的時間點。詳情請參見注意事項

情境三:上下遊任務執行個體產生方式不一致

若上下遊均為建立節點,並且上下遊任務的執行個體產生方式不一致。例如,上遊選擇T+1次日產生,下遊選擇發布後即時產生,則會導致產生情境:節點孤立。孤立節點不會自動調度運行,如果該孤立節點下遊依賴較多,可能會造成較嚴重的後果。執行個體產生方式不一致

情境四:變更任務調度時間,對下遊依賴關係的影響

下遊節點掛載依賴時,會按照上遊節點最新的調度配置(天、月、小時依賴)來設定下遊依賴。

說明

變更調度時間的生產任務,其下遊執行個體會按照最新的調度配置,為新產生的執行個體和未替換的舊執行個體掛載依賴,小時、分鐘各情境依賴情況,詳情請參見必讀:複雜依賴情境調度配置原則與樣本。待發布的節點版本,其執行個體產生方式為發布後即時產生,且存在調度時間變更時,才會出現該情境。

樣本情境如下:

  • 情境一:上遊節點從每6小時調度一次,變更為每8小時調度一次,並且選擇即時產生執行個體。情境一

  • 情境二:上遊節點從每6小時調度一次,變更為每日16點調度一次,並且選擇即時產生執行個體。情境二