全部產品
Search
文件中心

DataWorks:執行個體產生方式:發布後即時產生執行個體

更新時間:Aug 02, 2024

DataWorks會為您的周期調度節點自動產生自調度執行個體,支援T+1次日產生發布後即時產生兩種執行個體產生方式,即發布至生產環境後第二天自動調度及發布至生產環境後立即自動調度。本文為您介紹即時產生執行個體的規則及配置要點。

注意事項

  • 選擇發布後即時產生方式,並將任務發布至生產環境後,建議您前往營運中心確認配置是否符合預期。

  • 周期執行個體生效情況

    調度任務發布至生產環境後,均可在營運中心的周期任務介面查看任務的最新依賴情況,但自動調度的周期執行個體何時生效,或依賴關係何時更新,與您選擇的執行個體產生方式有關。

  • 變更操作的生效時間

    每日全量轉執行個體期間(即23:30~24:00),任務的變更操作會在第三天產生的周期執行個體生效。

  • 推薦的使用情境

    建議僅在需要根據新配置,替換已有自動調度的周期執行個體時,選擇使用該功能。其他情境非必要不建議使用即時轉執行個體。

    重要
    • 對發行生產的任務修改調度配置時,不建議使用該功能。如果使用,可能存在依賴關係變更、依賴關係錯亂、執行個體替換、執行個體被刪除等現象,導致當天依賴關係變得複雜。

    • 如果您需要根據新任務配置,可選擇T+1次日產生方式發布,然後針對該任務執行補資料操作。

    • 使用該功能後,第二天任務依賴關係會恢複正常。

  • 即時產生執行個體存在時間差

    為避免執行個體變更導致任務運行異常,發布後即時產生執行個體存在10分鐘的時間差,即任務定時時間在發布時間點十分鐘後(即即時轉執行個體生效時間點),任務才會真實執行或根據最新的調度配置重建執行個體並調度。時間差

  • 即時產生執行個體的作用範圍

    並非所有變更都會立即生效。例如修改了節點關聯的資料來源執行個體,然後配置即時產生執行個體發布,不會影響當天已有執行個體,當天周期執行個體仍會採用變更前的資料來源執行個體執行。

    您可以對最新配置的周期任務執行補資料操作,補資料將根據任務最新配置執行。

功能概要

使用發布後即時產生方式產生執行個體時,相關功能情境的執行個體運行及上下遊依賴情況如下。

功能情境

相關文檔

建立任務發布當天會即時產生執行個體,發布當天產生的執行個體是否真實執行,與任務的定時時間有關。

情境一:建立節點發布後選擇即時產生執行個體

修改發行任務的調度時間(即定時時間與調度頻率),當天執行個體依賴較複雜。非必要,建議發行任務不使用發布後即時產生執行個體方式。

情境二:更新發行任務的調度周期

若上下遊均為建立任務,但上下遊執行個體的產生方式不一致,可能導致產生情境:節點孤立

情境三:上下遊任務執行個體產生方式不一致

任務發布後即時產生的執行個體,其下遊會按照上遊最新的調度配置(天、月、小時)來設定下遊依賴。

情境四:變更任務調度時間,對下遊依賴關係的影響

情境一:建立節點發布後選擇即時產生執行個體

新發布至生產環境的任務,執行個體執行情況與其定時時間有關,如下表。

情境

描述

任務的定時時間為未來時間

DataWorks將根據定時時間產生可執行檔周期執行個體並調度執行。

該策略僅影響任務當天的執行個體運行情況。執行個體是否替換,與執行個體定時時間是否在發布時間點10分鐘後有關,詳情請參見注意事項

任務的定時時間為過去時間

DataWorks會產生到期的空跑執行個體,執行個體狀態為即時產生的到期執行個體,該執行個體不會真實執行。

若需執行當天資料,可選擇進行補資料操作,補業務時間昨天的資料。該操作產生執行個體時也會存在10分鐘的時間差,詳情請參見注意事項

樣本:假設任務發布至生產環境的時間為12:00,則即時轉執行個體生效時間點為12:10

  • 若任務的定時時間在12:10後,則任務將真實調度執行。

  • 若任務的定時時間在12:10前,則任務將空跑,其執行個體狀態為即時產生的到期執行個體樣本

情境二:更新發行任務的調度周期

更新生產任務的調度時間(即調度頻率與定時時間),並將變更操作發布至生產環境,該任務當天周期執行個體可能會出現變更前與變更後的執行個體同時存在,因此,會導致任務當天的依賴關係比較複雜。

說明

此情境僅發生在即時轉執行個體任務發布的當天,發布第二天任務會正常根據配置組建循環執行個體。

發行的任務更新調度頻率具體如下:

  • 任務的定時時間為未來時間

    DataWorks將根據最新調度配置替換已產生的未來時間段的執行個體。

  • 任務的定時時間為過去時間

    DataWorks會保留定時時間之前的執行個體,替換或刪除定時時間之後的執行個體。

說明

調度時間變更並發布後,當天執行個體是否會根據新配置重建執行個體並真實執行,取決於任務定時時間的設定,以及最終將變更操作發布至生產環境的時間點。詳情請參見注意事項

情境三:上下遊任務執行個體產生方式不一致

若上下遊均為建立節點,並且上下遊任務的執行個體產生方式不一致。例如,上遊選擇T+1次日產生,下遊選擇發布後即時產生,則會導致產生情境:節點孤立。孤立節點不會自動調度運行,如果該孤立節點下遊依賴較多,可能會造成較嚴重的後果。執行個體產生方式不一致

情境四:變更任務調度時間,對下遊依賴關係的影響

下遊節點掛載依賴時,會按照上遊節點最新的調度配置(天、月、小時依賴)來設定下遊依賴。

說明

變更調度時間的生產任務,其下遊執行個體會按照最新的調度配置,為新產生的執行個體和未替換的舊執行個體掛載依賴,小時、分鐘各情境依賴情況,詳情請參見必讀:複雜依賴情境調度配置原則與樣本。待發布的節點版本,其執行個體產生方式為發布後即時產生,且存在調度時間變更時,才會出現該情境。

樣本情境如下:

  • 情境一:上遊節點從每6小時調度一次,變更為每8小時調度一次,並且選擇即時產生執行個體。情境一

  • 情境二:上遊節點從每6小時調度一次,變更為每日16點調度一次,並且選擇即時產生執行個體。情境二