DataWorks：補資料

補資料功能說明

補資料支援補歷史一段時間區間的資料或者需要補未來一段時間的資料時，可以選擇補資料功能。節點使用的調度參數會根據補資料選擇的業務時間自動替換為對應的值。將MySQL增量資料寫入MaxCompute對應的時間分區中的樣本如下。

為什麼小時分鐘任務補資料選擇了並行但實際不生效？

• 問題現象

  小時分鐘任務補資料選擇了並行但實際不生效。

• 產生原因

  補資料並行控制是，補一段以天為維度業務日期區間的資料以及幾天的執行個體是否同時執行。此功能不控制小時、分鐘任務當天的所有執行個體是否並發執行，當天小時分鐘任務的執行個體是否並發執行與您小時分鐘任務是否設定了自依賴有關。自依賴使用說明，請參見情境2：依賴上一周期的結果時，如何配置調度依賴。

• 解決措施
  • 選擇不並行，一個補資料執行個體下的多個業務日期串列執行，即上一個業務日期的補資料執行個體執行完，下一個業務日期的補資料執行個體才會執行。
  • 選擇並行，您可以設定同時使用2組、3組、4組或5組等多個補資料執行個體進行補資料，即多個補資料執行個體下有多個業務日期並存執行。
  即時情境：假設小時、分鐘節點選擇補一個星期資料。

  • 如果小時、分鐘節點設定了自依賴，那麼小時、分鐘節點每天的執行個體會一個一個執行。
  • 如果小時節點任務沒有設定自依賴，那麼小時、分鐘節點每天的執行個體一塊執行。

為什麼補資料選擇業務時間後不運行，執行個體顯示黃色，執行個體狀態顯示等待時間？

• 問題現象

  補資料選擇業務時間後不運行，執行個體顯示黃色，執行個體狀態顯示等待時間。

• 產生原因

  如果您補資料選擇的業務日期執行個體，其定時時間為未來時間時，會出現等待時間的情況。

• 解決措施
  您可以選擇立即執行未來時間的資料。

  說明

  • 如果您補資料選擇的業務時間（執行個體定時時間）為未來時間，當不勾選此選框時，執行個體會出現等待時間的情況（執行個體顯示黃色，執行個體狀態為等待時間）。
  • 如果您補資料選的業務時間（執行個體定時時間）為未來時間，當勾選此選框時，執行個體會馬上執行。

為什麼補資料選擇業務時間昨天和今天，也會出現等待時間的情況？

• 問題現象

  補資料選擇業務時間昨天和今天，會出現等待時間的情況。

• 產生原因

  從平台維度來看，業務時間昨天的資料，今天調度運行。補資料補對應業務時間的資料相當於重新執行了一次對應業務時間的周期執行個體。

  如果您需要過濾今天的周期執行個體，您需要在周期執行個體面板選擇過濾業務時間昨天的執行個體，執行個體的定時時間為今天。

為什麼補資料選擇補0點~1點產生了多個執行個體？

• 問題現象

  補資料選擇補0點~1點產生了多個執行個體。

• 產生原因
  補資料產生多少個執行個體與您節點配置的定時時間有關。

  • 假設小時任務設定0：00開始至23：59分每小時調度一次。如果選擇補資料區間為00：00~1：00，那麼將產生兩個執行個體，執行個體定時時間分別為0：00，1：00。
  • 假設分鐘任務設定0：00開始至23：59分每30分鐘調度一次。如果選擇補資料區間為00：00~1：00，那麼將產生三個執行個體，執行個體定時時間分別為0：00，00：30，1：00。

為什麼進行大量補資料操作時，會出現等待資源情況（執行個體顯示黃色，執行個體狀態為等待資源）？

• 問題現象

  進行大量補資料操作時，出現等待資源情況（執行個體顯示黃色，執行個體狀態為等待資源）。

• 產生原因
  資源群組可執行任務最大並發數有上限，如果當前任務執行並發數超過資源群組所支援的最大並發數時，將會出現等待資源的情況。

  說明 等待資源排查，詳情請參見等待資源。

為什麼補資料報錯調起的節點已耗用時間不在所選業務時間範圍內？

• 問題現象

  補資料報錯調起的節點已耗用時間不在所選業務時間範圍內。

• 產生原因
  小時分鐘任務需要選擇具體的調度時間區間才可以正常產生補資料執行個體並執行。

為什麼有節點選擇了補資料，但是沒有產生補資料執行個體？

• 問題現象

  某節點選擇了補資料，但是沒有產生補資料執行個體。

• 產生原因
  不在生效日期範圍內的節點不產生執行個體，請檢查需要補資料的節點生效時間是否在有效期間內。

周、月任務如何執行補資料操作

• 操作說明：周、月調度的任務在補資料時，業務時間請選擇真實調度時間的前一天。任務定時時間為定時每周幾或“每月定時幾號”跑的任務，只有在指定調度時間才會真實跑資料，在非指定時間內，非調度時間內其他時間會產生空跑執行個體，不會實際執行任務，該執行個體狀態為周、月執行個體空跑周期，更多空跑介紹，詳情請參見情境一：周月執行個體空跑周期。
  說明

  • 補資料選擇的時間為業務日期，業務日期=任務定時調度日期-1。
  • 調度參數與業務日期、執行個體定時時間、實際已耗用時間的關係，請參見附錄：調度參數與業務日期、定時時間、實際已耗用時間的關係。
• 情境樣本：對月調度任務進行補資料
  任務調度周期定義：定時每月1號0點調度的任務，在補資料時，需要選擇業務為上個月末。