全部產品
Search
文件中心

DataWorks:等待資源

更新時間:Jun 19, 2024

本文為您介紹等待資源的相關問題。

為什麼會出現等待資源?

  • 問題現象
    調度將任務下發到對應執行引擎上,此過程可能會出現以下等待資源問題:
    • 等待調度資源群組。
    • Data Integration任務等待Data Integration資源。
    • 計算任務等待引擎計算資源。
  • 產生原因

    資源群組下可用資源是有限的,如果有任務長時間執行未釋放資源必定會阻塞其他任務執行,關於任務下發機制,詳情請參見:DataWorks資源群組概述

  • 解決措施
    您可進入營運中心 > 智能診斷,輸入執行個體ID,對任務進行全鏈路分析,查看當前任務執行、排隊情況,以及當前任務等待資源時,哪些任務佔用了資源。快速定位長期佔用資源,阻塞鏈路執行的任務。詳情請參見智能診斷智能診斷
    等待資源的執行個體節點,右鍵選擇運行診斷 > 調度資源,查看當前任務運行狀態等待資源時,仍在啟動並執行任務。診斷資源

為什麼任務一直在等待gateway調度資源?

  • 問題現象

    任務日誌中顯示等待gateway調度資源。

  • 產生原因

    當前資源群組裡的任務並發數達到上限。

  • 解決措施
    需要等待運行中的任務執行完成釋放資源,或者對獨享調度資源群組進行擴容。您可以通過以下方式查看資源資訊。
    • 使用公用調度資源群組
      • 通過智能診斷查看
        您可進入營運中心 > 智能診斷,輸入執行個體ID,對任務進行全鏈路分析,查看當前任務執行、排隊情況,以及當前任務等待資源時,哪些任務佔用了資源。快速定位長期佔用資源,阻塞鏈路執行的任務。詳情請參見智能診斷智能診斷
        等待資源的執行個體節點,右鍵選擇運行診斷 > 調度資源,查看當前任務運行狀態等待資源時,仍在啟動並執行任務。診斷資源
      • 通過營運大屏查看
        您可在營運中心營運大屏頁面,查看公用資源群組使用率。
        說明 每天0點~9點是DataWorks的任務高峰期,公用調度資源緊張,可能出現任務等待資源的情況。 您可以錯峰運行調度任務或者在DataWorks控制台添加獨享調度資源群組緩解資源緊張情況。
    • 使用獨享調度資源群組,您可以通過DataWorks控制台或者營運中心查看該資源群組當前執行的工作清單及資源水位。
      • 通過智能診斷查看
        您可進入營運中心 > 智能診斷,輸入執行個體ID,對任務進行全鏈路分析,查看當前任務執行、排隊情況,以及當前任務等待資源時,哪些任務佔用了資源。快速定位長期佔用資源,阻塞鏈路執行的任務。詳情請參見智能診斷智能診斷
        等待資源的執行個體節點,右鍵選擇運行診斷 > 調度資源,查看當前任務運行狀態等待資源時,仍在啟動並執行任務。診斷資源
      • 通過DataWorks控制台查看
        DataWorks控制台的左側導覽列,單擊資源群組列表,在資源群組列表頁面查看資源使用率,單擊使用率查看資源群組資訊資源使用率等。使用率
      • 通過資源營運查看
        營運中心頁面的左側導覽列,單擊資源營運,查看資源的使用率等資訊。資源營運
        說明 不同規格的獨享調度資源群組支援同時跑的最大執行個體數不同,詳情請參考獨享調度資源群組計費說明:訂用帳戶

為什麼Data Integration任務一直顯示wait?

  • 問題現象

    Data Integration任務日誌中顯示wait。

  • 產生原因
    當前Data Integration資源群組上執行的任務超過了機器支援的並發上限,任務在等待Data Integration執行資源。
    說明 如果資源使用率高但實際無任務執行或資源群組上可執行任務數未達資源群組上限但仍無法執行任務,
  • 解決措施:
    • 檢查日誌(任務配置)中concurrent參數值,如果並發任務設定過大,需根據機器支援的最大並發數與當前同時消耗的並發數配置任務並發。
    • 如果單個任務並發設定超過了機器支援的最大並發數,請將這些並發任務全部停掉,修改任務並發數後再去執行。
      營運中心頁面左側導覽列,單擊營運大屏,在營運大屏頁面的Data Integration頁簽,查看同步任務執行詳情同步任務執行詳情同步任務執行詳情
      說明
      • 任務並發配置需要結合機器支援的最大並發數、同時執行的任務資料、以及每個任務設定的並發和來分配單個任務並發數配置。
      • 一個Data Integration任務將佔用一個調度資源,若任務長時間未運行成功,可能將阻塞其他任務運行。
    • 等待運行中的任務執行完成釋放資源,或者對獨享Data Integration資源群組進行擴容。您可以通過以下方式查看資源資訊。
      說明 Data Integration任務等待資源群組,可參考離線同步任務調優進行處理。
      • 通過智能診斷查看
        您可進入營運中心 > 智能診斷,輸入執行個體ID,對任務進行全鏈路分析,查看當前任務執行、排隊情況,以及當前任務等待資源時,哪些任務佔用了資源。快速定位長期佔用資源,阻塞鏈路執行的任務。詳情請參見智能診斷智能診斷
        等待資源的執行個體節點,右鍵選擇運行診斷 > 調度資源,查看當前任務運行狀態等待資源時,仍在啟動並執行任務。診斷資源
      • 通過DataWorks控制台查看
        DataWorks控制台的左側導覽列,單擊資源群組列表,在資源群組列表頁面查看資源使用率,單擊使用率查看資源群組資訊資源使用率等。使用率
      • 通過資源營運查看
        營運中心頁面的左側導覽列,單擊資源營運,查看資源的使用率和運行中的任務等資訊。資源營運
        說明 不同規格的獨享Data Integration資源群組支援同時跑的最大執行個體數不同,詳情請參考:獨享Data Integration資源群組計費說明:訂用帳戶