全部產品
Search
文件中心

DataWorks:資源調優動態擴縮容條件說明

更新時間:Sep 13, 2024

Data Integration即時同步任務支援動態擴縮容,本文介紹任務資源的設定需要遵循的規則。

規則說明

任務在動態擴縮容資源時,需要確保擴縮容後,滿足任務單個Worker佔用的CU不發生變化。

當只有任務的Worker數量發生變化時,要求任務擴縮容的目標CU滿足如下公式:

說明

Data IntegrationCU售賣最小單位為0.5 CU。

目標CU = ceil( (任務初始CU ± 單個Worker佔用CU的整數倍) / 0.5) × 0.5

任務初始CU設定與單個Worker佔用CU的公式如下:

  • 任務Worker數 = floor(任務初始CU/經驗常量)

  • 單個Worker佔用CU = (任務初始CU-任務管控進程佔用CU)/任務Worker數

說明

上述公式中:

  • 經驗常量目前設定為3,後續可能根據實際情況做出調整。

  • 任務管控進程佔用CU設定如下,後續可能根據實際情況做出調整:

    • 任務初始CU <= 2時,任務管控進程佔用CU為0.25 CU

    • 任務初始2 < CU <= 10時,任務管控進程佔用CU為0.5 CU

    • 任務CU > 10時,任務管控進程佔用CU為0.75 CU

當擴縮容CU設定不滿足上述公式時,任務執行擴縮容時可能觸發重啟(是否重啟,取決於具體的目標CU設定以及調度先後次序)。