全部產品
Search
文件中心

:計算資源-Quota調度策略說明

更新時間:Aug 01, 2024

MaxCompute的訂用帳戶計算資源有限,在實際資料開發過程中,系統可以並發運行多個作業,因此涉及到計算資源的分配。MaxCompute中每個訂用帳戶二級Quota的調度策略分為FIFO(先進先出)和FAIR(公平調度)。您可以通過設定二級Quota的調度策略,實現資源的合理分配。

注意事項

  • 在實際資源調度中,作業優先順序調度策略高於Quota調度策略。即資源總是優先分配給優先順序高的作業,在同等優先順序的作業中再根據Quota調度策略進行資源分派。

  • 暫不支援對類型為互動式的二級Quota設定調度策略。

  • 自2023年5月24日起,所有地區建立的二級Quota調度策略預設值為FIFO。在此時間之前建立的二級Quota調度策略預設值為FAIR,詳情請參見公告

概述

特徵

FAIR(公平調度)

FIFO(先進先出)

調度特徵

  • 對於作業優先順序相同的情境,資源將平均分配至同一時間段內啟動並執行所有作業。

  • 對於作業優先順序不同的情境,資源將先平均分配給優先順序較高的作業,若有剩餘,再平均分配給優先順序較低的作業。

  • 對於作業優先順序相同的情境,資源將優先分配至先提交的作業。

  • 對於作業優先順序不同的情境,即使優先順序高的作業提交時間晚於優先順序低的作業,資源也將優先分配至高優先順序作業。

適用情境

  • 人機互動情境:多個資料工程師一起提交作業,均希望能看到作業的進展。

  • 多基準依賴情境:Quota組資源被多條基準依賴,每條基準任務需要同時運行,否則會影響基準作業產出。

整體任務情境:提交的多個作業為一個整體任務,只關注吞吐和最後完成時間,而不關心單個作業的完成時間。

優勢

同一時間段內可以運行多個作業。

單作業平均已耗用時間短。

風險

單作業平均已耗用時間長。

可能存在一個大作業佔用絕大部分資源,導致同Quota組其他作業一直處於排隊等待被編譯狀態。

說明
  • 可通過查看logview確認作業運行狀態,若子狀態為Waiting for cluster resource,則表示作業排隊等待被編譯。

  • 可通過設定單作業CU上限降低此風險。設定方法請參見配置Quota

策略特徵

設定Quota調度策略

  1. 登入MaxCompute控制台,在左上方選擇地區。

  2. 在左側導覽列,單擊配額(Quota)管理

  3. Quota管理頁面,單擊需要配置的一級Quota操作列的Quota配置

  4. Quota配置頁面的Quota計劃頁簽,單擊需要配置的Quota計劃操作列的編輯,或在建立Quota計劃頁面,配置Quota的如下參數:

    參數

    說明

    調度策略

    MaxCompute二級Quota調度策略包含FAIR、FIFO。您需要根據業務情況選擇合適的調度策略。

  5. 單擊確定,完成Quota計劃配置後,再單擊操作列的立即生效啟用最新配置。

相關文檔

更多Quota設定請參見計算資源-Quota管理(新版)