全部產品
Search
文件中心

:計算資源-Quota管理

更新時間:Nov 05, 2024

Quota管理是為您在MaxCompute管理主控台提供計算資源消耗查看、調整、增刪改查等涉及日常資源管理營運的功能模組。本文為您介紹Quota管理提供的各種能力。

背景資訊

MaxCompute Quota作為計算資源的單元,為MaxCompute SQL、MapReduce、Spark、Mars、PAI等計算作業提供所需計算資源(CPU及記憶體)。MaxCompute Quota分為一級和二級Quota,一級Quota之間相互獨立;二級Quota從屬於一級Quota,二級Quota之間資源支援共用。一級Quota作為二級的統管Quota不可直接被使用,需要通過使用二級Quota來使用對應的CU資源。

MaxCompute計算資源單位為CU(即Quota內的對象)。您可購買的Quota包含的CU分為訂用帳戶和隨用隨付兩種模式,分別對應訂用帳戶規格類型和隨用隨付規格類型。

  • 訂用帳戶Quota是通過按月購買預留CU後系統建立分配的獨佔Quota,使用時可按需在包月CU基礎上按時預購彈性預留CU(按購買量和時間長度後付費)。作業在訂用帳戶Quota內運行時最大隻能使用該Quota CU購買量,可以在一級Quota內自訂二級Quota進行CU分配。

  • 隨用隨付Quota是在通過開通隨用隨付服務時,系統分配可使用的公用二級Quota,不可自行控制CU量以及進行二次分配。

您可以選擇使用隨用隨付Quota,也可以選擇訂用帳戶Quota,訂用帳戶Quota支援通過控制CU量來控制預算,而隨用隨付Quota不可自行控制CU量。

查看Quota

  1. 登入MaxCompute控制台,在左上方選擇地區。

  2. 在左側導覽列,選擇工作區 > 配額(Quota)管理

  3. Quota管理頁面,查看可使用的Quota列表。

    列表為樹狀方式顯示一、二級訂用帳戶Quota,以及預設隨用隨付Quota。預設主帳號及其子帳號都可查看此列表。

    • 訂用帳戶Quota:單擊一級Quota左側的列表表徵圖可以展開二級Quota列表,同時展示二級Quota當前生效的配置資訊。購買訂用帳戶資源後,系統預設建立分配一級Quota以及名稱為預設預付費Quota的二級Quota。

    • 隨用隨付Quota:單擊一級Quota左側的列表.png表徵圖可以展開二級Quota列表。開通隨用隨付標準版後,系統預設建立分配一級Quota預設後付費Quota_p以及二級Quota預設後付費Quota

      說明

      部分隨用隨付的預設二級Quota名稱為aliyun_nick。海外地區可能出現隨用隨付的預設一級Quota名稱無法正確展示的情況,但不影響對二級Quota的使用。

配置Quota

可以對已經購買的訂用帳戶Quota進行二次拆分定義,預設阿里雲帳號具有許可權,RAM帳號可以通過授權獲得配置許可權,詳情請參見RAM許可權。配置Quota主要由以下兩部分組成。

  • 基礎配置:即二級Quota的新增或刪除,基礎參數的配置(包括是否獨佔、單作業CU上限、開啟優先順序、非預留CU、調度策略),預留CU和彈性預留CU配置(僅作用於當前生效的配置方案)。若沒有分時伸縮情境需求,通過此配置即可滿足Quota的管理。

    說明

    每個一級Quota下最多支援100個二級Quota,請根據業務情境合理規劃和配置。

  • 伸縮配置:分時伸縮配置,實現對Quota在不同時段設定不同的Min/Max 預留CU量或彈性預留CU。

詳細操作如下:

  1. 登入MaxCompute控制台,在左上方選擇地區。

  2. 在左側導覽列,選擇工作區 > 配額(Quota)管理

  3. Quota管理頁面,單擊需要配置的一級Quota操作列的Quota配置

  4. Quota基礎配置。

    1. Quota配置頁面的基礎配置頁簽,單擊編輯基礎配置,新增二級Quota並配置基礎參數(包括是否獨佔、單作業CU上限、開啟優先順序、非預留CU、調度策略)。

      您也可以在基礎配置頁簽,通過單擊目標Quota操作列的刪除,刪除二級Quota。

      說明

      刪除二級Quota後,此二級Quota將在所有的Quota資源配置方案裡被刪除,對應的minCU量和彈性預留CU量將加到預設二級Quota中,如需要調整請編輯更新伸縮配置頁簽中的各個配置方案。

    2. 單擊編輯基礎配置,對二級Quota的參數進行如下配置:

      參數

      說明

      Quota名稱

      新增二級Quota。

      單擊新增二級Quota後,填寫Quota名稱,並選擇類型Quota名稱請自訂輸入,需以字母開頭,包含字母、數字和底線。

      類型

      類型包含如下兩種類型,請根據實際情況進行選擇。

      • 批處理:用來跑批作業的Quota。

      • 互動式:專用於跑查詢加速(MCQA)作業的Quota,無需配置為專案的預設計算Quota,當Project預設計算Quota為訂用帳戶的批處理Quota時,一旦發起的作業命中查詢加速,會自動調度到互動式Quota裡執行。如果有多個互動式Quota,MCQA作業預設調度到最早建立的互動式Quota裡執行,因此需要結合Quota規則,可以實現不同Project發起的MCQA作業調度到不同的互動式Quota裡執行,Quota規則詳情請參見Quota規則

      預留CU量[minCU,maxCU]

      包月預留CU量。一級Quota的預留CU量即為購買的包月CU量(minCU=maxCU),需要擴、縮容只能通過升級、降配方式實現,在此不可編輯。二級Quota的minCU和maxCU定義如下:

      • minCU為保障值,maxCU為上限,當maxCU>minCU時,二級Quota之間為共用模式,如CU請求量大於min值,其他Quota空閑且非獨佔的情況下會被搶佔。

      • minCU總和等於一級Quota的minCU量。

      • minCU小於等於max CU小於等於一級Quota購買的minCU量。

        說明

        minCU暫時不可配置為0。

      • 預設二級Quota的minCU和maxCU不可編輯,minCU量為一級minCU量減去自訂二級Quota的minCU量的總和,maxCU值與一級Quota的maxCU量相等。

      • 對於新增的Quota,若存在多個伸縮配置方案,新增成功後,該Quota將加入到所有配置方案中,除當前生效的配置方案外,其他方案中預設預留minCU都為1(從二級預設預付費Quota裡扣減),因此若需要調整CU量,請在伸縮配置頁簽對各個配置方案進行編輯更新。

        重要

        對於新增Quota,此配置僅作用於當前生效的配置方案。

      預留彈性CU

      按時預購的預留彈性CU量。

      • 一級Quota的預留彈性CU量即為需要預購的CU量,預設為0,最大能設定的量為對應Quota所購買的訂用帳戶預留CU量,且不超過10000 CU;同時受庫存限制,即配置擴容時會進行庫存校正。配置的擴容量至少為50 CU,或以50的倍數增加。

      • 二級quota的預留彈性CU量定義如下:

        • 預留彈性CU總和為一級Quota的預留彈性CU量。

        • 預設二級Quota的預留彈性CU不可編輯,預留彈性CU量為一級Quota預留彈性CU量減去自訂二級Quota的預留彈性CU量。

      • 對於新增的Quota,若有多個伸縮配置方案,新增成功後,該Quota將加入到所有配置方案中,除當前生效的配置方案外,其他方案中預設彈性預留CU都為0,因此若需要調整CU量,請在伸縮配置頁簽對各個配置方案進行編輯更新。

        重要

        對於新增Quota,此配置僅作用於當前生效的配置方案。

      是否獨佔

      是否強獨佔Quota,即Quota的CU即使空閑也不被其他配額組佔用。僅二級Quota可配置,當二級Quota類型為互動式時,此參數預設為獨佔且不可修改。

      適用於跑BI或ALGO等業務的配額組因隨時都可能使用,需防止被其他Quota佔用長時間不釋放(當Quota的max值>min值時有可能會去佔用其他閒置Quota)。

      單作業CU上限

      對在此Quota內執行的作業設定CU並發上限,為空白表示不限制,為0表示絕對限制,可輸入正整數進行合理設定。當二級Quota類型為互動式時,此參數預設不可用。

      適用於防止單作業長時間佔用大量CU導致其他作業等待資源。同時支援作業層級進行限制,在執行的代碼前使用set odps.task.max.concurrent.cu=<CU量>; 命令進行設定,作業層級的配置優先順序高於Quota層級的配置。

      開啟優先順序

      優先順序功能,詳情請參見作業優先順序。在此Quota上執行的作業將優先執行,或者Project層級開啟也同樣生效。當二級Quota類型為互動式時,此參數預設不可用。

      非預留CU

      包月非預留CU量。

      • 一級Quota的非預留CU量即為購買包月非預留CU量,需要擴、縮容只能通過升級、降配方式實現(當前庫存緊張無法擴容),在此不可編輯。

      • 二級Quota的非預留CU定義如下。

        • 二級Quota的非預留CU總和為一級Quota的非預留CU量。

        • 預設二級Quota的非預留CU不可編輯,非預留CU量為一級Quota的非預留CU量減去自訂二級Quota的非預留CU量。

      調度策略

      MaxCompute二級Quota調度策略包含FAIR、FIFO。

      • FAIR(公平調度)

        • 對於作業優先順序相同的情境,資源將平均分配至同一時間提交的所有作業。

        • 對於作業優先順序不同的情境,資源優先平均分配給優先順序較高的作業,若有剩餘,再平均分配給優先順序較低的作業。

      • FIFO(先進先出)

        • 對於作業優先順序相同的情境,資源將優先分配至先提交的作業。

        • 對於作業優先順序不同的情境,即使優先順序高的作業提交時間晚於優先順序低的作業,資源也將優先分配至高優先順序作業。

      您需要根據業務情況選擇合適的調度策略(暫不支援類型為互動二級Quota設定調度策略),更多介紹請參見計算資源-Quota調度策略說明

      重要

      自2023年5月24日起,華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華北6(烏蘭察布)、華南1(深圳)、西南1(成都)地區建立的二級Quota調度策略預設值為FIFO。以上地區在此時間之前建立的二級Quota調度策略預設值為FAIR。

    3. 單擊確定

  5. Quota伸縮配置。

    購買訂用帳戶MaxCompute專案後,每個一級Quota都會有一個名稱為Default的預設資源配置方案。每個資源配置方案包含一級Quota及其下所有二級Quota的預留CU和彈性預留CU配置,多個配置方案結合分時管理,常用於一天內不同時段有不同配置的情境,例如,在每天00:00~08:00和08:00~24:00兩個時段,二級Quota的CU量需求不同,則可以配置兩個Quota配置方案,通過分時管理進行調度。

    說明

    支援添加多個資源配置方案,最多為48個,每個方案配置不同,以便每日不同時段啟用相應的方案。

    1. Quota配置頁面的伸縮配置頁簽,單擊新增配置方案

    2. 新增配置方案頁面,配置Quota的如下參數。

      參數

      說明

      預留CU量[minCU,maxCU]

      包月預留CU量。一級Quota的預留CU量即為購買的包月CU量(minCU=maxCU),需要擴、縮容只能通過升級、降配方式實現,在此不可編輯。二級Quota的minCU和maxCU定義如下:

      • minCU為保障值,maxCU為上限,當maxCU>minCU時,二級Quota之間為共用模式,如CU請求量大於min值,其他Quota空閑且非獨佔的情況下會被搶佔。

      • minCU總和等於一級Quota的minCU量。

      • minCU小於等於max CU小於等於一級Quota購買的minCU量。

        說明

        minCU暫時不可配置為0。

      • 預設二級Quota的minCU和maxCU不可編輯,minCU量為一級minCU量減去自訂二級Quota的minCU量的總和,maxCU值與一級Quota的maxCU量相等。

      預留彈性CU

      按時預購的預留彈性CU量。

      • 一級Quota的預留彈性CU量即為需要預購的CU量,預設為0,最大能設定的量為對應Quota所購買的訂用帳戶預留CU量,且不超過10000 CU;同時受庫存限制,即配置擴容時會進行庫存校正。配置的擴容量至少為50 CU,或以50的倍數增加。

      • 二級quota的預留彈性CU量定義如下:

        • 預留彈性CU總和為一級Quota的預留彈性CU量。

        • 預設二級Quota的預留彈性CU不可編輯,預留彈性CU量為一級Quota預留彈性CU量減去自訂二級Quota的預留彈性CU量。

    3. 單擊確定,完成新增配置方案。

    4. 伸縮配置頁簽,單擊新增配置方案操作列的立即生效,可使新增的方案立即生效。您也可以後續的分時管理中配置使用新方案。

    5. (可選)資源配置方案的其他相關操作如下:

      • 查看配置方案:單擊配置方案名稱左側的image表徵圖,展開方案詳情,查看各方案的具體資訊。

      • 編輯配置方案:單擊目標配置方案操作列的編輯,對該方案進行更新,若該方案為當前生效方案,則編輯成功後,還需要單擊操作列的立即生效才能啟用最新的配置。

        說明

        任意配置方案均可操作立即生效,但需注意若已設定分時管理調度,則會被下一個分時覆蓋。因此如果想固定手動生效某個方案,需要清除其他所有分時設定,只保留該手動生效的方案,以確保當前操作能夠立即生效而不被覆蓋。

      • 刪除配置方案:在Quota伸縮配置頁簽,單擊目標配置方案操作列的刪除,即可刪除配置方案。

        說明

        Default方案和當前生效的方案不可刪除。

      • 複製配置方案:在Quota伸縮配置頁簽,單擊目標配置方案操作列的image > 複製(Default方案可直接單擊複製),即可複製出一個新方案。

    6. 分時管理。

      您可設定每日不同時間點啟用不同的Quota配置方案,以此實現對Quota配置的分時管理。

      說明

      分時調度會有一定的延遲,預計延遲時間為5分鐘以內。

      1. Quota配置頁面的伸縮配置頁簽,單擊分時管理地區的編輯時間計劃

      2. 單擊新增生效時間段,選擇生效開始時間配置方案計劃

        • 時間計劃整體只有一份,預設已耗用時間為00:00(不可修改和刪除),對應啟用配置方案是Default(可修改)。如果沒有增加已耗用時間,則代表全天都是啟用同一個配置方案。

        • 支援整點和半點鐘啟用不同的配置方案,一個配置方案可以被重複啟用。

    7. 分時伸縮預覽,選擇某個二級Quota以查看各個時段的CU分配趨勢圖。

    8. 伸縮配置全域視圖:以全域視圖表格方式展示所有配置方案明細,查看所有Quota的Min/Max 預留CU量和彈性預留CU在各個分時時段的配置。

查看Quota消耗

可以查看一級Quota內CU資源的消耗情況。

說明

預設主帳號及其子帳號都可查看。

  1. 登入MaxCompute控制台,在左上方選擇地區。

  2. 在左側導覽列,選擇工作區 > 配額(Quota)管理

  3. Quota管理頁面,單擊目標一級Quota操作列的資源消耗

  4. 資源消耗頁面,可查看CPU資源消耗趨勢圖和Quota以及關聯的Project列表。

    • CPU資源消耗趨勢圖:支援選擇不同二級Quota和時間段查看各類CU使用量趨勢。單擊某個時間點,可以進入該時刻對應的作業快照列表。

    • Quota以及關聯的Project列表:可查看對應二級Quota都被哪些Project定義為預設計算Quota。

Quota規則

MaxCompute支援對Quota配置規則條件,指定滿足某些條件的作業可以被調度到對應的Quota裡執行。Quota規則詳情請參見Quota規則

Quota標籤管理

MaxCompute支援您為一級訂用帳戶Quota綁定或解除綁定標籤,標籤的詳細用法及使用限制請參見標籤概述

  1. 登入MaxCompute控制台,在左上方選擇地區。

  2. 在左側導覽列,選擇工作區 > 配額(Quota)管理

  3. 建立標籤。

    • 建立單個一級Quota的標籤。

      1. 將滑鼠懸浮於目標一級Quota標籤列的編輯表徵圖上,單擊綁定/編輯

      2. 編輯標籤對話方塊中,輸入標籤鍵標籤值

      3. 單擊確定,並在標籤編輯成功對話方塊中單擊關閉

    • 大量建立多個一級Quota的標籤。

      1. 選中要大量新增標籤的一級Quota,單擊頁面底部的批量打標

      2. 編輯標籤對話方塊中,輸入標籤鍵標籤值

      3. 單擊確定,並在標籤編輯成功對話方塊中單擊關閉

  4. 標籤篩選。

    一級Quota綁定標籤後,您可以單擊標籤篩選,根據標籤的鍵和值篩選Quota。

  5. (可選)解除綁定標籤。

    • 解除綁定單個一級Quota的標籤。

      1. 將滑鼠懸浮於目標一級Quota標籤列的編輯表徵圖上,單擊編輯

      2. 編輯標籤對話方塊中,單擊要解除綁定標籤後的刪除表徵圖。

      3. 單擊確定,並在標籤編輯成功對話方塊中單擊關閉

    • 批量解除綁定多個一級Quota的標籤。

      1. 選中要批量解除綁定標籤的一級Quota,單擊頁面底部的大量刪除標籤

      2. 批量解除綁定標籤對話方塊中,勾選需要解除綁定的標籤。

      3. 單擊解除綁定x個標籤(x為具體的解除綁定標籤數),並在標籤編輯成功對話方塊中單擊關閉

分時配置

限制與說明

  • 同一預留Quota資源群組,最多支援48個分時區間,單個分時區間的最短時間長度為30分鐘。

  • 當前Data Transmission Service進行分時配置後,如果需要對Data Transmission Service(訂用帳戶)做降配操作,請先調低分時並發數。

  • 分時配置生效時間為0~5分鐘,且計費會按照實際生效時間開始計算。

操作步驟

可以配置Data Transmission Service獨享資源群組的按時計費。

說明

預設主帳號及其子帳號都可以查看。

  1. 登入MaxCompute控制台,在左上方選擇地區。

  2. 在左側導覽列,選擇工作區 > 配額(Quota)管理

  3. Quota管理頁面,單擊Quota類型Data Transmission Service對應操作列的分時配置

  4. 分時配置頁面,可配置彈性按時計費的並發數:

    1. 選擇時間軸上的時間段,在自動彈出的並發數彈框中輸入分時並發數。分時並發數不能超過預留並發數。

    2. 單擊確定,完成分時配置,此時會在頁面下方表格中顯示分時區間段的配置資訊,同時您也可以單擊取消放棄當前配置,單擊刪除移除已經完成的配置。