Quota管理是為您在MaxCompute管理主控台提供計算資源消耗查看、調整、增刪改查等涉及日常資源管理營運的功能模組。本文為您介紹Quota管理提供的各種能力。
背景資訊
MaxCompute Quota作為計算資源的單元,為MaxCompute SQL、MapReduce、Spark、Mars、PAI等計算作業提供所需計算資源(CPU及記憶體)。MaxCompute Quota分為一級和二級Quota,一級Quota之間相互獨立;二級Quota從屬於一級Quota,二級Quota之間資源支援共用。一級Quota作為二級的統管Quota不可直接被使用,需要通過使用二級Quota來使用對應的CU資源。
MaxCompute計算資源單位為CU(即Quota內的對象)。您可購買的Quota包含的CU分為訂用帳戶和隨用隨付兩種模式,分別對應訂用帳戶規格類型和隨用隨付規格類型。
訂用帳戶Quota是通過按月購買預留CU後系統建立分配的獨佔Quota,使用時可按需在包月CU基礎上按時預購彈性預留CU(按購買量和時間長度後付費)。作業在訂用帳戶Quota內運行時最大隻能使用該Quota CU購買量,可以在一級Quota內自訂二級Quota進行CU分配。
隨用隨付Quota是在通過開通隨用隨付服務時,系統分配可使用的公用二級Quota,不可自行控制CU量以及進行二次分配。
您可以選擇使用隨用隨付Quota,也可以選擇訂用帳戶Quota,訂用帳戶Quota支援通過控制CU量來控制預算,而隨用隨付Quota不可自行控制CU量。
查看Quota
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列,選擇工作區 > 配額(Quota)管理。
在Quota管理頁面,查看可使用的Quota列表。
列表為樹狀方式顯示一、二級訂用帳戶Quota,以及預設隨用隨付Quota。預設主帳號及其子帳號都可查看此列表。
訂用帳戶Quota:單擊一級Quota左側的表徵圖可以展開二級Quota列表,同時展示二級Quota當前生效的配置資訊。購買訂用帳戶資源後,系統預設建立分配一級Quota以及名稱為
預設預付費Quota
的二級Quota。隨用隨付Quota:單擊一級Quota左側的表徵圖可以展開二級Quota列表。開通隨用隨付標準版後,系統預設建立分配一級Quota
預設後付費Quota_p
以及二級Quota預設後付費Quota
。說明部分隨用隨付的預設二級Quota名稱為
aliyun_nick
。海外地區可能出現隨用隨付的預設一級Quota名稱無法正確展示的情況,但不影響對二級Quota的使用。
配置Quota
可以對已經購買的訂用帳戶Quota進行二次拆分定義,預設阿里雲帳號具有許可權,RAM帳號可以通過授權獲得配置許可權,詳情請參見RAM許可權。配置Quota主要由以下兩部分組成。
基礎配置:即二級Quota的新增或刪除,基礎參數的配置(包括是否獨佔、單作業CU上限、開啟優先順序、非預留CU、調度策略),預留CU和彈性預留CU配置(僅作用於當前生效的配置方案)。若沒有分時伸縮情境需求,通過此配置即可滿足Quota的管理。
說明每個一級Quota下最多支援100個二級Quota,請根據業務情境合理規劃和配置。
伸縮配置:分時伸縮配置,實現對Quota在不同時段設定不同的Min/Max 預留CU量或彈性預留CU。
詳細操作如下:
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列,選擇工作區 > 配額(Quota)管理。
在Quota管理頁面,單擊需要配置的一級Quota操作列的Quota配置。
Quota基礎配置。
在Quota配置頁面的基礎配置頁簽,單擊編輯基礎配置,新增二級Quota並配置基礎參數(包括是否獨佔、單作業CU上限、開啟優先順序、非預留CU、調度策略)。
您也可以在基礎配置頁簽,通過單擊目標Quota操作列的刪除,刪除二級Quota。
說明刪除二級Quota後,此二級Quota將在所有的Quota資源配置方案裡被刪除,對應的minCU量和彈性預留CU量將加到預設二級Quota中,如需要調整請編輯更新伸縮配置頁簽中的各個配置方案。
單擊編輯基礎配置,對二級Quota的參數進行如下配置:
參數
說明
Quota名稱
新增二級Quota。
單擊新增二級Quota後,填寫Quota名稱,並選擇類型。Quota名稱請自訂輸入,需以字母開頭,包含字母、數字和底線。
類型
類型包含如下兩種類型,請根據實際情況進行選擇。
批處理:用來跑批作業的Quota。
互動式:專用於跑查詢加速(MCQA)作業的Quota,無需配置為專案的預設計算Quota,當Project預設計算Quota為訂用帳戶的批處理Quota時,一旦發起的作業命中查詢加速,會自動調度到互動式Quota裡執行。如果有多個互動式Quota,MCQA作業預設調度到最早建立的互動式Quota裡執行,因此需要結合Quota規則,可以實現不同Project發起的MCQA作業調度到不同的互動式Quota裡執行,Quota規則詳情請參見Quota規則。
預留CU量[minCU,maxCU]
包月預留CU量。一級Quota的預留CU量即為購買的包月CU量(minCU=maxCU),需要擴、縮容只能通過升級、降配方式實現,在此不可編輯。二級Quota的minCU和maxCU定義如下:
minCU為保障值,maxCU為上限,當maxCU>minCU時,二級Quota之間為共用模式,如CU請求量大於min值,其他Quota空閑且非獨佔的情況下會被搶佔。
minCU總和等於一級Quota的minCU量。
minCU小於等於max CU小於等於一級Quota購買的minCU量。
說明minCU暫時不可配置為0。
預設二級Quota的minCU和maxCU不可編輯,minCU量為一級minCU量減去自訂二級Quota的minCU量的總和,maxCU值與一級Quota的maxCU量相等。
對於新增的Quota,若存在多個伸縮配置方案,新增成功後,該Quota將加入到所有配置方案中,除當前生效的配置方案外,其他方案中預設預留minCU都為1(從二級預設預付費Quota裡扣減),因此若需要調整CU量,請在伸縮配置頁簽對各個配置方案進行編輯更新。
重要對於新增Quota,此配置僅作用於當前生效的配置方案。
預留彈性CU
按時預購的預留彈性CU量。
一級Quota的預留彈性CU量即為需要預購的CU量,預設為0,最大能設定的量為對應Quota所購買的訂用帳戶預留CU量,且不超過10000 CU;同時受庫存限制,即配置擴容時會進行庫存校正。配置的擴容量至少為50 CU,或以50的倍數增加。
二級quota的預留彈性CU量定義如下:
預留彈性CU總和為一級Quota的預留彈性CU量。
預設二級Quota的預留彈性CU不可編輯,預留彈性CU量為一級Quota預留彈性CU量減去自訂二級Quota的預留彈性CU量。
對於新增的Quota,若有多個伸縮配置方案,新增成功後,該Quota將加入到所有配置方案中,除當前生效的配置方案外,其他方案中預設彈性預留CU都為0,因此若需要調整CU量,請在伸縮配置頁簽對各個配置方案進行編輯更新。
重要對於新增Quota,此配置僅作用於當前生效的配置方案。
是否獨佔
是否強獨佔Quota,即Quota的CU即使空閑也不被其他配額組佔用。僅二級Quota可配置,當二級Quota類型為互動式時,此參數預設為獨佔且不可修改。
適用於跑BI或ALGO等業務的配額組因隨時都可能使用,需防止被其他Quota佔用長時間不釋放(當Quota的max值>min值時有可能會去佔用其他閒置Quota)。
單作業CU上限
對在此Quota內執行的作業設定CU並發上限,為空白表示不限制,為
0
表示絕對限制,可輸入正整數進行合理設定。當二級Quota類型為互動式時,此參數預設不可用。適用於防止單作業長時間佔用大量CU導致其他作業等待資源。同時支援作業層級進行限制,在執行的代碼前使用
set odps.task.max.concurrent.cu=<CU量>;
命令進行設定,作業層級的配置優先順序高於Quota層級的配置。開啟優先順序
優先順序功能,詳情請參見作業優先順序。在此Quota上執行的作業將優先執行,或者Project層級開啟也同樣生效。當二級Quota類型為互動式時,此參數預設不可用。
非預留CU
包月非預留CU量。
一級Quota的非預留CU量即為購買包月非預留CU量,需要擴、縮容只能通過升級、降配方式實現(當前庫存緊張無法擴容),在此不可編輯。
二級Quota的非預留CU定義如下。
二級Quota的非預留CU總和為一級Quota的非預留CU量。
預設二級Quota的非預留CU不可編輯,非預留CU量為一級Quota的非預留CU量減去自訂二級Quota的非預留CU量。
調度策略
MaxCompute二級Quota調度策略包含FAIR、FIFO。
FAIR(公平調度)
對於作業優先順序相同的情境,資源將平均分配至同一時間提交的所有作業。
對於作業優先順序不同的情境,資源優先平均分配給優先順序較高的作業,若有剩餘,再平均分配給優先順序較低的作業。
FIFO(先進先出)
對於作業優先順序相同的情境,資源將優先分配至先提交的作業。
對於作業優先順序不同的情境,即使優先順序高的作業提交時間晚於優先順序低的作業,資源也將優先分配至高優先順序作業。
您需要根據業務情況選擇合適的調度策略(暫不支援類型為互動二級Quota設定調度策略),更多介紹請參見計算資源-Quota調度策略說明。
重要自2023年5月24日起,華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華北6(烏蘭察布)、華南1(深圳)、西南1(成都)地區建立的二級Quota調度策略預設值為FIFO。以上地區在此時間之前建立的二級Quota調度策略預設值為FAIR。
單擊確定。
Quota伸縮配置。
購買訂用帳戶MaxCompute專案後,每個一級Quota都會有一個名稱為
Default
的預設資源配置方案。每個資源配置方案包含一級Quota及其下所有二級Quota的預留CU和彈性預留CU配置,多個配置方案結合分時管理,常用於一天內不同時段有不同配置的情境,例如,在每天00:00~08:00和08:00~24:00兩個時段,二級Quota的CU量需求不同,則可以配置兩個Quota配置方案,通過分時管理進行調度。說明支援添加多個資源配置方案,最多為48個,每個方案配置不同,以便每日不同時段啟用相應的方案。
在Quota配置頁面的伸縮配置頁簽,單擊新增配置方案。
在新增配置方案頁面,配置Quota的如下參數。
參數
說明
預留CU量[minCU,maxCU]
包月預留CU量。一級Quota的預留CU量即為購買的包月CU量(minCU=maxCU),需要擴、縮容只能通過升級、降配方式實現,在此不可編輯。二級Quota的minCU和maxCU定義如下:
minCU為保障值,maxCU為上限,當maxCU>minCU時,二級Quota之間為共用模式,如CU請求量大於min值,其他Quota空閑且非獨佔的情況下會被搶佔。
minCU總和等於一級Quota的minCU量。
minCU小於等於max CU小於等於一級Quota購買的minCU量。
說明minCU暫時不可配置為0。
預設二級Quota的minCU和maxCU不可編輯,minCU量為一級minCU量減去自訂二級Quota的minCU量的總和,maxCU值與一級Quota的maxCU量相等。
預留彈性CU
按時預購的預留彈性CU量。
一級Quota的預留彈性CU量即為需要預購的CU量,預設為0,最大能設定的量為對應Quota所購買的訂用帳戶預留CU量,且不超過10000 CU;同時受庫存限制,即配置擴容時會進行庫存校正。配置的擴容量至少為50 CU,或以50的倍數增加。
二級quota的預留彈性CU量定義如下:
預留彈性CU總和為一級Quota的預留彈性CU量。
預設二級Quota的預留彈性CU不可編輯,預留彈性CU量為一級Quota預留彈性CU量減去自訂二級Quota的預留彈性CU量。
單擊確定,完成新增配置方案。
在伸縮配置頁簽,單擊新增配置方案操作列的立即生效,可使新增的方案立即生效。您也可以後續的分時管理中配置使用新方案。
(可選)資源配置方案的其他相關操作如下:
查看配置方案:單擊配置方案名稱左側的表徵圖,展開方案詳情,查看各方案的具體資訊。
編輯配置方案:單擊目標配置方案操作列的編輯,對該方案進行更新,若該方案為當前生效方案,則編輯成功後,還需要單擊操作列的立即生效才能啟用最新的配置。
說明任意配置方案均可操作立即生效,但需注意若已設定分時管理調度,則會被下一個分時覆蓋。因此如果想固定手動生效某個方案,需要清除其他所有分時設定,只保留該手動生效的方案,以確保當前操作能夠立即生效而不被覆蓋。
刪除配置方案:在Quota伸縮配置頁簽,單擊目標配置方案操作列的刪除,即可刪除配置方案。
說明Default方案和當前生效的方案不可刪除。
複製配置方案:在Quota伸縮配置頁簽,單擊目標配置方案操作列的 > 複製(Default方案可直接單擊複製),即可複製出一個新方案。
分時管理。
您可設定每日不同時間點啟用不同的Quota配置方案,以此實現對Quota配置的分時管理。
說明分時調度會有一定的延遲,預計延遲時間為5分鐘以內。
在Quota配置頁面的伸縮配置頁簽,單擊分時管理地區的編輯時間計劃。
單擊新增生效時間段,選擇生效開始時間和配置方案計劃。
時間計劃整體只有一份,預設已耗用時間為00:00(不可修改和刪除),對應啟用配置方案是Default(可修改)。如果沒有增加已耗用時間,則代表全天都是啟用同一個配置方案。
支援整點和半點鐘啟用不同的配置方案,一個配置方案可以被重複啟用。
分時伸縮預覽,選擇某個二級Quota以查看各個時段的CU分配趨勢圖。
伸縮配置全域視圖:以全域視圖表格方式展示所有配置方案明細,查看所有Quota的Min/Max 預留CU量和彈性預留CU在各個分時時段的配置。
查看Quota消耗
可以查看一級Quota內CU資源的消耗情況。
預設主帳號及其子帳號都可查看。
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列,選擇工作區 > 配額(Quota)管理。
在Quota管理頁面,單擊目標一級Quota操作列的資源消耗。
在資源消耗頁面,可查看CPU資源消耗趨勢圖和Quota以及關聯的Project列表。
CPU資源消耗趨勢圖:支援選擇不同二級Quota和時間段查看各類CU使用量趨勢。單擊某個時間點,可以進入該時刻對應的作業快照列表。
Quota以及關聯的Project列表:可查看對應二級Quota都被哪些Project定義為預設計算Quota。
Quota規則
MaxCompute支援對Quota配置規則條件,指定滿足某些條件的作業可以被調度到對應的Quota裡執行。Quota規則詳情請參見Quota規則。
Quota標籤管理
MaxCompute支援您為一級訂用帳戶Quota綁定或解除綁定標籤,標籤的詳細用法及使用限制請參見標籤概述。
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列,選擇工作區 > 配額(Quota)管理。
建立標籤。
建立單個一級Quota的標籤。
將滑鼠懸浮於目標一級Quota標籤列的表徵圖上,單擊綁定/編輯。
在編輯標籤對話方塊中,輸入標籤鍵和標籤值。
單擊確定,並在標籤編輯成功對話方塊中單擊關閉。
大量建立多個一級Quota的標籤。
選中要大量新增標籤的一級Quota,單擊頁面底部的批量打標。
在編輯標籤對話方塊中,輸入標籤鍵和標籤值。
單擊確定,並在標籤編輯成功對話方塊中單擊關閉。
標籤篩選。
一級Quota綁定標籤後,您可以單擊標籤篩選,根據標籤的鍵和值篩選Quota。
(可選)解除綁定標籤。
解除綁定單個一級Quota的標籤。
將滑鼠懸浮於目標一級Quota標籤列的表徵圖上,單擊編輯。
在編輯標籤對話方塊中,單擊要解除綁定標籤後的表徵圖。
單擊確定,並在標籤編輯成功對話方塊中單擊關閉。
批量解除綁定多個一級Quota的標籤。
選中要批量解除綁定標籤的一級Quota,單擊頁面底部的大量刪除標籤。
在批量解除綁定標籤對話方塊中,勾選需要解除綁定的標籤。
單擊解除綁定x個標籤(x為具體的解除綁定標籤數),並在標籤編輯成功對話方塊中單擊關閉。
分時配置
限制與說明
同一預留Quota資源群組,最多支援48個分時區間,單個分時區間的最短時間長度為30分鐘。
當前Data Transmission Service進行分時配置後,如果需要對Data Transmission Service(訂用帳戶)做降配操作,請先調低分時並發數。
分時配置生效時間為0~5分鐘,且計費會按照實際生效時間開始計算。
操作步驟
可以配置Data Transmission Service獨享資源群組的按時計費。
預設主帳號及其子帳號都可以查看。
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列,選擇工作區 > 配額(Quota)管理。
在Quota管理頁面,單擊Quota類型為Data Transmission Service對應操作列的分時配置。
在分時配置頁面,可配置彈性按時計費的並發數:
選擇時間軸上的時間段,在自動彈出的並發數彈框中輸入分時並發數。分時並發數不能超過預留並發數。
單擊確定,完成分時配置,此時會在頁面下方表格中顯示分時區間段的配置資訊,同時您也可以單擊取消放棄當前配置,單擊刪除移除已經完成的配置。