MaxCompute管家是為您提供作業資訊查看、資源消耗查看(包含儲存和CU資源)、專案查看及調整、配額組增刪改查等涉及日常營運能力的管理平台。本文針對MaxCompute管家提供的各能力點進行詳細介紹。
MaxCompute管家將於北京時間2024年01月10日陸續下線,相關功能請前往MaxCompute管理主控台進行操作,詳情請參見2023年12月04日-MaxCompute管家下線公告。
前提條件
已購買MaxCompute訂用帳戶CU資源。詳情請參見計算費用。
如果您購買的CU資源較少,無法發揮CU資源及MaxCompute管家的優勢。
禁用阿里雲帳號的AccessKey,會導致其名下的RAM使用者無法使用MaxCompute管家。
進入MaxCompute管家
您可以按照如下步驟進入MaxCompute管家。
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列,單擊管家,即可進入MaxCompute管家頁面。
概覽
您可以在資源概覽頁面的訂用帳戶概覽地區,按照不同的配額組和時間段查看當前使用CU、總CU、當前儲存量、CU資源使用趨勢和儲存使用趨勢。
隨用隨付概覽地區暫無資訊。
欄位 | 說明 |
配額組 | 指定需要查看的配額組資訊。預設為空白,表示查看全部配額組。 您也可以在配額組右側設定需要查詢的時間段,預設為最近24小時。 |
當前使用CU | 指定配額組下的全部專案在搜尋截止時刻的CU資源使用量。單擊CU資源使用趨勢圖中的某個點後,可以查看該點的作業快照。 說明 當有自訂配額組,且為共用型配額組(預留CU的最大值 > 最小值)時,可能會出現某一時刻,為了保障最小值,出現每個配額組當前使用的CU量總和大於購買量的情況。 |
總CU |
|
當前儲存量 | 指定配額組下的全部專案在搜尋截止時刻的儲存資源使用量。 |
申請CU趨勢 | 指定配額組下的全部專案在搜尋時段內計劃申請的CU資源量(包括預留CU資源和非預留CU資源)。 |
已用CU趨勢 | 指定配額組下的全部專案在搜尋時段內實際使用的CU資源量(包括預留CU資源和非預留CU資源)。 |
總CU趨勢 | 購買的CU量(包括預留CU資源和非預留CU資源)。 |
儲存大小趨勢 | 指定配額組下的全部專案在搜尋時間段內的儲存使用量。 |
查看作業運行情況
MaxCompute管家每2分鐘會採集1次作業運行快照。您可以通過作業快照,查看某個時間點配額組中的作業運行情況。每個時間點的作業快照資訊是固定的,便於追溯每個時間點的配額組資源使用方式。
單個作業在執行過程中可能會被採集到多個快照資訊,每個快照資訊狀態可能不一致。例如作業某個時間點的狀態是運行中,您可以查看後續時間點的作業快照瞭解下一個運行狀態資訊。
在左側導覽列,單擊作業營運。
在作業快照頁簽,選擇需要查詢的配額組或專案名稱,並選擇時間段,查看訂用帳戶或隨用隨付專案的作業快照。
說明在概覽頁面,單擊CU資源使用趨勢圖中的某個點後,可以查看該點的歷史作業快照。
列名
說明
InstanceID
每個MaxCompute作業都會產生一個Instance。您可以單擊InstanceID跳轉至Logview頁面,查看具體的作業進度。查看Logview的方法,請參見使用Logview查看作業運行資訊。
提交人
運行MaxCompute作業的阿里雲帳號。您可以根據帳號資訊找到作業所屬責任人。如果某個作業佔用資源較多,影響其他任務運行,可以聯絡對應責任人停止作業。停止作業的方法,請參見執行個體操作。
專案
Instance所屬專案名稱。
配額組
僅支援選擇訂用帳戶配額組。隨用隨付作業無此資訊。
DataWorks節點ID
運行MaxCompute作業的DataWorks節點ID。如果此項為空白,表示不是通過DataWorks節點提交的作業。
優先順序
訂用帳戶作業的排隊序號。隨用隨付作業無此資訊。
取值範圍:0~9,數值越小,優先順序越高。
付費模式
Instance所屬專案的計費方式,包含訂用帳戶和隨用隨付。
CPU使用佔比(%)
Instance實際使用的CPU資源占配額組最大值的比例。隨用隨付作業無此資訊。
記憶體使用量佔比(%)
Instance實際使用的記憶體資源占配額組最大值的比例。隨用隨付作業無此資訊。
運行狀態
Instance的運行狀態。
作業類型
Instance的作業類型。
等待時間長度
等待運行資源的時間長度。
運行時間長度
Instance啟動並執行時間。
提交時間
Instance的提交時間。
在作業快照頁簽,單擊訂用帳戶專案作業快照或隨用隨付專案作業快照地區右上方的表徵圖,開啟自動重新整理功能並自訂重新整理間隔。
如果您需要關閉自動重新整理功能,在作業快照頁簽,單擊訂用帳戶專案作業快照或隨用隨付專案作業快照地區右上方的表徵圖即可。
終止作業
作業責任人可以單個或批量終止不再需要啟動並執行作業。批量終止作業時,一次不能超過10個。
在作業快照頁簽,單擊作業列表上方的終止作業。
在終止作業對話方塊,輸入待終止作業對應的instance Id列表和備忘資訊,以訂用帳戶專案為例。
單擊執行,終止作業運行。
查看作業快照操作記錄
MaxCompute管家支援查看作業快照操作記錄,記錄儲存期限為7天。
在左側導覽列,單擊作業營運。
單擊作業快照操作記錄頁簽,查看作業快照操作記錄。
單擊某個操作記錄右側的查看詳情,查看作業操作詳情。
查看儲存資源消耗
您可以通過專案營運頁面,瞭解儲存資源的消耗情況。MaxCompute管家每小時採集1次儲存量。
在左側導覽列,單擊專案營運,進入訂用帳戶和隨用隨付專案頁面。
列表中會顯示項目的已用儲存量。您也可以在右上方選擇配額組,查看已用儲存量。
單擊指定專案名稱,查看專案某段時間的儲存情況。
選擇查看的時間段。單擊時間下拉框,選擇開始時間和結束時間,單擊確定。
查看CU資源消耗
您可以通過配額管理頁面,查看訂用帳戶專案的CU資源消耗。MaxCompute管家每2分鐘採集1次CU資源。
隨用隨付配額組地區暫無資訊。
在左側導覽列,單擊配額管理。
在訂用帳戶配額組地區,單擊指定的配額組,查看CU資源消耗情況。
選擇查看的時間段。單擊時間下拉框,選擇開始時間和結束時間,單擊確定。
說明選擇的區間不同,配額組資料展示的粒度不同。
設定配額組
您可以在配額管理頁面,建立、修改或刪除配額組,以及設定分時。僅支援設定訂用帳戶專案的配額組,不支援設定隨用隨付專案的配額組。
若有提示請通過新版控制台進行配額管理,則請到新版控制台操作。
具體操作見下表。
操作名稱 | 說明 | 操作步驟 |
建立配額組 | 建立一個配額組。建立配額組後,您可以通過 ,將專案指定到配額組下,即該專案的計算任務預設使用該配額組的計算資源。 |
|
修改配額組 | 修改建立好的配額組。 |
|
刪除配額組 | 支援刪除建立好的配額組。如果當前配額組下有專案,則無法刪除。您需要先把專案指定到其他配額組才可刪除。 |
|
設定分時 | 設定配額組的分時時間段,可以滿足不同商務專案在不同時間段對預留CU資源的需求。例如,生產Project,夜間CU資源需求高,白天CU資源需求低;開發或分析Project,夜間CU資源需求低,白天CU資源需求高。您可以對配額組設定分時,隔離生產和開發,提升CU資源使用率。配置規則如下:
|
|
CU資源升級或降配時,預設配額組的最大、最小CU量會相應變化,其它配額組的配置不會改變。
如果降配後的CU量小於預設配額組的最小配額,則降配失敗。
最大配額為最高分配資源,最小配額為最小保障資源。
配額組配置樣本
假設,有預留CU資源60 CU,非預留CU資源0 CU,供A和B兩個組使用,分配方式如下:
未開啟分時設定
資源群組獨享
[最大CU,最小CU,彈性最大CU]:A組為[40,40,0],B組為[20,20,0]。
資源群組傾斜
[最大CU,最小CU,彈性最大CU]:A組為[60,40,0],B組為[40,20,0]。
開啟分時設定
假設資料倉儲中存在生產Project、開發Project和分析Project,生產高峰在00:00:00~08:00:00時間段,開發和分析高峰在08:00:00~23:59:59,分時配置如下。
設定兩個時間段,時段1為00:00:00~08:00:00,時段2為08:00:00~23:59:59。
時段1的配額組[最大CU,最小CU,彈性最大CU]:自訂配額組為[60,50,0],預設配額組為[60,10,0]。
時段2的配額組[最大CU,最小CU,彈性最大CU]:自訂配額組為[60,20,0],預設配額組為[60,40,0]。
自訂配額組關聯生產Project,開發和分析Project關聯預設配額組。
目前不同的配額組暫不支援設定調度優先順序,CU資源使用遵循先到先得、不搶佔的原則。例如,60 CU由A和B兩個組使用,分配[最大CU,最小CU,彈性最大CU]為:A組[40,20,0],B組[30,10,0]。假設A組先佔用了40 CU的資源,則B組只能使用20 CU的資源,此時B組無法搶佔A組已佔用的資源。假設A組在使用一段時間後,釋放了40 CU中的10 CU資源,則B組可以使用30 CU資源。
修改專案配額組
支援將訂用帳戶專案當前指定的配額組修改為其它配額組,建立的配額組可通過該功能隔離CU資源。
在左側導覽列,單擊專案管理。
在訂用帳戶專案地區,單擊需要修改配額組的專案右側的修改。
在修改配額組資訊對話方塊,從配額組下拉式清單中,選擇配額組。
單擊執行,完成修改。