資源觀測提供某段時間內,對多種資源(如Data Transmission Service、計算資源、儲存資源等)的監測情況,您可通過觀測各指標的曲線圖或圖表,最佳化和調整作業的執行計畫及資源配置,提高作業的執行效率和效能。本文為您介紹如何查看MaxCompute的資源使用方式。
開通地區
當前各類資源已支援資源觀測的地區如下:
資源類型 | 已開通地區 |
計算資源 | 華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、華北6(烏蘭察布)、西南1(成都)、中國香港、美國(矽谷)、美國(維吉尼亞)、馬來西亞(吉隆坡)、日本(東京)、德國(法蘭克福)、印尼(雅加達)、英國(倫敦)、新加坡 |
儲存資源 | 華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、華北3(張家口)、華北6(烏蘭察布) |
Data Transmission Service | 華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都) |
作業效能觀測 | 華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華北6(烏蘭察布)、華南1(深圳)、西南1(成都)、中國香港、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、日本(東京)、美國(矽谷)、美國(維吉尼亞)、德國(法蘭克福)、英國(倫敦)、沙特(利雅得) |
許可權說明
阿里雲帳號:擁有資源觀測的所有查看和操作許可權。
RAM使用者:需擷取RAM許可權,詳情請參見RAM許可權。
計算資源
您可以查看訂用帳戶及隨用隨付Quota的CU資源的消耗情況。
操作步驟
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列單擊資源觀測。
在資源觀測頁面選擇計算資源頁簽。
選擇一級Quota名稱和需要觀測的時間區間。
說明為最佳化頁面體驗,每個指標至多支援展示60個時間點,因此當時間範圍大於1h時,圖表預設使用區間範圍內(所選時間範圍的分鐘數/60)的平均值彙總資料,您可以根據自身需求更改彙總演算法為最大值,以便更全面地分析資源消耗情況。
單擊目標二級Quota左側的表徵圖,可以查看二級Quota的資源消耗趨勢圖,支援同時展開多個二級Quota圖表。
查看各個二級Quota關聯的專案列表。
指標參數說明
指標名稱 | 說明 |
CPU資源 | 當前Quota組各類CPU使用量的趨勢。單擊某個時間點,可以展示該時刻對應的作業快照列表。 |
Memory資源(單位:MB/100) | 當前Quota組各類記憶體使用量量趨勢。 重要 隨用隨付資源為共用型,計算作業按需搶佔資源,不可指定用量。若單使用者持續請求較高資源量,為保障其他使用者正常使用隨用隨付計算資源,MaxCompute將對單使用者的資源使用量進行限制。 |
Quota以及關聯的專案列表:可查看對應二級Quota都被哪些專案定義為預設計算Quota。
儲存資源
您可以查看當前地區下總儲存用量以及各種儲存類型佔比情況,並根據專案和需要觀測的時間區間去觀測各類儲存的變化趨勢,以及詳細的表或分區儲存資訊。
操作步驟
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列單擊資源觀測。
在資源觀測頁面,選擇儲存資源頁簽,即可查看當日總儲存用量及儲存分布情況。
(可選)選擇需要觀測的時間段(預設為7d,即7天)和專案(預設為所有專案,最多支援手動選擇8個專案),查看儲存趨勢。
(可選)在儲存明細地區的專案明細頁簽,選擇統計日期(預設為當天),查看各專案儲存用量。
(可選)在儲存明細地區的表/分區明細頁簽,選擇統計日期(預設為當天)和專案,查看專案中詳細的表/分區儲存用量。
指標參數說明
指標名稱 | 說明 |
今日儲存用量 | 當前地區下總儲存用量以及各種儲存類型佔比情況,資料約每小時更新一次。 |
儲存分布 | 當前地區下的專案數量、表數量及分區數量,資料每天更新。 |
儲存趨勢 |
|
專案明細 | 當前地區下總儲存大於0的專案在指定日期(可選一年範圍內)的各類儲存用量明細及總儲存量近N(可選1、7、30)天同比。 |
表/分區明細 | 指定專案在指定日期(可選一年範圍內)所有表/分區的儲存類型、儲存大小、近N(可選1、7、30)天同比。 |
Data Transmission Service
您可以查看Data Transmission Service共用資源組與訂用帳戶獨享資源群組的資源使用方式,並根據專案和需要觀測的時間區間觀測各個指標的使用方式。
操作步驟
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列單擊資源觀測。
在資源觀測頁面選擇Data Transmission Service頁簽。
選擇要觀測的Quota、專案和時間範圍,查詢各個指標的使用方式。
指標參數說明
指標名稱 | 說明 |
請求並發數 | 當前資源群組請求並發的曲線圖,包括上傳、下載和總並發數。 |
輸送量(B/S) | 當前資源群組輸送量的曲線圖,包括上傳和下載。 |
表訪問熱度(並發數) | 選擇使用方式(例如:Tunnel Batch上傳)及表名稱(例如:testtable),則表示當前資源群組裡使用Tunnel Batch方式上傳的testtable表的並發數曲線圖。 |
訪問來源IP(B/S) | 選擇使用方式(例如:Tunnel Batch上傳)及表名稱(例如:testtable),則表示當前資源群組裡使用Tunnel Batch方式上傳的testtable表的各訪問來源IP每秒傳輸的資料量曲線圖。 |
錯誤個數 | 當前資源群組發生500和429錯誤的個數曲線圖。 |
Quota以及關聯的專案列表:可查看對應二級Quota都被哪些專案定義為預設計算Quota。
作業效能觀測
您可以查看計算作業的作業數量、CU用量以及作業運行時間長度情況,以此判斷作業效能是否符合預期。
操作步驟
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列單擊資源觀測。
在資源觀測頁面,選擇作業效能觀測頁簽。
選擇以下參數對作業進行過濾並分組,可以篩選出您希望查看的作業,按不同維度在圖表視圖中對各指標資料進行分組。
參數
說明
時間範圍
必選。按照輸入的時間範圍(開始和結束時間)對執行完成的作業進行過濾。
您可以選擇已預置的時間範圍或手動設定時間範圍:
1d:最近1天。
3d:最近3天。
7d:最近7天。
選擇具體時間段:單擊時間範圍下拉式清單,選擇需要查詢的日期後,單擊選擇時間,選擇目標時間段。
說明預設時間範圍為最近1天。時間範圍最長支援7天,最小支援1小時。最多可以搜尋最近45天的作業。
專案選擇
按照MaxCompute專案名稱進行過濾。
說明預設選擇所有專案。您可以自訂選擇至多8個專案。
Quota選擇
按照計算Quota進行過濾。
說明預設選擇所有計算Quota。您可以自訂選擇至多8個二級Quota。更多計算Quota資訊,請參見計算資源-Quota管理(新版)。
分組依據
必選。根據圖表類型,您可以按多個維度在圖表視圖中對資料進行分組展示。
分組依據取值如下:
不分組(預設):顯示過濾範圍內所有作業的各類指標隨時間的變化趨勢。
專案:顯示過濾範圍內所有作業的各類指標按專案分組的情況。
說明選擇按專案分組時,必須在過濾參數中指定專案,至多不能超過8個專案。
配額(Quota):顯示過濾範圍內所有作業的各類指標按二級Quota分組的情況。
說明選擇按Quota分組時,必須在過濾參數中指定Quota,至多不能超過8個二級Quota。
作業類型:顯示過濾範圍內所有作業的各類指標按作業類型分組的情況。
SQL:SQL作業。
SQLRT:查詢加速SQL作業。
LOT:MapReduce作業。
CUPID:Spark或Mars作業。
Algo_Task:機器學習作業。
GRAPH:圖計算作業。
作業結束狀態:顯示過濾範圍內所有作業的各類指標按作業結束時的狀態分組的情況。
Success:運行成功。
Failed:失敗。
Cancelled:取消。
單擊查詢,查看各個指標的統計情況。
(可選)選擇資料匯總維度,可按照選擇的時間維度查看各個指標的統計情況。
參數
說明
按小時匯總
即一小時為一個刻度,表示當前小時運行結束的作業的統計資料,預設按小時匯總。
例如當前小時為2024-05-06 14:00,按小時匯總則顯示2024-05-06 14:00至15:00區間內運行結束的作業各指標統計資料。
按天匯總
即一天為一個刻度,表示當天運行結束的作業的統計資料。
例如當前日期為2024-05-06,選擇按天匯總則顯示2024-05-06 00:00至2024-05-07 00:00區間內運行結束的作業各指標統計資料。
(可選)選擇對比周期,可查看當前日期或小時減去對比周期天數得到的歷史統計資料。
預設無對比,可選前30天、前7天以及前1天。例如2024-05-06 14:00前30天的對比資料就是2024-04-06 14:00的統計資料。
指標參數說明
CU用量趨勢(單位:Core*H)
指標名稱
說明
CPU時(單位:Core*H)
所選過濾範圍內,已完成作業消耗的CPU時數量。
1個小時消耗1個CPU Core,定義為1個CPU時。CPU時數量=CPU Core數量*時間長度。
記憶體時(單位:GB*H)
在所選過濾範圍內,已完成作業消耗的記憶體數量。
1個小時消耗1GB記憶體,定義為1個記憶體時。記憶體時數量=記憶體大小*時間長度。
CPU時/記憶體時消耗TOP 10分析
提供在所選過濾範圍內消耗CPU時/記憶體時最多的前10個作業,共計/平均消耗CPU時/記憶體時最多的前10個Signature、ExtNodeId。
作業運行時間長度(單位:秒)
指標名稱
說明
平均值
在所選過濾範圍內,已完成作業的平均作業時間長度。
最大值
在所選過濾範圍內,已完成作業的最長作業時間長度。
最小值
在所選過濾範圍內,已完成作業的最短作業時間長度。
分位元
在所選過濾範圍內,已完成作業的某分位元(包括1、5、10、50、90、95、99分位元)作業時間長度。
以99分位元為例,表示99%的作業在此時間長度內運行完畢。
作業運行時間長度TOP 10分析
提供在所選過濾範圍內總運行時間長度最長的前10個作業,共計/平均總運行時間長度最長的前10個Signature、ExtNodeld。
作業數趨勢(單位:個):在所選過濾範圍內,已完成啟動並執行作業數量。
作業掃描量趨勢(單位:GB,自適應變化,以圖表顯示為準):在所選過濾範圍內已完成作業掃描的資料量。
單位CU時處理的作業掃描量趨勢(單位:GB,自適應變化,以圖表顯示為準):在所選過濾範圍內平均1 CU時處理的作業掃描量。1 CU時包含1 CPU Core和4 GB記憶體,計算方法為
MAX(CPU時, 向上取整(記憶體時/4))
。
上述指標資料也支援您通過租戶層級Information Schema自行統計,但需注意Information Schema task_history
表中包含所有操作產生的任務執行個體,而控制台作業效能觀測的指標僅統計消耗計算資源的作業,因此統計結果可能存在差異。
樣本查詢SQL如下:
SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- 作業運行結束所在小時
-- to_char (end_time, 'yyyy-mm-dd'), --若需要按天匯總,請使用此行替換上一行,表示作業運行結束時所在日期
sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU時
sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- 記憶體時
avg(datediff(end_time, start_time, 'ss')), -- 作業平均運行時間長度
min(datediff(end_time, start_time, 'ss')), -- 作業最短運行時間長度
max(datediff(end_time, start_time, 'ss')) -- 作業最長運行時間長度
-- status, --分組依據:status:作業狀態;專案:task_catalog;作業類型:task_type。
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd') -- 如需其他過濾條件可自行修改添加
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
-- to_char (end_time, 'yyyy-mm-dd'), --若需要按天匯總,請使用此行替換上一行,表示作業運行結束時所在日期
-- status, --分組依據:status:作業狀態;專案:task_catalog;作業類型:task_type
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
-- to_char (end_time, 'yyyy-mm-dd'); --若需要按天匯總,請使用此行替換上一行,表示作業運行結束時所在日期
常見問題
問題一:
問題現象:按專案或配額(Quota)分組後,圖例中缺失部分專案或配額(Quota)。
問題原因:缺失的專案或Quota中的作業數為0。
問題二:
問題現象:選擇對比周期後,對應對比時間的資料缺失。
問題原因:可能是對比時間內專案或Quota未建立或已刪除,也可能是該時間區間內專案或Quota中的作業數為0。
相關文檔
觀測資源使用方式後,您可根據需要對作業的執行計畫與資源配置進行最佳化: