隨著MaxCompute的深入使用,會出現對MaxCompute的表有很多重複查詢的情況,並且不同使用者之間互相不知道其他人也在使用同樣的計算邏輯。為了提高使用者的計算效率、減少重複計算,同時加速使用者計算。MaxCompute提供物化視圖智能計算加速,為您智能分析推薦建立物化視圖。本文為您介紹如何通過智能分析建立物化視圖。
使用限制
只支援在單個專案內做智能分析推薦,不支援跨專案或多專案聯合分析推薦。
為了更精準地產生物化視圖推薦,開啟物化視圖推薦後,需要滿足以下條件,才能在物化視圖推薦頁面查看到相關推薦。
周期任務連續運行3天以上。
公用子查詢中的輸入資料量大於1000000行。
公用子查詢中需要包含JOIN或AGG(彙總,Aggregation)等涉及資料重組計算的運算子。
當前物化視圖僅支援華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、西南1(成都)地區。
使用方式
開啟智能分析
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列選擇工作區 > 物化視圖。
在物化視圖頁面,單擊設定。
在設定頁簽,開啟開啟智能分析開關。
單擊添加專案,在開通專案對話方塊選擇專案後單擊開通。
建立物化視圖
當您的專案已經提前一天開啟智能分析後,可以在物化視圖推薦頁簽查看推薦的公用子查詢並建立物化視圖。
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列選擇工作區 > 物化視圖。
在物化視圖頁面,單擊物化視圖推薦。
在物化視圖推薦頁簽,填寫如下篩選參數後,單擊搜尋。
參數
說明
專案名稱
在下拉式清單選擇MaxCompute專案名稱,篩選目標專案下的公用子查詢。
說明選擇的專案需要已經提前開啟智能分析。
源表名稱
輸入表名稱,篩選與輸入表相關的公用子查詢。
可以輸入多個表名稱,使用半形逗號(,)間隔。
分析時間區間
選擇起始時間,篩選指定日期區間的公用子查詢。
包含操作
選擇包含如下操作類型的公用子查詢:
包含串連操作:SQL中帶有多表串連。
包含彙總操作:SQL中帶有彙總操作。
可以單擊重設,重設篩選參數。
在篩選出的公用子查詢列表,單擊目標公用子查詢操作列的建立物化視圖。
公用子查詢列表說明如下:
列名稱
說明
摘要
公用子查詢的摘要資訊。
其中Aggregate表示推薦的公用子查詢是否包含彙總操作;Inputs列出公用子查詢使用的所有源表表名稱。
單擊可以進入公用子查詢詳情面板查看當前公用子查詢被重複使用的任務和SQL指令碼資訊,包含如下內容:
公用子查詢編號:後台自動產生的唯一編號,用來關聯物化視圖。
公用子查詢:公用子查詢的SQL指令碼,在該地區可以單擊按鈕展開或者全屏查看SQL指令碼、單擊按鈕複製SQL指令碼或單擊下載SQL指令碼。
原始SQL列表:目前只會展示最近5天的原始使用過該子查詢的任務執行個體,包括如下內容:
Instance ID:執行過該子查詢的原始任務執行個體ID。
提交任務專案名稱:執行任務執行個體的專案名稱。
提交人:任務的提交人。
執行時間(s):子查詢的執行時間,單位為秒。
原始查詢SQL:可執行如下操作。
查看詳情:單擊查看SQL詳情。
下載:單擊下載對應的SQL。
可影響SQL數
當前公用子查詢被多少其他任務作業使用。
推薦指數
推薦建立物化視圖指數。
1星到5星,星數越多表示越推薦建立物化視圖。
分析時間
當前公用子查詢的推薦分析時間。
建立狀態
當前公用子查詢是否已經建立物化視圖。
物化視圖數
使用當前公用子查詢建立的物化視圖的個數。
單擊可以跳轉進入物化視圖頁面。
操作
可執行檔操作:建立物化視圖。
單擊進入物化視圖建立面板。
在建立物化視圖面板,設定如下參數。
參數
說明
物化視圖名稱
預設填寫的是公用子查詢編號,可以自訂指定,以字母或數字開頭,包含字母、數字和底線(_)。
重新整理方式
可選值如下:
固定時間間隔重新整理:按照固定分鐘、小時或天來更新物化視圖資料。
時間管理Cron模式:採用通用Cron模式定義物化視圖資料更新。
指令碼
推薦建立物化視圖的SQL指令碼。
在該地區可以單擊按鈕展開或者全屏查看SQL指令碼,同時可以單擊按鈕複製SQL指令碼和單擊下載SQL指令碼。
單擊確定,立即建立物化視圖。
建立物化視圖會有儲存成本,儲存價格與計算方式與普通表一致。
管理物化視圖
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列選擇工作區 > 物化視圖。
在物化視圖頁面,單擊物化視圖管理。
在物化視圖管理頁簽,填寫如下篩選參數後,單擊搜尋。
參數
說明
專案名稱
在下拉式清單選擇MaxCompute專案名稱,篩選目標專案下的物化視圖。
說明選擇的專案需要已經提前開啟智能分析。
物化視圖名稱
輸入物化視圖名稱,篩選指定的物化視圖。
可以輸入物化視圖全稱或者部分進行模糊比對。
建立時間
選擇起始時間,篩選指定日期區間建立的物化視圖。
可以單擊重設,重設篩選參數。
在篩選出的物化視圖列表,可以查看物化視圖資訊和管理物化視圖。
物化視圖列表說明如下:
列名稱
說明
物化視圖名稱
物化視圖的名稱。
所屬專案
物化視圖所在的專案名稱。
建立時間
物化視圖建立的時間。
總被調用次數
物化視圖被調用總的次數。
調用次數(最近24小時)
物化視圖被調用使用最近24小時內的次數。
狀態
物化檢視狀態,有如下兩種狀態:
已刪除。
使用中。
操作
可對物化視圖執行的操作:
物化視圖調用情況:單擊查看物化視圖被調用使用方式和調用效果,物化視圖調用詳情頁麵包含如下內容:
物化視圖名稱。
物化視圖詳情:定義物化視圖的SQL指令碼。
使用物化視圖工作清單:展示所有調用該物化視圖的任務明細,包含如下內容:
Instance ID:任務對應的Instance ID。
原始執行日期:該任務在沒有調用物化視圖時執行的日期。
原始執行時間(s):該任務在沒有調用物化視圖時執行的時間長度,單位為秒。
調用MV執行日期:該任務在調用物化視圖時執行的日期。
調用MV執行時間(s):該任務在調用了物化視圖時執行的時間長度,單位為秒。
節省時間(s):該任務調用了物化視圖時執行節省的時間。
刪除:單擊刪除物化視圖。