儲存概覽主要包括儲存,中繼資料對象的基本資料,還包括儲存趨勢、儲存歸檔分布,表格式分布,小檔案分布等資訊,可以方便您快速瞭解當前儲存資源使用方式及問題,並進行最佳化。
前提條件
已經開通OSS產品。
已經在DLF中完成Location託管。
儲存概覽開通
開啟資料湖構建控制台,點擊左側湖管理-儲存概覽菜單,點擊立即啟用,開啟儲存概覽功能
重要
開通湖資產,中繼資料庫的OSS地址將寫入檔案的統計資訊到OSS中,將產生少量儲存成本。
首日開通無統計資料,需要等待第二天資料產出後可查看統計資訊。
功能說明
中繼資料分析
資源總計
總儲存量及月/日變化:中繼資料管理下的表的總儲存量(僅包括OSS類型儲存,不包括hdfs儲存)。
總表數量及月/日變化:中繼資料管理中所有表的總數量
總庫數量級月/日變化:中繼資料管理中所有庫的總數量
API月/日訪問量:當前月(自然月)的API月訪問量
趨勢變化
儲存量、表數量、庫數量、API介面趨勢的趨勢變化圖。
您可以按照時間段,選擇要查詢的時間段。
表/庫儲存排名
統計表/庫所佔OSS儲存量的大小排名,根據業務需要對排名靠前的表/庫進行最佳化。
儲存分層分布
可以查看OSS上儲存歸檔的分布情況,OSS儲存包括標準儲存、低頻儲存、Archive Storage、冷Archive Storage。您可以根據需要對不同業務資料選擇合適的儲存方式,最佳化儲存成本。
資料湖構建DLF後續還將推出生命週期管理功能,協助您對湖內資料進行自動歸檔。目前功能開發中。
儲存格式分布
統計表的儲存格式分布情況。
大小檔案分布和排名
統計大小檔案分布及排名情況,根據業務情況,針對小檔案較多的表進行最佳化,提高查詢效能。