全部產品
Search
文件中心

Data Lake Formation:儲存概覽

更新時間:Jul 13, 2024

儲存概覽主要包括儲存,中繼資料對象的基本資料,還包括儲存趨勢、儲存歸檔分布,表格式分布,小檔案分布等資訊,可以方便您快速瞭解當前儲存資源使用方式及問題,並進行最佳化。

前提條件

儲存概覽開通

  1. 開啟資料湖構建控制台,點擊左側湖管理-儲存概覽菜單,點擊立即啟用,開啟儲存概覽功能

重要

  1. 開通湖資產,中繼資料庫的OSS地址將寫入檔案的統計資訊到OSS中,將產生少量儲存成本。

  2. 首日開通無統計資料,需要等待第二天資料產出後可查看統計資訊。

開通儲存概覽-立即啟用

功能說明

中繼資料分析

資源總計

  • 總儲存量及月/日變化:中繼資料管理下的表的總儲存量(僅包括OSS類型儲存,不包括hdfs儲存)。

  • 總表數量及月/日變化:中繼資料管理中所有表的總數量

  • 總庫數量級月/日變化:中繼資料管理中所有庫的總數量

  • API月/日訪問量:當前月(自然月)的API月訪問量

資源總計

趨勢變化

儲存量、表數量、庫數量、API介面趨勢的趨勢變化圖。

您可以按照時間段,選擇要查詢的時間段。

趨勢變化

表/庫儲存排名

統計表/庫所佔OSS儲存量的大小排名,根據業務需要對排名靠前的表/庫進行最佳化。

表/庫儲存排名

儲存分層分布

可以查看OSS上儲存歸檔的分布情況,OSS儲存包括標準儲存、低頻儲存、Archive Storage、冷Archive Storage。您可以根據需要對不同業務資料選擇合適的儲存方式,最佳化儲存成本。

資料湖構建DLF後續還將推出生命週期管理功能,協助您對湖內資料進行自動歸檔。目前功能開發中。

儲存分層分布

儲存格式分布

統計表的儲存格式分布情況。

儲存格式分布

大小檔案分布和排名

統計大小檔案分布及排名情況,根據業務情況,針對小檔案較多的表進行最佳化,提高查詢效能。

大小檔案分布和排名

Location分析

Location儲存趨勢分析

image

Location請求趨勢分析

image

Location儲存排名

image