全部产品
Search
文档中心

数据湖构建:存储概览

更新时间:Nov 20, 2024

存储概览不仅涵盖存储和元数据对象的基本信息,还包括存储趋势、存储归档分布、表格式分布以及大小文件分布等信息,帮助您快速了解当前存储资源使用情况及潜在问题,从而采取措施进行优化。

前提条件

存储概览开通

  1. 登录数据湖构建控制台

  2. 在左侧菜单栏,单击湖管理 > 存储概览,单击立即启用,开启存储概览功能。

重要
  1. 开通湖资产,数据库的OSS地址会将文件的统计信息写入到OSS中,将产生少量存储成本。

  2. 首日开通无统计数据,需要等待第二天数据产出后可查看统计信息。

功能说明

元数据分析

资源总计

  • 总存储量及月/日变化:元数据管理下的表的总存储量(仅包括OSS类型存储,不包括HDFS存储)。

  • 总表数量及月/日变化:元数据管理中所有表的总数量。

  • 总库数量及月/日变化:元数据管理中所有库的总数量。

  • API月/日访问量:当前月(自然月)的API访问量。

资源总计

趋势变化

存储量、表数量、库数量、API接口的趋势变化图。您可以按照时间段,选择要查询的时间段。

趋势变化

表/库存储排名

统计表/库所占OSS存储量的大小排名,根据业务需要对排名靠前的表/库进行优化。

表/库存储排名

存储分层分布

查看OSS上存储归档的分布情况,OSS存储包括标准存储、低频存储、归档存储、冷归档存储。您可以根据需要对不同业务数据选择合适的存储方式,优化存储成本。

存储分层分布

存储格式分布

查看统计表的存储格式分布情况。

存储格式分布

大小文件分布和排名

统计大小文件分布及排名情况,您可根据业务情况,针对小文件较多的表进行优化,提高查询性能。

image

Location分析

统计Location存储趋势、请求趋势及存储排名情况。您可按照OSS Bucket和时间段进行查询。

Location存储趋势分析

image

Location请求趋势分析

image

Location存储排名

image