日志服务提供智能分层存储功能,您可以按需将数据进行热存储、低频存储和归档存储。降低您长周期存储的成本,并同时保证日志的查询、分析、可视化、告警、投递和加工等能力不受影响。本文将为您介绍日志服务数据存储生命周期管理。
什么是智能存储分层
存储类型
类型 | 说明 |
热存储 |
|
低频存储 |
|
归档存储 |
|
存储周期说明
热存储数据保存时间、低频存储数据保存时间和归档存储数据保存时间的总和,等于数据保存时间。
数据保存时间3650天表示永久保存,超过3650天的也会继续保存,计入归档存储数据层。
数据保存时间在3650天以内
场景1:数据保存时间为90天,将热存储数据保存30天后自动转换为归档存储,归档存储数据保存60天后自动删除。
场景2:数据保存时间为97天,将热存储数据保存7天后自动转换为低频存储,低频存储数据保存30天后自动转换为归档存储,归档存储数据保存60天后自动删除。
数据保存时间在3650天及以上
场景3:数据保存时间为3650天,热存储层数据保存时间为30天,全部转换为归档存储,则归档存储数据保存时间需设置为3650 - 30 = 3620天。同时,因为数据保存时间3650天表示永久保存,超过3620天的也会继续保存,计入归档存储数据层。
场景4:数据保存时间为3650天,热存储层数据保存时间为7天,低频存储数据保存时间为30天,则归档存储数据保存时间需设置为3650 - 7- 30 = 3613天。同时,因为数据保存时间3650天表示永久保存,超过3613天的也会继续保存,计入归档存储数据层。
存储类型对比
存储类型 | 热存储 | 低频存储 | 归档存储 | |
适用场景 | 高频、高性能的查询与分析 | 问题回溯定位场景 | 数据审计场景 | |
费用 | 0.002875美元/GB/天 | 0.000762美元/GB/天 | 0.000259美元/GB/天 | |
性能 | 时延(十亿级规模) | 十至百毫秒 | 百毫秒至秒 | 分钟 |
并发(Project级别) | 查询并发数:100 分析并发数:2 | 查询并发数:10 分析并发数:2 | 查询并发数:1 分析并发数:1 | |
优势 | 快速高并发查询与分析 | 低频率查询与分析,高性价比 | 偶尔查询与分析,低成本 | |
多种存储类型间可通过数据生命周期管理功能实现数据自动分层:
| ||||
存储时间限制 |
| 至少保存30天低频存储后可转为归档存储。 | 最少存储时间为60天。 | |
30天热存储免费权益 |
存储分层的转换流程
三种存储类型之间可以互相转换,存储类型转换说明参见下表。
序号 | 说明 |
1 | 热存储数据至少需要保存7天才能转换为低频存储。 |
2 | 热存储数据至少需要保存30天才能转换为归档存储。 |
3 | 低频存储数据至少需要保存30天才能转换为归档存储。 |
4 | 通过修改热存储数据保存时间,将低频存储数据转回热存储中。 |
5 | 通过修改低频储数据保存时间,将归档存储数据转回低频存储中。 |
6 | 通过修改热存储数据保存时间,实现将归档存储数据转回热存储中。 |
管理存储分层
控制台
登录日志服务控制台。
在Project列表区域,单击目标Project。
在
页签中,单击目标Logstore对应的图标,然后单击修改。在Logstore属性页面,单击修改。参考下图配置开启智能存储分层,然后单击保存。
开启智能存储分层功能的相关参数如下表所示,其他参数说明请参见创建Logstore。
参数
说明
数据保存时间
数据保存时间请参见基础资源。
数据保存时间支持设置为限定天数和永久保存。
热存储数据保存时间、低频存储数据保存时间和归档存储数据保存时间的总和,等于数据保存时间。
重要缩短数据保存时间后,日志服务将在1小时左右删除数据。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时左右删除前4天的数据。
智能分层存储
打开智能分层存储开关,开启智能分层存储功能。
存储策略
配置数据在各层的存储时间。
热存储层数据保存
数据在Logstore热存储层中的存储时间。
当热存储转为低频存储时,取值范围为7~3650,单位:天。
当热存储转为归档存储时,取值范围为30~3650,单位:天。
重要修改热存储层数据保存时间后,日志服务将在1小时左右生效。例如您原本的数据的热存储时间为30天,现修改为40天,则日志服务将在1小时左右将低频存储数据或归档存储数据转回热存储。
热存储层数据保存时间参数值要小于数据保存时间参数值。
低频存储数据保存
数据在Logstore低频存储层中的存储时间。
当低频存储转为归档存储时,取值范围为30~3650,单位:天。
重要修改低频存储层数据保存时间后,日志服务将在1小时左右生效。例如您原本的数据的低频存储时间为30天,现修改为40天,则日志服务将在1小时左右将归档存储数据转回低频存储。
低频存储层数据保存时间参数值要小于数据保存时间参数值。
归档存储数据保存
数据在Logstore归档存储层中的存储时间。取值范围为60~3650,单位:天。当数据的存储时间超过您所配置的归档存储数据保存时间后,数据将自动删除。
重要归档存储层数据保存时间参数值要小于数据保存时间参数值。
API
您可以在创建Logstore的过程中,通过API调用并传递
ttl
(数据保存时间)、hot_ttl
(热存储数据保存时间)、infrequentAccessTTL
(低频存储数据保存时间)参数来配置存储分层的保留策略。创建Logstore详细请参见CreateLogStore - 创建LogStore。同样地,对于已经创建的Logstore,您也可以通过调用修改Logstore的API接口,并更新
ttl
、hot_ttl
和infrequentAccessTTL
参数的值,来动态调整存储分层的保留策略,以满足您对数据保留和成本控制的需求。修改Logstore详细信息请参见UpdateLogStore - 更新LogStore。
相关文档
管理Logstore相关信息请参见管理Logstore。
分层存储数据的存储费用按照存储空间计费,数据转换不会产生费用。详细信息请参见计费概述。
按写入数据量计费模式下,存在30天免费存储额度,当开启智能分层存储后,存储费用将根据具体存储时间及当前存储类型进行计算,更多信息,请参见计费案例。
按使用功能计费与按写入数据量计费模式具体信息请参见按量付费。
日志服务提供本地冗余存储和同城冗余存储两种存储冗余类型,详细信息请参见存储冗余。