Log Service提供智能階層式存放區功能,您可以按需將資料進行熱儲存、低頻儲存和Archive Storage。降低您長周期儲存的成本,並同時保證日誌的查詢、分析、可視化、警示、投遞和加工等能力不受影響。本文將為您介紹Log Service資料存放區生命週期管理。
什麼是智能儲存分層
儲存類型
類型 | 說明 |
熱儲存 |
|
低頻儲存 |
|
Archive Storage |
|
儲存周期說明
熱儲存資料儲存時間、低頻儲存資料儲存時間和Archive Storage資料儲存時間的總和,等於資料儲存時間。
資料儲存時間3650天表示永久儲存,超過3650天的也會繼續儲存,計入Archive Storage資料層。
資料儲存時間在3650天以內
情境1:資料儲存時間為90天,將熱儲存資料儲存30天后自動轉換為Archive Storage,Archive Storage資料儲存60天后自動刪除。
情境2:資料儲存時間為97天,將熱儲存資料儲存7天后自動轉換為低頻儲存,低頻儲存資料儲存30天后自動轉換為Archive Storage,Archive Storage資料儲存60天后自動刪除。
資料儲存時間在3650天及以上
情境3:資料儲存時間為3650天,熱儲存層資料儲存時間為30天,全部轉換為Archive Storage,則Archive Storage資料儲存時間需設定為3650 - 30 = 3620天。同時,因為資料儲存時間3650天表示永久儲存,超過3620天的也會繼續儲存,計入Archive Storage資料層。
情境4:資料儲存時間為3650天,熱儲存層資料儲存時間為7天,低頻儲存資料儲存時間為30天,則Archive Storage資料儲存時間需設定為3650 - 7- 30 = 3613天。同時,因為資料儲存時間3650天表示永久儲存,超過3613天的也會繼續儲存,計入Archive Storage資料層。
儲存類型對比
儲存類型 | 熱儲存 | 低頻儲存 | Archive Storage | |
適用情境 | 高頻、高效能的查詢與分析 | 問題回溯定位情境 | 資料審計情境 | |
費用 | 0.002875美元/GB/天 | 0.000762美元/GB/天 | 0.000259美元/GB/天 | |
效能 | 時延(十億級規模) | 十至百毫秒 | 百毫秒至秒 | 分鐘 |
並發(Project層級) | 查詢並發數:100 分析並發數:2 | 查詢並發數:10 分析並發數:2 | 查詢並發數:1 分析並發數:1 | |
優勢 | 快速高並發查詢與分析 | 低頻率查詢與分析,高性價比 | 偶爾查詢與分析,低成本 | |
多種儲存類型間可通過資料生命週期管理功能實現資料自動分層:
| ||||
儲存時間限制 |
| 至少儲存30天低頻儲存後可轉為Archive Storage。 | 最少儲存時間為60天。 | |
30天熱儲存免費權益 |
儲存分層的轉換流程
三種儲存類型之間可以互相轉換,儲存類型轉換說明參見下表。
序號 | 說明 |
1 | 熱儲存資料至少需要儲存7天才能轉換為低頻儲存。 |
2 | 熱儲存資料至少需要儲存30天才能轉換為Archive Storage。 |
3 | 低頻儲存資料至少需要儲存30天才能轉換為Archive Storage。 |
4 | 通過修改熱儲存資料儲存時間,將低頻儲存資料轉回熱儲存中。 |
5 | 通過修改低頻儲資料儲存時間,將Archive Storage資料轉回低頻儲存中。 |
6 | 通過修改熱儲存資料儲存時間,實現將Archive Storage資料轉回熱儲存中。 |
管理儲存分層
控制台
在Project列表地區,單擊目標Project。
在
頁簽中,單擊目標Logstore對應的表徵圖,然後單擊修改。在Logstore屬性頁面,單擊修改。參考下圖配置開啟智能儲存分層,然後單擊儲存。
開啟智能儲存分層功能的相關參數如下表所示,其他參數說明請參見建立Logstore。
參數
說明
資料儲存時間
資料儲存時間請參見基礎資源。
資料儲存時間支援設定為限定天數和永久儲存。
熱儲存資料儲存時間、低頻儲存資料儲存時間和Archive Storage資料儲存時間的總和,等於資料儲存時間。
重要縮短資料儲存時間後,Log Service將在1小時左右刪除資料。例如您原本的資料儲存時間為5天,現修改為1天,則Log Service將在1小時左右刪除前4天的資料。
智能階層式存放區
開啟智能階層式存放區開關,開啟智能階層式存放區功能。
儲存策略
配置資料在各層的儲存時間。
熱儲存層資料儲存
資料在Logstore熱儲存層中的儲存時間。
當熱儲存轉為低頻儲存時,取值範圍為7~3650,單位:天。
當熱儲存轉為Archive Storage時,取值範圍為30~3650,單位:天。
重要修改熱儲存層資料儲存時間後,Log Service將在1小時左右生效。例如您原本的資料的熱儲存時間為30天,現修改為40天,則Log Service將在1小時左右將低頻儲存資料或Archive Storage資料轉回熱儲存。
熱儲存層資料儲存時間參數值要小於資料儲存時間參數值。
低頻儲存資料儲存
資料在Logstore低頻儲存層中的儲存時間。
當低頻儲存轉為Archive Storage時,取值範圍為30~3650,單位:天。
重要修改低頻儲存層資料儲存時間後,Log Service將在1小時左右生效。例如您原本的資料的低頻儲存時間為30天,現修改為40天,則Log Service將在1小時左右將Archive Storage資料轉回低頻儲存。
低頻儲存層資料儲存時間參數值要小於資料儲存時間參數值。
Archive Storage資料儲存
資料在LogstoreArchive Storage層中的儲存時間。取值範圍為60~3650,單位:天。當資料的儲存時間超過您所配置的Archive Storage資料儲存時間後,資料將自動刪除。
重要Archive Storage層資料儲存時間參數值要小於資料儲存時間參數值。
API
您可以在建立Logstore的過程中,通過API調用並傳遞
ttl
(資料儲存時間)、hot_ttl
(熱儲存資料儲存時間)、infrequentAccessTTL
(低頻儲存資料儲存時間)參數來配置儲存分層的保留原則。建立Logstore詳細請參見CreateLogStore - 建立LogStore。同樣地,對於已經建立的Logstore,您也可以通過調用修改Logstore的API介面,並更新
ttl
、hot_ttl
和infrequentAccessTTL
參數的值,來動態調整儲存分層的保留原則,以滿足您對資料保留和成本控制的需求。修改Logstore詳細資料請參見UpdateLogStore - 更新LogStore。
相關文檔
管理Logstore相關資訊請參見管理Logstore。
階層式存放區資料的儲存費用按照儲存空間計費,資料轉換不會產生費用。詳細資料請參見計費概述。
按寫入資料量計費模式下,存在30天免費儲存額度,當開啟智能階層式存放區後,儲存費用將根據具體儲存時間及當前儲存類型進行計算,更多資訊,請參見計費案例。
按使用功能計費與按寫入資料量計費模式具體資訊請參見隨用隨付。
Log Service提供本地備援儲存體和同城冗餘儲存兩種儲存冗餘類型,詳細資料請參見儲存冗餘。