全部產品
Search
文件中心

Simple Log Service:管理智能儲存分層

更新時間:Aug 06, 2024

Log Service提供智能階層式存放區功能,您可以按需將資料進行熱儲存、低頻儲存和Archive Storage。降低您長周期儲存的成本,並同時保證日誌的查詢、分析、可視化、警示、投遞和加工等能力不受影響。本文將為您介紹Log Service資料存放區生命週期管理。

什麼是智能儲存分層

儲存類型

類型

說明

熱儲存

  • 熱儲存是一種可擴充、高可用的資料存放區方案,用於儲存生命週期較長的但不經常被訪問的資料。

  • 支援資料即時訪問,提供高效能的日誌查詢和分析功能,適用於資料高頻查詢分析等業務情境。

低頻儲存

  • 低頻儲存(原冷儲存)是一種能降低您長周期儲存的成本,並同時保證日誌的查詢、分析、可視化、警示、投遞和加工等能力不受影響的儲存類型。

  • 適用於較低查詢分析頻率,問題回溯等業務情境。

Archive Storage

  • Archive Storage在現有熱儲存、低頻儲存的基礎上,為您提供更低成本且可查詢、分析的長期資料存放區方案。

  • 適用於資料審計長期儲存的業務情境。

儲存周期說明

重要
  • 熱儲存資料儲存時間、低頻儲存資料儲存時間和Archive Storage資料儲存時間的總和,等於資料儲存時間。

  • 資料儲存時間3650天表示永久儲存,超過3650天的也會繼續儲存,計入Archive Storage資料層。

  • 資料儲存時間在3650天以內

    情境1:資料儲存時間為90天,將熱儲存資料儲存30天后自動轉換為Archive Storage,Archive Storage資料儲存60天后自動刪除。

    情境2:資料儲存時間為97天,將熱儲存資料儲存7天后自動轉換為低頻儲存,低頻儲存資料儲存30天后自動轉換為Archive Storage,Archive Storage資料儲存60天后自動刪除。

  • 資料儲存時間在3650天及以上

    情境3:資料儲存時間為3650天,熱儲存層資料儲存時間為30天,全部轉換為Archive Storage,則Archive Storage資料儲存時間需設定為3650 - 30 = 3620天。同時,因為資料儲存時間3650天表示永久儲存,超過3620天的也會繼續儲存,計入Archive Storage資料層。

    情境4:資料儲存時間為3650天,熱儲存層資料儲存時間為7天,低頻儲存資料儲存時間為30天,則Archive Storage資料儲存時間需設定為3650 - 7- 30 = 3613天。同時,因為資料儲存時間3650天表示永久儲存,超過3613天的也會繼續儲存,計入Archive Storage資料層。

儲存類型對比

儲存類型

熱儲存

低頻儲存

Archive Storage

適用情境

高頻、高效能的查詢與分析

問題回溯定位情境

資料審計情境

費用

0.002875美元/GB/天

0.000762美元/GB/天

0.000259美元/GB/天

效能

時延(十億級規模)

十至百毫秒

百毫秒至秒

分鐘

並發(Project層級)

查詢並發數:100

分析並發數:2

查詢並發數:10

分析並發數:2

查詢並發數:1

分析並發數:1

優勢

快速高並發查詢與分析

低頻率查詢與分析,高性價比

偶爾查詢與分析,低成本

多種儲存類型間可通過資料生命週期管理功能實現資料自動分層:

  • 配置簡便,無需編寫指令碼或手動遷移資料。

  • 低頻儲存和Archive Storage資料與熱儲存資料一樣可即時訪問,無需手動取回或修改應用,無任何取回費用。

儲存時間限制

按使用功能計費

  • 至少需儲存7天熱儲存後可轉為低頻儲存。

  • 至少需儲存30天熱儲存後可轉為Archive Storage。

至少儲存30天低頻儲存後可轉為Archive Storage。

最少儲存時間為60天。

按寫入資料量計費

30天熱儲存免費權益

儲存分層的轉換流程

三種儲存類型之間可以互相轉換,儲存類型轉換說明參見下表。

序號 

說明

1

熱儲存資料至少需要儲存7天才能轉換為低頻儲存。

2

熱儲存資料至少需要儲存30天才能轉換為Archive Storage。

3

低頻儲存資料至少需要儲存30天才能轉換為Archive Storage。

4

通過修改熱儲存資料儲存時間,將低頻儲存資料轉回熱儲存中。

5

通過修改低頻儲資料儲存時間,將Archive Storage資料轉回低頻儲存中。

6

通過修改熱儲存資料儲存時間,實現將Archive Storage資料轉回熱儲存中。

管理儲存分層

控制台

  1. 登入Log Service控制台

  2. 在Project列表地區,單擊目標Project。

    image

  3. 日誌儲存 > 日誌庫頁簽中,單擊目標Logstore對應的Logstore表徵圖,然後單擊修改

    image

  4. Logstore屬性頁面,單擊修改。參考下圖配置開啟智能儲存分層,然後單擊儲存

    image

    開啟智能儲存分層功能的相關參數如下表所示,其他參數說明請參見建立Logstore

    參數

    說明

    資料儲存時間

    資料儲存時間請參見基礎資源

    資料儲存時間支援設定為限定天數永久儲存

    • 熱儲存資料儲存時間、低頻儲存資料儲存時間和Archive Storage資料儲存時間的總和,等於資料儲存時間。

    • 如果設定為限定天數且3650天及以上,代表永久儲存。

    重要

    縮短資料儲存時間後,Log Service將在1小時左右刪除資料。例如您原本的資料儲存時間為5天,現修改為1天,則Log Service將在1小時左右刪除前4天的資料。

    智能階層式存放區

    開啟智能階層式存放區開關,開啟智能階層式存放區功能。

    儲存策略

    配置資料在各層的儲存時間。

    熱儲存層資料儲存

    資料在Logstore熱儲存層中的儲存時間。

    • 當熱儲存轉為低頻儲存時,取值範圍為7~3650,單位:天。

    • 當熱儲存轉為Archive Storage時,取值範圍為30~3650,單位:天。

    重要
    • 修改熱儲存層資料儲存時間後,Log Service將在1小時左右生效。例如您原本的資料的熱儲存時間為30天,現修改為40天,則Log Service將在1小時左右將低頻儲存資料或Archive Storage資料轉回熱儲存。

    • 熱儲存層資料儲存時間參數值要小於資料儲存時間參數值。

    低頻儲存資料儲存

    資料在Logstore低頻儲存層中的儲存時間。

    當低頻儲存轉為Archive Storage時,取值範圍為30~3650,單位:天。

    重要
    • 修改低頻儲存層資料儲存時間後,Log Service將在1小時左右生效。例如您原本的資料的低頻儲存時間為30天,現修改為40天,則Log Service將在1小時左右將Archive Storage資料轉回低頻儲存。

    • 低頻儲存層資料儲存時間參數值要小於資料儲存時間參數值。

    Archive Storage資料儲存

    資料在LogstoreArchive Storage層中的儲存時間。取值範圍為60~3650,單位:天。當資料的儲存時間超過您所配置的Archive Storage資料儲存時間後,資料將自動刪除。

    重要

    Archive Storage層資料儲存時間參數值要小於資料儲存時間參數值。

API

  • 您可以在建立Logstore的過程中,通過API調用並傳遞ttl(資料儲存時間)、hot_ttl(熱儲存資料儲存時間)、infrequentAccessTTL(低頻儲存資料儲存時間)參數來配置儲存分層的保留原則。建立Logstore詳細請參見CreateLogStore - 建立LogStore

  • 同樣地,對於已經建立的Logstore,您也可以通過調用修改Logstore的API介面,並更新ttlhot_ttlinfrequentAccessTTL參數的值,來動態調整儲存分層的保留原則,以滿足您對資料保留和成本控制的需求。修改Logstore詳細資料請參見UpdateLogStore - 更新LogStore

相關文檔

  • 管理Logstore相關資訊請參見管理Logstore

  • 階層式存放區資料的儲存費用按照儲存空間計費,資料轉換不會產生費用。詳細資料請參見計費概述

  • 按寫入資料量計費模式下,存在30天免費儲存額度,當開啟智能階層式存放區後,儲存費用將根據具體儲存時間及當前儲存類型進行計算,更多資訊,請參見計費案例

  • 按使用功能計費與按寫入資料量計費模式具體資訊請參見隨用隨付

  • Log Service提供本地備援儲存體和同城冗餘儲存兩種儲存冗餘類型,詳細資料請參見儲存冗餘