全部產品
Search
文件中心

Lindorm:冷熱分離介紹

更新時間:Jul 06, 2024

Lindorm支援冷熱分離功能,將容量型雲端儲存作為冷資料存放區介質。您可以根據訪問頻率將資料進行分類,儲存在不同的介質上,減少訪問冷資料帶來的效能消耗,同時有效降低儲存成本。

背景資訊

在海量巨量資料情境下,一張表中往往儲存著大量的歷史資料,如訂單資料或者監控資料。隨著時間的推移,這些資料被訪問的頻率會逐漸降低,最終被擱置。減少這部分資料的儲存成本,成為一個新的問題。為解決這一問題同時降低儲存成本,Lindorm冷熱分離功能應運而生。冷熱分離功能支援將冷熱資料存放區在不同的介質上,冷儲存的儲存類型為容量型儲存,熱儲存的儲存類型為標準型儲存、效能性儲存、本地SSD盤或本地HDD盤。冷儲存的價格僅為標準型儲存的20%,大大降低了儲存成本。

原理簡介

在功能實現上,Lindorm支援對同一張表的資料進行冷熱分離儲存。Lindorm會根據時間戳記、自訂時間列和冷熱分界線,自動將資料存放區在熱儲存或冷儲存中。新寫入資料最初會儲存在熱儲存上,隨著時間的推移分批向冷儲存遷移。

在訪問方式上,冷熱分離表和普通表幾乎沒有任何差異,操作簡單且易上手。在查詢的過程中,只需要配置Hint或時間範圍等相關參數,即可限制是否只查詢熱資料。

Lindorm目前支援的冷熱分離方式有以下兩種:

  • 按自訂時間列冷熱分離:通過設定自訂時間列和冷熱分離時間點,將資料分別儲存在冷儲存或熱儲存中。如果自訂時間列中未寫入資料,則資料會被全部歸檔至熱儲存中。具體內容,請參見按自訂時間列冷熱分離

  • 按時間戳記冷熱分離:以時間戳記為條件,冷熱分離時間點為依據對資料進行歸檔。未設定自訂時間戳記時,預設時間戳記的值為資料寫入時間。具體內容,請參見按時間戳記冷熱分離

使用限制

  • 按自訂時間列冷熱分離:僅支援Lindorm SQL,不支援HBase相容使用方式。推薦Lindorm SQL使用者使用該方式。

  • 按時間戳記冷熱分離:支援Lindorm SQL和HBase相容使用方式。適用於無法設定自訂時間列的情境。推薦使用HBase介面的使用者使用該方式。

注意事項

  • 容量型雲端儲存讀IOPS的能力很低,因此只適用於低頻查詢的情境。

  • 容量型雲端儲存和標準型儲存在寫入輸送量上的差別不大,您可以放心寫入資料。

  • 容量型雲端儲存不適合并發大量讀請求的情境,並發大量的讀請求可能會導致請求異常。

  • 如果您購買的容量型雲端儲存的儲存空間較大,可根據實際業務情況調整讀IOPS能力。如何調整,請聯絡支援人員

  • 每個節點管理冷資料的資料量不能超過30T。如果需要增加管理上限,請聯絡支援人員

  • 容量型雲端儲存的使用佔比超過95%後,將無法繼續寫入資料,請您在使用過程中及時關注容量型儲存的使用方式。如何查看容量型儲存的使用方式,請參見查看冷儲存容量

關於容量型雲端儲存的讀取效能,更多說明請參見容量型雲端儲存讀取效能說明