應用情境：低成本歷史庫

背景資訊

在移動互連網高度發達的今天，每天都會有大量的業務資料產生，隨著時間的積累和業務的發展資料量急劇增長，同時歷史資料的訪問頻率隨著時間的推移卻越來越低。這些資料全部儲存在關係型資料庫中會帶來了一系列的問題。

挑戰

• 儲存成本的升高，儲存成本和資料量成正比，資料量的急劇增長帶來了儲存成本的急劇增加。

• 查詢效能的下降，儲存單一版本空間超過TB以後查詢效能將會急劇下滑。

• 營運複雜度高，通過分庫分表的方式來解決資料量增加造成效能下降，給營運和業務開發增加了巨大的成本。

需求

• 儲存成本可控，歷史資料的儲存成本是線上資料的十分之一。

• 能夠彈性的伸縮， 計算和儲存能力自動水平擴充，不再依賴分庫分表解決營運難的痛點。

• 修改schema成本低， 支援快速修改schema或者動態schema，解決歷史庫schema變更時間長的問題。

• 改造成本低， 可以支援SQL進行訪問。

• 滿足即時查詢需求，例如消費賬單、聊天記錄等情境歷史資料的查詢RT要能夠和線上資料的查詢RT接近。

• 能夠滿足資料分析需求，歷史資料訪問頻度低，但是在某些業務情境下需要對全量資料進行挖掘分析，比如支付寶年賬單。

Lindorm能夠同時滿足儲存成本低廉、營運簡單、Auto Scaling、效能穩定等需求可以和關係型資料庫完美組合，是即時低成本歷史庫的最佳選擇。

方案架構

• LTS資料同步服務對接MySQL等關係行資料庫支援資料的全增量一體化同步，同時提供多表遷移、資料變化、DDL感知等企業級同步能力，協助使用者簡單高效完成資料的遷移;

• Lindorm提供海量資料的低成本儲存能力、Auto Scaling按需付費、多模多端處理能力滿足使用者多種情境下的資料存放區需求，同時可以無縫對接spark、hive、flink、presto等開源分析生態滿足使用者對資料的複雜分析需求，最大程度挖掘資料價值;

方案優勢

簡單易用

• 資料搬遷配置可視化，分鐘級完成遷移配置。

• 全增量一體化，最大程度降低使用者使用成本。

• 支援多表遷移、資料變換等能力協助使用者輕鬆完成多表合并、欄位組合變化等需求。

• 全面的監控警示，保證資料同步穩定性。

性價比

• 支援容量型儲存，在最佳化儲存成本的同時通過系統內建緩衝加速層，讓查詢即時性仍有較大的保障，是即時歷史庫的最佳儲存選擇。

• 在效能上，Lindorm寬表引擎在吞吐延遲上做了非常多的突破，其基準效能是開源HBase的7倍，具體請參考測試結果；Lindorm時序引擎融入了許多創新型的高效能結構設計，其基準效能在目前的信通院榜單中處於第一的位置。

• 支援智能冷熱分離，針對資料隨著時間軸逐漸熱變冷的情境，典型如監控、社交聊天、交易賬單等，Lindorm內部將自動識別資料的冷熱，並進行分離儲存到高效能介質和低成本介質（兩者之間的單價成本差可高達10:1），而使用者讀寫訪問保持完全透明，並且熱資料的訪問效能還能有所加速。

• 支援自調整壓縮，針對資料的不同類型和特點，系統將自動選擇混合的字典、首碼、Delta、熵編碼等壓縮演算法，相比業界通用演算法，整體壓縮率提升10%~30%。

雲原生彈性

• Lindorm基於儲存計算分離的架構，支援計算資源、儲存資源的獨立Auto Scaling，最大程度避免資源浪費;

• 同時提供Serverless服務，實現按需即時彈性、按使用量付費的能力。Lindorm Serverless基於多租戶隔離、智能調度、彈性IaaS底座構建，具備企業級SLA保障，滿足內部大部分業務的可用性要求，從而讓一線同學大幅降低容量管理的營運負擔，消除因流量波動導致的穩定性風險。

多模&檢索

• 相容HBase、Phoenix（SQL）、Cassandra（CQL）等主流開源標準介面，最大程度降低使用者改造成本;同時具備全域二級索引、多維檢索、動態列、TTL等能力， 滿足中繼資料、訂單、賬單、畫像、社交、feed流、日誌等多種情境需求。

• 支援一鍵開啟搜尋引擎（相容開源Solr標準介面）， 具備全文檢索索引、彙總計算、複雜多維查詢等能力，協助加速檢索查詢，滿足使用者即時複雜分析需求。

巨量資料生態

• 無縫對接Spark、Hive、Flink、Presto等開源巨量資料生態產品，支援API訪問和檔案讀取等多種對接方式，簡單高效滿足使用者海量資料分析需求。

典型應用

• 使用者交易記錄通過APP寫入MySQL，LTS將MySQL中即時同步到Lindorm，近三個月狀態不斷變化的記錄查詢MySQL，三個月以上歷史交易記錄查詢Lindorm，歷史交易記錄儲存在容量型儲存中，儲存成本下降90%以上。

• 對於使用者複雜條件即時檢索需求，例如按時間、地點、金額大小、交易備忘內容等任意組合查詢，可以結合Lindorm搜尋引擎的全文檢索索引、彙總計算、複雜多維查詢等能力，不需要業務改造就能輕鬆滿足使用者需求。

• 通過LTS支援將Lindorm賬單資料同步到Spark/MapCompuct等離線計算平台進行計算按照業務需求分析產生營運報表資料，然後迴流到Lindorm供使用者進行即時查詢。

使用說明

• RDS全增量同步處理

• 雲原生多模資料庫 Lindorm技術解析