Lindorm內含寬表引擎、時序引擎、搜尋引擎、計算引擎和流引擎,相容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS等多種開源標準介面,同時提供SQL查詢、時序處理、文本檢索分析等能力。
為應對動態變化的業務訪問量,各引擎支援獨立按需彈性擴充,寬表引擎和時序引擎均提供高並發吞吐能力。
選擇引擎類型
不同引擎類型適用不同的情境,可按需選擇一種或多種引擎,具體介紹,請參見下表。
引擎類型 | 相容介面 | 適用情境 | 介紹 |
寬表引擎 | 相容SQL、HBase API、Cassandra CQL、S3 API | 中繼資料、訂單、賬單、畫像、社交、feed流、日誌、軌跡管理分析等情境。 | 面向海量半結構化、結構化資料設計的分布式寬表引擎,具備全域二級索引、多維檢索、動態列、TTL等能力,支援千萬級高並發吞吐,支援百PB級儲存,吞吐效能是開源HBase的3-7倍,P99時延為開源HBase的1/10,支援冷熱分離,壓縮率比開源HBase提升一倍,綜合儲存成本為開源HBase的1/2。內建GanosBase時空服務,面向各類空間/時空資料,支援海量歷史軌跡查詢分析情境。 |
時序引擎 | 提供HTTP API介面,併兼容OpenTSDB API | IoT、監控等情境儲存、處理量測資料、裝置運行資料等時序資料。 | 面向海量時序資料設計的分布式時序引擎,支援SQL查詢。針對時序資料設計的壓縮演算法,提高壓縮率。支援海量多維的時間軸查詢和時間軸彙總,支援降採樣。支援彈性擴充。 |
搜尋引擎 | 相容SQL、Solr介面 | 海量日誌、文本、文檔等資料,適用於日誌、賬單、畫像等情境。 | 採用儲存和計算分離架構設計的分布式搜尋引擎,可無縫作為寬表、時序引擎的索引儲存,加速檢索查詢,具備全文檢索索引、彙總計算、複雜多維查詢等能力,支援水平擴充、一寫多讀、跨機房容災、TTL等,滿足海量資料下的高效檢索需求。 |
計算引擎 | 相容Spark介面 | 海量資料生產、互動式分析、計算學習和圖計算等情境。 | 計算引擎是雲端式原生架構提供的分散式運算服務,支援社區版計算模型以及編程介面,同時深度融合Lindorm儲存引擎特性,利用底層資料存放區特徵以及索引能力,高效地完成分布式作業任務。 |
流引擎 | 相容SQL、Kafka介面 | IoT資料處理、應用Tlog、物流時效分析、出行資料處理、軌跡即時分析等情境。 | 流引擎是面向流式資料處理的引擎,提供了流式資料的儲存和輕計算功能,協助您輕鬆實現將流式資料存放區至Lindorm,滿足基於流式資料的處理和應用需求。結合寬表引擎的GanosBase時空服務,可以實現基於流式資料的即時軌跡分析功能,如電子圍欄、地區統計等。 |
選擇節點規格和數量
Lindorm支援節點的水平擴充。當節點出現負載過高、延遲增大或不穩定等問題時,可以通過增加節點的數量來解決。但僅僅增加節點數量無法解決低規格節點的單機熱點問題,選擇更高的規格則可以避免熱點問題的出現,即節點的規格決定了單機抗熱點的能力。同時,節點的規格也會影響業務的穩定性,當面對熱點流量或即時請求量過大的情況時,節點規格低可能會導致負載過高或OOM。
因此,建議您根據業務事先做好評估,選擇合適的節點規格。如果您需要升級Lindorm執行個體的節點規格,可以通過Lindorm控制台升級規格,具體操作,請參見變更執行個體規格。如果您無法評估需要升級的規格或在升級過程中需要協助,請聯絡Lindorm支援人員(DingTalk號:s0s3eg3)升級。
寬表引擎
寬表引擎支援的節點規格範圍為4核8 GB至32核256 GB,節點數量可水平擴充。您可以根據實際業務需求評估業務請求量(行/秒)及分區數量,選擇合適的引擎規格。
商品類型為Lindorm時,寬表引擎可選擇的最小規格為4核16 GB。
寬表引擎部分效能最佳化功能在節點規格小於等於16 GB時可能無法生效;當節點數量小於等於2時,寬表引擎的部分寫入最佳化功能可能無法生效。因此,在實際進行選擇時,建議節點數量選擇3個及以上,節點規格選擇8核32 GB以上(推薦選擇16核64 GB規格)。
選擇建議如下:
單節點請求量小於1000,單節點承載的分區(Region)數目小於500,可以使用4核16 GB規格。
單節點請求量小於20000,單節點承載的分區數目小於1000,推薦使用8核32 GB以上規格。
單節點請求量大於20000,單節點承載的分區數目大於1000,推薦使用16核64 GB以上規格。
重要請求量和分區數量的多少並不是節點規格與數量選擇的唯一標準。
如果您的業務情況複雜,選擇上述建議規格可能會導致業務不穩定和延遲增大。因此當您的業務中,可能存在以下幾種情況時,請選擇大於上述建議規格的節點規格:
請求的一行資料量較大,達到幾KB,甚至數MB。
Scan請求中存在複雜的過濾器。
請求的快取命中率很低,每個請求都需要請求磁碟。
執行個體中的表非常多。
如果是線上型業務,請選擇大記憶體規格來增加快取命中率以提高效能。
如果需要運行MR或Spark等離線大負載任務,或TPS或QPS非常高,建議選擇大CPU規格。
CPU使用率超過70%時建議您選擇擴容。
時序引擎
時序引擎支援的節點規格範圍為4核8 GB至32核256 GB。建議您根據實際業務情況評估TPS(測量點數/秒),選擇合適的節點規格和數量。
商品類型為Lindorm時,時序引擎可選擇的最小規格為4核 16GB。