全部產品
Search
文件中心

Lindorm:引擎類型

更新時間:Oct 19, 2024

Lindorm內含寬表引擎、時序引擎、搜尋引擎、計算引擎和流引擎,相容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS等多種開源標準介面,同時提供SQL查詢、時序處理、文本檢索分析等能力。

為應對動態變化的業務訪問量,各引擎支援獨立按需彈性擴充,寬表引擎和時序引擎均提供高並發吞吐能力。

選擇引擎類型

不同引擎類型適用不同的情境,可按需選擇一種或多種引擎,具體介紹,請參見下表。

引擎類型

相容介面

適用情境

介紹

寬表引擎

相容SQL、HBase API、Cassandra CQL、S3 API

中繼資料、訂單、賬單、畫像、社交、feed流、日誌、軌跡管理分析等情境。

面向海量半結構化、結構化資料設計的分布式寬表引擎,具備全域二級索引、多維檢索、動態列、TTL等能力,支援千萬級高並發吞吐,支援百PB級儲存,吞吐效能是開源HBase的3-7倍,P99時延為開源HBase的1/10,支援冷熱分離,壓縮率比開源HBase提升一倍,綜合儲存成本為開源HBase的1/2。內建GanosBase時空服務,面向各類空間/時空資料,支援海量歷史軌跡查詢分析情境。

時序引擎

提供HTTP API介面,併兼容OpenTSDB API

IoT、監控等情境儲存、處理量測資料、裝置運行資料等時序資料。

面向海量時序資料設計的分布式時序引擎,支援SQL查詢。針對時序資料設計的壓縮演算法,提高壓縮率。支援海量多維的時間軸查詢和時間軸彙總,支援降採樣。支援彈性擴充。

搜尋引擎

相容SQL、Solr介面

海量日誌、文本、文檔等資料,適用於日誌、賬單、畫像等情境。

採用儲存和計算分離架構設計的分布式搜尋引擎,可無縫作為寬表、時序引擎的索引儲存,加速檢索查詢,具備全文檢索索引、彙總計算、複雜多維查詢等能力,支援水平擴充、一寫多讀、跨機房容災、TTL等,滿足海量資料下的高效檢索需求。

計算引擎

相容Spark介面

海量資料生產、互動式分析、計算學習和圖計算等情境。

計算引擎是雲端式原生架構提供的分散式運算服務,支援社區版計算模型以及編程介面,同時深度融合Lindorm儲存引擎特性,利用底層資料存放區特徵以及索引能力,高效地完成分布式作業任務。

流引擎

相容SQL、Kafka介面

IoT資料處理、應用Tlog、物流時效分析、出行資料處理、軌跡即時分析等情境。

流引擎是面向流式資料處理的引擎,提供了流式資料的儲存和輕計算功能,協助您輕鬆實現將流式資料存放區至Lindorm,滿足基於流式資料的處理和應用需求。結合寬表引擎的GanosBase時空服務,可以實現基於流式資料的即時軌跡分析功能,如電子圍欄、地區統計等。

選擇節點規格和數量

Lindorm支援節點的水平擴充。當節點出現負載過高、延遲增大或不穩定等問題時,可以通過增加節點的數量來解決。但僅僅增加節點數量無法解決低規格節點的單機熱點問題,選擇更高的規格則可以避免熱點問題的出現,即節點的規格決定了單機抗熱點的能力。同時,節點的規格也會影響業務的穩定性,當面對熱點流量或即時請求量過大的情況時,節點規格低可能會導致負載過高或OOM。

因此,建議您根據業務事先做好評估,選擇合適的節點規格。如果您需要升級Lindorm執行個體的節點規格,可以通過Lindorm控制台升級規格,具體操作,請參見變更執行個體規格。如果您無法評估需要升級的規格或在升級過程中需要協助,請聯絡Lindorm支援人員(DingTalk號:s0s3eg3)升級。

寬表引擎

寬表引擎支援的節點規格範圍為4核8 GB至32核256 GB,節點數量可水平擴充。您可以根據實際業務需求評估業務請求量(行/秒)及分區數量,選擇合適的引擎規格。

說明
  • 商品類型為Lindorm時,寬表引擎可選擇的最小規格為4核16 GB。

  • 寬表引擎部分效能最佳化功能在節點規格小於等於16 GB時可能無法生效;當節點數量小於等於2時,寬表引擎的部分寫入最佳化功能可能無法生效。因此,在實際進行選擇時,建議節點數量選擇3個及以上,節點規格選擇8核32 GB以上(推薦選擇16核64 GB規格)。

選擇建議如下:

  • 單節點請求量小於1000,單節點承載的分區(Region)數目小於500,可以使用4核16 GB規格。

  • 單節點請求量小於20000,單節點承載的分區數目小於1000,推薦使用8核32 GB以上規格。

  • 單節點請求量大於20000,單節點承載的分區數目大於1000,推薦使用16核64 GB以上規格。

    重要

    請求量和分區數量的多少並不是節點規格與數量選擇的唯一標準。

    • 如果您的業務情況複雜,選擇上述建議規格可能會導致業務不穩定和延遲增大。因此當您的業務中,可能存在以下幾種情況時,請選擇大於上述建議規格的節點規格:

      • 請求的一行資料量較大,達到幾KB,甚至數MB。

      • Scan請求中存在複雜的過濾器。

      • 請求的快取命中率很低,每個請求都需要請求磁碟。

      • 執行個體中的表非常多。

    • 如果是線上型業務,請選擇大記憶體規格來增加快取命中率以提高效能。

    • 如果需要運行MR或Spark等離線大負載任務,或TPS或QPS非常高,建議選擇大CPU規格。

    • CPU使用率超過70%時建議您選擇擴容。

時序引擎

時序引擎支援的節點規格範圍為4核8 GB至32核256 GB。建議您根據實際業務情況評估TPS(測量點數/秒),選擇合適的節點規格和數量。

說明

商品類型為Lindorm時,時序引擎可選擇的最小規格為4核 16GB。

選擇建議如下:

  • TPS小於190萬,可以選擇3節點,4核16 GB規格。

  • TPS小於390萬,可以選擇3節點,8核32 GB規格。

  • TPS小於780萬,可以選擇3節點,16核64 GB規格。

  • TPS小於1100萬,可以選擇3節點,32核128 GB規格。

說明

以上建議是以發揮資料最佳效能為前提。實際承載情況可能會受業務模型的類型、寫入Batch的大小和並發數的大小影響。詳細介紹,請參見寫入測試結果查詢測試結果