全部產品
Search
文件中心

Lindorm:LTS(原BDS)服務介紹

更新時間:Jul 06, 2024

LTS(Lindorm Tunnel Service)是面向Lindorm業務情境特點深度定製的資料生態服務。支援簡單易用的資料交換、處理、訂閱等能力,滿足使用者的資料移轉、即時訂閱、數湖轉存、數倉迴流、單元化多活、備份恢複等需求,實現面向Lindorm的一站式資料生態服務。

核心能力

  • 雲原生分布式:LTS是一個基於ECS部署的分布式系統,具備良好的水平擴充能力,使用者可以按需進行資源配置。

  • 簡單易用:LTS支援一鍵配置資料移轉、匯入、訂閱、歸檔等任務。比如資料移轉任務,使用者只需要選擇源端、目的端和需要同步的列,LTS會自動完成schema複製、全量資料複製和增量資料複製。

  • 安全可靠:LTS充分考慮對源端和目標端系統線上影響最小化,以及相容可能出現的故障。在任務啟動前會有網路聯通性、安全性等前置校正,運行過程中會即時監控同步延遲、目的地組群儲存水位等並有相關的限速和警示,任務結束後還會提供資料校正。

  • 低成本:LTS在HBase、Phoenix、Cassandra等開源系統上有深入的最佳化,提供物理檔案層級的資料處理,比傳統的資料複製效率提高10倍。同時在CPU、緩衝、記憶體、網路IO上的整體最佳化使LTS提供一個高性價比的資料通道,減少客戶資料流轉、處理的成本。

功能列表

功能

情境

相關文檔

HBase、Lindorm寬表之間資料移轉

新舊叢集無縫遷移、叢集升配、線上離線業務分離、主備容災、異地多活。

全增量資料同步

RDS -> Lindorm

重要

該功能自2023年3月10日下線,2023年3月10日後購買的LTS不再支援此功能,2023年3月10日前購買的LTS仍可正常使用此功能。

線上離線業務分離、歷史庫。

RDS全增量同步處理

說明

功能下線後您可以使用DMS完成資料同步。

MaxCompute/Hive -> Lindorm

離線資料查詢加速,將數倉中的明細、指標等資料批量迴流Lindorm提供線上查詢。

待補充,目前可聯絡值班諮詢

Lindorm 資料匯出 ODPS(MaxCompute)

重要

該功能自2023年6月16日下線,2023年6月16日後購買的LTS不再支援此功能,2023年6月16日前購買的LTS仍可正常使用此功能。

支援歷史資料和增量資料。

全量匯出MaxCompute增量歸檔MaxCompute

LogHub即時資料訂閱

重要

該功能自2023年6月16日下線,2023年6月16日後購買的LTS不再支援此功能,2023年6月16日前購買的LTS仍可正常使用此功能。

支援訂閱LogHub即時資料到Lindorm。

Log Service(SLS)增量匯入

Lindorm 資料訂閱

支援Lindorm即時增量資料訂閱。

Lindorm Stream

日誌生命週期管理說明

  • 開啟日誌訂閱後,如果不消費資料,預設日誌會保留48小時,逾時後訂閱關係自動取消,保留的資料自動刪除。

  • 什麼情境會導致“不消費資料”:沒有終止任務的前提下直接釋放LTS叢集,同步任務暫停。

  • 使用日誌訂閱的任務類型:HBase/Lindorm增量同步處理、資料歸檔、資料備份和資料訂閱。

典型情境

  • 叢集遷移

    • 使用範圍

      • HBase遷移Lindorm。

      • 叢集網路的切換,經典切換VPC。

      • 異地跨機房遷移。

      • 業務拆分。

    • 特點

      • 不停服資料移轉,同時搞定歷史資料移轉、即時增量資料的同步。

      • 遷移過程中不會和源叢集的HBase、Lindorm互動,唯讀取源叢集的HDFS,儘可能減少對源叢集線上業務的影響。

      • 檔案層的資料拷貝比通常API層的資料移轉通常能節省50%以上的流量。

      • 高效性,單個節點遷移速度可達到100 MB/s,節點數支援水平擴充,能夠滿足支援TB、PB層級的資料移轉。

      • 穩定性,有完善的錯誤重試機制,即時監控任務速度和進度,支援任務失敗警示。

      • 正確性,能夠進行資料校正。

      • 支援自動同步schema,保證分區一致。

  • 線上離線業務分離

    通過LTS,將線上業務資料即時同步到HDFS或者OSS等儲存,結合Spark、MR等巨量資料元件進行資料分析,從而不影響線上業務的查詢。

  • 主備容災

    通過LTS在主備叢集之間實現即時資料的雙向同步,當主叢集出現問題,可以切換到備叢集,儘可能減少對業務產生的影響,當主叢集服務恢複之後,通過LTS同步服務補齊主叢集遺漏的資料。

  • RDS歷史庫建設

    對於交易訂單等儲存情境,隨著資料量增大會對RDS造成效能壓力,周期性的歸檔資料或者分庫分表存在成本高、操作複雜等痛點。可以通過LTS將RDS資料即時同步到Lindorm寬表實現冷熱資料分離,Lindorm寬表提供自動水平擴充、高並發查詢、多維索引、輕量分析,Lindorm Streams提供變更資料有序訂閱,LTS還支援將Lindorm 寬表資料同步到其它分析系統進行複雜資料分析。