全部產品
Search
文件中心

ApsaraDB for HBase:LTS(原BDS)服務介紹

更新時間:Jul 06, 2024

LTS(Lindorm Tunnel Service,原BDS)是面向雲HBase業務情境特點深度定製的資料生態服務。支援簡單易用的資料交換、處理、訂閱等能力,滿足使用者的資料移轉、即時訂閱、數湖轉存、數倉迴流、單元化多活、備份恢複等需求,實現面向雲HBase的一站式資料生態服務。

核心能力

  • 雲原生分布式:LTS是一個基於ECS部署的分布式系統,具備良好的水平擴充能力,使用者可以按需進行資源配置

  • 簡單易用:LTS支援一鍵配置資料移轉、匯入、訂閱、歸檔等任務。比如資料移轉任務,使用者只需要選擇源端、目的端和需要同步的列,LTS會自動完成Schema複製、全量資料複製和增量資料複製。

  • 安全可靠:LTS充分考慮對源端和目標端系統線上影響最小化,以及相容可能出現的故障。在任務啟動前會有網路聯通性、安全性等前置校正,運行過程中會即時監控同步延遲、目的地組群儲存水位等並有相關的限速和警示,任務結束後還會提供資料校正。

  • 低成本:LTS在HBase、Phoenix、Cassandra等開源系統上有深入的最佳化,提供物理檔案層級的資料處理,比傳統的資料複製效率提高10倍。同時在CPU、緩衝、記憶體、網路IO上的整體最佳化使LTS提供一個高性價比的資料通道,減少客戶資料流轉、處理的成本。

功能列表

功能

情境

使用連結

HBase <-> HBase

新舊叢集無縫遷移、叢集升配、線上離線業務分離、主備容災、異地多活

全增量資料同步

HBase 資料匯出 ODPS(MaxCompute)

支援歷史資料和增量資料

全量匯出MaxCompute

增量歸檔MaxCompute

SLS-> HBase

支援訂閱SLS即時資料到HBase

Log Service(SLS)增量匯入

HBase增量資料訂閱

支援雲HBase增強版即時訂閱

使用指南

日誌生命週期管理說明

  • 開啟日誌訂閱後,如果不消費資料,預設日誌會保留48小時,逾時後訂閱關係自動取消,保留的資料自動刪除

  • 什麼情境會導致“不消費資料”:沒有終止任務的前提下直接釋放LTS叢集;同步任務暫停;

  • 使用日誌訂閱的任務類型:HBase/Lindorm增量同步處理;資料歸檔;資料備份;資料訂閱

典型情境

  • 不停機遷移(HBase1.x、HBase2.x、HBase增強版、Phoenix4.x、Phoenix5.x)

    • 不停服資料移轉,同時搞定歷史資料移轉、即時增量資料的同步。

    • 遷移過程中不會和源叢集的HBase互動,唯讀取源叢集的HDFS,儘可能減少對源叢集線上業務的影響。

    • 檔案層的資料拷貝比通常API層的資料移轉通常能節省50%以上的流量。

    • 高效性,單個節點遷移速度可達到100MB/s,節點數支援水平擴充,能夠滿足支援TB、PB層級的資料移轉。

    • 穩定性,有完善的錯誤重試機制,即時監控任務速度和進度,支援任務失敗警示。

    • 正確性,能夠進行資料校正。

    • 支援自動同步Schema,保證分區一致。

  • 線上離線業務分離

    • 通過LTS,將線上業務資料即時同步到HDFS或者OSS等儲存,結合Spark、MR等巨量資料元件進行資料分析,從而不影響線上業務的查詢。

  • 主備容災

    • 通過LTS在主備叢集之間實現即時資料的雙向同步,當主叢集出現問題,可以切換到備叢集,儘可能減少對業務產生的影響,當主叢集服務恢複之後,通過LTS同步服務補齊主叢集遺漏的資料。

  • RDS歷史庫

    • 對於交易訂單等儲存情境,隨著資料量增大會對RDS造成效能壓力,周期性的歸檔資料或者分庫分表存在成本高、操作複雜等痛點。可以通過LTS將RDS資料即時同步到雲HBase實現冷熱資料分離,雲HBase提供自動水平擴充、高並發查詢、多維索引、輕量分析,Streams提供變更資料有序訂閱,LTS還支援將雲HBase資料同步到其它分析系統進行複雜資料分析。