LTS(Lindorm Tunnel Service)是面向Lindorm業務情境特點深度定製的資料生態服務。支援簡單易用的資料交換、處理、訂閱等能力,滿足使用者的資料移轉、即時訂閱、數湖轉存、數倉迴流、單元化多活、備份恢複等需求,實現面向Lindorm的一站式資料生態服務。
核心能力
雲原生分布式:LTS是一個基於ECS部署的分布式系統,具備良好的水平擴充能力,使用者可以按需進行資源配置。
簡單易用:LTS支援一鍵配置資料移轉、匯入、訂閱、歸檔等任務。比如資料移轉任務,使用者只需要選擇源端、目的端和需要同步的列,LTS會自動完成schema複製、全量資料複製和增量資料複製。
安全可靠:LTS充分考慮對源端和目標端系統線上影響最小化,以及相容可能出現的故障。在任務啟動前會有網路聯通性、安全性等前置校正,運行過程中會即時監控同步延遲、目的地組群儲存水位等並有相關的限速和警示,任務結束後還會提供資料校正。
低成本:LTS在HBase、Phoenix、Cassandra等開源系統上有深入的最佳化,提供物理檔案層級的資料處理,比傳統的資料複製效率提高10倍。同時在CPU、緩衝、記憶體、網路IO上的整體最佳化使LTS提供一個高性價比的資料通道,減少客戶資料流轉、處理的成本。
功能列表
功能 | 情境 | 相關文檔 |
HBase、Lindorm寬表之間資料移轉 | 新舊叢集無縫遷移、叢集升配、線上離線業務分離、主備容災、異地多活。 | |
RDS -> Lindorm 重要 該功能自2023年3月10日下線,2023年3月10日後購買的LTS不再支援此功能,2023年3月10日前購買的LTS仍可正常使用此功能。 | 線上離線業務分離、歷史庫。 | 說明 功能下線後您可以使用DMS完成資料同步。 |
MaxCompute/Hive -> Lindorm | 離線資料查詢加速,將數倉中的明細、指標等資料批量迴流Lindorm提供線上查詢。 | 待補充,目前可聯絡值班諮詢 |
Lindorm 資料匯出 ODPS(MaxCompute) 重要 該功能自2023年6月16日下線,2023年6月16日後購買的LTS不再支援此功能,2023年6月16日前購買的LTS仍可正常使用此功能。 | 支援歷史資料和增量資料。 | |
LogHub即時資料訂閱 重要 該功能自2023年6月16日下線,2023年6月16日後購買的LTS不再支援此功能,2023年6月16日前購買的LTS仍可正常使用此功能。 | 支援訂閱LogHub即時資料到Lindorm。 | |
Lindorm 資料訂閱 | 支援Lindorm即時增量資料訂閱。 |
日誌生命週期管理說明
開啟日誌訂閱後,如果不消費資料,預設日誌會保留48小時,逾時後訂閱關係自動取消,保留的資料自動刪除。
什麼情境會導致“不消費資料”:沒有終止任務的前提下直接釋放LTS叢集,同步任務暫停。
使用日誌訂閱的任務類型:HBase/Lindorm增量同步處理、資料歸檔、資料備份和資料訂閱。
典型情境
叢集遷移
使用範圍
HBase遷移Lindorm。
叢集網路的切換,經典切換VPC。
異地跨機房遷移。
業務拆分。
特點
不停服資料移轉,同時搞定歷史資料移轉、即時增量資料的同步。
遷移過程中不會和源叢集的HBase、Lindorm互動,唯讀取源叢集的HDFS,儘可能減少對源叢集線上業務的影響。
檔案層的資料拷貝比通常API層的資料移轉通常能節省50%以上的流量。
高效性,單個節點遷移速度可達到100 MB/s,節點數支援水平擴充,能夠滿足支援TB、PB層級的資料移轉。
穩定性,有完善的錯誤重試機制,即時監控任務速度和進度,支援任務失敗警示。
正確性,能夠進行資料校正。
支援自動同步schema,保證分區一致。
線上離線業務分離
通過LTS,將線上業務資料即時同步到HDFS或者OSS等儲存,結合Spark、MR等巨量資料元件進行資料分析,從而不影響線上業務的查詢。
主備容災
通過LTS在主備叢集之間實現即時資料的雙向同步,當主叢集出現問題,可以切換到備叢集,儘可能減少對業務產生的影響,當主叢集服務恢複之後,通過LTS同步服務補齊主叢集遺漏的資料。
RDS歷史庫建設
對於交易訂單等儲存情境,隨著資料量增大會對RDS造成效能壓力,周期性的歸檔資料或者分庫分表存在成本高、操作複雜等痛點。可以通過LTS將RDS資料即時同步到Lindorm寬表實現冷熱資料分離,Lindorm寬表提供自動水平擴充、高並發查詢、多維索引、輕量分析,Lindorm Streams提供變更資料有序訂閱,LTS還支援將Lindorm 寬表資料同步到其它分析系統進行複雜資料分析。