LTS(Lindorm Tunnel Service,原BDS)是面向云HBase业务场景特点深度定制的数据生态服务。支持简单易用的数据交换、处理、订阅等能力,满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求,实现面向云HBase的一站式数据生态服务。
核心能力
云原生分布式:LTS是一个基于ECS部署的分布式系统,具备良好的水平扩展能力,用户可以按需进行资源配置
简单易用:LTS支持一键配置数据迁移、导入、订阅、归档等任务。比如数据迁移任务,用户只需要选择源端、目的端和需要同步的列,LTS会自动完成Schema复制、全量数据复制和增量数据复制。
安全可靠:LTS充分考虑对源端和目标端系统在线影响最小化,以及兼容可能出现的故障。在任务启动前会有网络联通性、安全性等前置校验,运行过程中会实时监控同步延迟、目标集群存储水位等并有相关的限速和报警,任务结束后还会提供数据校验。
低成本:LTS在HBase、Phoenix、Cassandra等开源系统上有深入的优化,提供物理文件级别的数据处理,比传统的数据复制效率提高10倍。同时在CPU、缓存、内存、网络IO上的整体优化使LTS提供一个高性价比的数据通道,减少客户数据流转、处理的成本。
功能列表
功能 | 场景 | 使用链接 |
HBase <-> HBase | 新旧集群无缝迁移、集群升配、在线离线业务分离、主备容灾、异地多活 | |
HBase 数据导出 ODPS(MaxCompute) | 支持历史数据和增量数据 | |
SLS-> HBase | 支持订阅SLS实时数据到HBase | |
HBase增量数据订阅 | 支持云HBase增强版实时订阅 |
日志生命周期管理说明
开启日志订阅后,如果不消费数据,默认日志会保留48小时,超时后订阅关系自动取消,保留的数据自动删除
什么场景会导致“不消费数据”:没有终止任务的前提下直接释放LTS集群;同步任务暂停;
使用日志订阅的任务类型:HBase/Lindorm增量同步;数据归档;数据备份;数据订阅
典型场景
不停机迁移(HBase1.x、HBase2.x、HBase增强版、Phoenix4.x、Phoenix5.x)
不停服数据迁移,同时搞定历史数据迁移、实时增量数据的同步。
迁移过程中不会和源集群的HBase交互,只读取源集群的HDFS,尽可能减少对源集群在线业务的影响。
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量。
高效性,单个节点迁移速度可达到100MB/s,节点数支持水平扩展,能够满足支持TB、PB级别的数据迁移。
稳定性,有完善的错误重试机制,实时监控任务速度和进度,支持任务失败报警。
正确性,能够进行数据校验。
支持自动同步Schema,保证分区一致。
在线离线业务分离
通过LTS,将在线业务数据实时同步到HDFS或者OSS等存储,结合Spark、MR等大数据组件进行数据分析,从而不影响在线业务的查询。
主备容灾
通过LTS在主备集群之间实现实时数据的双向同步,当主集群出现问题,可以切换到备集群,尽可能减少对业务产生的影响,当主集群服务恢复之后,通过LTS同步服务补齐主集群遗漏的数据。
RDS历史库
对于交易订单等存储场景,随着数据量增大会对RDS造成性能压力,周期性的归档数据或者分库分表存在成本高、操作复杂等痛点。可以通过LTS将RDS数据实时同步到云HBase实现冷热数据分离,云HBase提供自动水平扩展、高并发查询、多维索引、轻量分析,Streams提供变更数据有序订阅,LTS还支持将云HBase数据同步到其它分析系统进行复杂数据分析。