全部产品
Search
文档中心

智能开放搜索 OpenSearch:OpenSearch同步数据原理

更新时间:Feb 01, 2023

实时同步(增量数据)

2

由上图所示,增量数据一共有两部分(DB更新的和API推送的),新数据从源到opensearch一共有3个步骤:

1.用户更新DB(通过DTS服务订阅数据库的binlog实现)或者调用API接口将数据推送到OpenSearch离线,此时主+辅表有1500tps的限制

2. 当数据抵达离线后,会将增量数据更新到已有的大宽表中,此时由于主辅表为N:1的关系,辅表更新一条数据可能会触发主表的多条数据更新,当辅表更新触发主表更新tps触发量>=1000tps时,为保证主表的时效性,会将辅表的更新量限速【注:多表join引发的数据同步延迟可点击此处进行查看

3. 离线将带有元数据信息的数据写入到引擎(注:加入元数据后,数据可能会膨胀2-3倍),此时为保护引擎,写入量最大为10M/s

指标如下

阶段

相关限制

备注

源->离线主辅表一起的tps。不加trigger

1500

实时增量数据从离线写入引擎

10MB

加入元数据

辅表更新触发主表更新tps

1000