全部產品
Search
文件中心

OpenSearch:OpenSearch同步資料原理

更新時間:Jul 13, 2024

即時同步(增量資料)

2

由上圖所示,增量資料一共有兩部分(DB更新的和API推送的),新資料從源到opensearch一共有3個步驟:

1.使用者更新DB(通過DTS服務訂閱資料庫的binlog實現)或者調用API介面將資料推送到OpenSearch離線,此時主+輔表有1500tps的限制

2. 當資料抵達離線後,會將增量資料更新到已有的大寬表中,此時由於主輔表為N:1的關係,輔表更新一條資料可能會觸發主表的多條資料更新,當輔表更新觸發主表更新tps觸發量>=1000tps時,為保證主表的時效性,會將輔表的更新量限速【註:多表join引發的資料同步延遲可點擊此處進行查看

3. 離線將帶有中繼資料資訊的資料寫入到引擎(註:加入中繼資料後,資料可能會膨脹2-3倍),此時為保護引擎,寫入量最大為10M/s

指標如下

階段

相關限制

備忘

源->離線主輔表一起的tps。不加trigger

1500

即時增量資料從離線寫入引擎

10MB

加入中繼資料

輔表更新觸發主表更新tps

1000