即時同步(增量資料)
由上圖所示,增量資料一共有兩部分(DB更新的和API推送的),新資料從源到opensearch一共有3個步驟:
1.使用者更新DB(通過DTS服務訂閱資料庫的binlog實現)或者調用API介面將資料推送到OpenSearch離線,此時主+輔表有1500tps的限制
2. 當資料抵達離線後,會將增量資料更新到已有的大寬表中,此時由於主輔表為N:1的關係,輔表更新一條資料可能會觸發主表的多條資料更新,當輔表更新觸發主表更新tps觸發量>=1000tps時,為保證主表的時效性,會將輔表的更新量限速【註:多表join引發的資料同步延遲可點擊此處進行查看】
3. 離線將帶有中繼資料資訊的資料寫入到引擎(註:加入中繼資料後,資料可能會膨脹2-3倍),此時為保護引擎,寫入量最大為10M/s
指標如下:
階段 | 相關限制 | 備忘 |
源->離線主輔表一起的tps。不加trigger | 1500 | |
即時增量資料從離線寫入引擎 | 10MB | 加入中繼資料 |
輔表更新觸發主表更新tps | 1000 |