本文介紹通過建立Lindorm Streams實現資料訂閱功能,資料訂閱功能的Push模式是將Lindorm表格的增量資料推送至下遊訊息佇列Kafka,您可以根據自身業務需求自由消費增量資料,搭建或實現多種業務情境。
推送流程
資料訂閱功能將Lindorm表格的增量資料訊息主動推送至下遊Kafka,推送流程如下。
前提條件
已將用戶端IP添加至白名單中,具體操作請參見設定白名單。
確保源執行個體、目標執行個體和LTS服務網路互連,詳細資料請參見網路互連。
已添加Lindorm寬表資料來源,具體操作請參見Lindorm寬表資料來源。
已添加Kafka資料來源,具體操作請參見Kafka資料來源。
已開通資料訂閱功能,具體操作請參見開通資料訂閱。
建立Lindorm Streams
進入LTS(原BDS)頁面,在左側導覽列中,選擇資料訂閱 > Push模式。
單擊create,並配置以下參數。
參數
描述
Lindorm叢集
選擇已添加Lindorm寬表資料來源。
表名
需要填寫資料訂閱的表名,格式為:namespace.tablename,舉例如下。
ns1.table1表示訂閱空間名稱為ns1中的表table1資料。
ns2.*表示訂閱空間名稱為ns2中的所有表資料。
Stream Config
key_only
表示是否只輸出主鍵,預設false。MessageStorage Type
選擇KAFKA。
Storage Datasource
選擇已添加Kafka資料來源。
MessageStorage Config
kafka_topic
表示需要填寫Kafka topic的名稱。MessageVersion
消費格式,預設格式為DebeziumV2。
Message Config
old_image
表示訊息中是否包含當前行修改前的值,預設true。new_image
表示訊息中是否包含修改後整行的值,預設true。
單擊提交。