Lindorm支援即時資料訂閱功能,即時資料訂閱功能協助您擷取Lindorm的即時增量資料,您可以根據自身業務需求自由消費增量資料,搭建或實現多種業務情境。
背景資訊
Lindorm資料訂閱功能支援任何一個表的每一條資料變更,您可以在用戶端查看資料變更記錄。當您開通某一張表的資料訂閱功能後,其變更資料的操作就會被儲存。每次對Lindorm表格的資料執行增刪改操作時,資料訂閱都會產生一個Stream Record索引值對,索引值對的鍵是這一行資料的主鍵,值是此次操作的詳細資料(操作前的值,操作後的值,時間戳記,操作類型)。
開通模式
開通Lindorm資料訂閱功能有兩種模式,Pull模式和Push模式。
Pull模式:您可以使用開源的Kafka用戶端直接訂閱資料,服務端會暫時儲存資料,您需要對儲存的資料設定一個到期時間,如果超過這個時間資料會被刪除。具體操作請參見通過Pull模式建立資料訂閱通道。
Push模式:Lindorm資料訂閱功能直接將資料推送到Kafka用戶端,服務端不會儲存資料。具體操作請參見通過Push模式建立資料訂閱。
使用限制
Lindorm資料訂閱功能僅支援資料處理語義為至少一次(At-least-once)語義,即同一條資料可能因為內部重試而被重複消費。
Lindorm資料訂閱功能中的增量訊息以亂序形式存在,即消費訊息的順序不等同於寫入Lindorm寬表的順序。
HBase表的資料訂閱功能要求LTS版本為3.7.0及以上。
非SSD執行個體不建議開啟資料訂閱功能,由於資料訂閱功能中匯出整行資料的最新值或更新前的值時為了擷取更新前的值會對Lindorm執行個體增加讀操作,每一次寫入操作都會增加一次讀操作。如果您不需要OldImage/NewImage功能,僅需要變更Delta資料,請提交工單聯絡我們。
通過Pull模式建立資料訂閱通道的訂閱資料預設儲存7天,與Lindorm共用底層的LDFS儲存空間,因此您在開啟資料訂閱功能前需要先確認有充足的儲存空間。