通道服務(Tunnel Service)是基於Table Store資料介面上的全增量一體化服務。通道服務提供了增量、全量、增量加全量三種類型的分布式資料即時消費通道。通過為資料表建立資料通道,您可以簡單地實現對錶中歷史存量和新增資料的消費處理。
背景資訊
Table Store適合中繼資料管理、時序資料監控、訊息系統等服務應用,這些應用通常利用增量資料流或者先全量後增量的資料流來觸發一些附加的操作邏輯,支援的附加操作如下:
資料同步:將資料同步到緩衝、搜尋引擎或者資料倉儲中。
事件驅動:觸發Function Compute、通知消費端消費或者調用一些 API。
流式資料處理:對接流式或者流批一體計算引擎。
資料搬遷:資料備份到 OSS、遷移到容量型的Table Store執行個體等。
功能特性
通道服務提供了全增量一體的資料通道、增量資料變化保序、消費延遲監控和資料消費能力水平擴充功能。詳細說明請參見下表。
通道服務支援表寫入在 10 萬每秒的量級下,從資料被更新到擷取資料更新記錄,延遲在毫秒級,並能按照更新順序返回。
功能特性 | 描述 |
全增量一體的資料通道 | 通道服務不僅提供增量資料消費能力,還提供了可並行的全量資料消費以及全量加增量資料消費功能。 |
增量資料變化保序 | 通道服務為資料劃分一個到多個可並行消費的邏輯分區,每個邏輯分區的增量資料按寫入時間順序保序,不同邏輯分區的資料可以並行消費。 |
消費延遲監控 | 通道服務通過 DescribeTunnel API 提供了用戶端消費資料延遲(即當前消費到的資料的時間點)資訊,並在控制台提供了通道資料消費監控。 |
資料消費能力水平擴充 | 通道服務提供了邏輯分區的自動負載平衡功能,負載平衡增加了消費端數量,從而提高水平擴充資料消費速度。 |
注意事項
Tunnel 的增量日誌保留時間,其數值與資料表中 Stream 的日誌到期時間長度(最長時間長度為 7 天)保持一致,因此 Tunnel 的增量日誌最多保留 7 天。
增量或者全量加增量類型 Tunnel 消費資料時,可能會出現以下情況:
當 Tunnel 處於全量階段時,如果全量資料在增量日誌保留時間內(最多保留 7 天)未能完成消費,將會觸發
OTSTunnelExpired
錯誤,從而導致無法繼續消費後續資料。如果您預計全量資料無法在指定時間內完成消費,請及時聯絡Table Store支援人員進行諮詢。
當 Tunnel 處於增量階段時,如果增量資料在增量日誌保留時間內(最多保留 7 天)未能完成消費,Tunnel 將可能從最近可消費的資料處開始消費,因此存在漏消費資料的風險。
Tunnel 到期後,Table Store可能會禁用該 Tunnel,被禁用後的 Tunnel 無法消費資料。如果禁用狀態持續超過 30 天,則該 Tunnel 將被徹底刪除,刪除後將無法恢複。
使用方式
您可以通過控制台、命令列工具或者 SDK 使用通道服務。
計費
當前通道服務本身沒有額外的費用開銷。在消費通道服務資料時,根據實際拉取的資料產生讀輸送量。更多資訊,請參見計費概述。