全部產品
Search
文件中心

Data Transmission Service:資料訂閱

更新時間:Jul 06, 2024

您可以使用Data Transmission Service(DTS)捕獲來源資料庫的資料更新,並以“發布/訂閱流”的形式訂閱這些資料更新。 來源資料庫可以是自建MySQL資料庫,也可以是雲資料庫RDS MySQL版。 通過資料訂閱功能,您可以使用解耦的資料系統構建分布式應用程式,您可以在這些資料系統之間實現非同步資料轉送。

說明 資料訂閱功能已完成升級。 新版的資料訂閱功能支援在同一執行個體中由多個消費組消費,比舊版資料訂閱功能更優惠。

功能特性

  • 多個消費者可以訂閱來自同一資料來源的資料更新。 詳情請參見管理消費組
  • 您可以通過選擇特定資料表來擷取其資料更新。
  • 您可以訂閱自建MySQL資料庫中的資料更新。
  • 您可以將資料流傳輸到傳統網路或專用網路中的消費者應用。 專用網路訪問模式提供了更低的延遲和更高的安全性。
    說明 您可以在建立資料訂閱任務時選擇網路類型。 詳情請參見建立RDS MySQL資料訂閱通道
  • 您可以使用標準的Kafka用戶端消費資料訂閱任務擷取到的資料。
    說明 僅支援Kafka 0.10.0.x至1.1.x版本。 詳情請參見使用Kafka用戶端消費訂閱資料
  • 在資料訂閱過程中,您可以重新選擇訂閱對象。 詳情請參見修改訂閱對象
  • 您可以修改消費時間點。
    說明 您需要使用資料訂閱用戶端修改消費時間點。
  • 您可以監控資料訂閱任務的狀態。 您可以設定消費延遲的閾值,具體取決於應用程式對延遲的敏感度。 當達到閾值時,您會收到警示資訊。

消費組

您可以建立多個消費組,讓多個消費應用從同一個資料庫執行個體訂閱資料。 因此,不同消費組中的應用可以多次消費相同的資料更新。

說明 目前,每個消費組只能包含一個消費者。

支援的用戶端

您可以使用Kafka用戶端消費資料更新,該用戶端可以使用您偏好的程式設計語言進行編碼。 詳情請參見Apache Kafka官網上提供的Kafka用戶端文檔。 DTS提供了使用Java編碼的Kafka用戶端進行資料消費的樣本。 詳情請參見使用Kafka用戶端消費訂閱資料

說明 如果您使用Kafka官方用戶端消費資料,您需要按照<消費組帳號>-<消費組ID>的格式設定使用者名稱,例如dtstest-dtsae******bpv, 否則無法正常串連。

支援的資料更新類型和訂閱對象

資料訂閱支援以下類型的資料更新:

  • 結構變更

    結構變更也稱為資料定義語言 (Data Definition Language)(DDL)變更。 您可以訂閱在資料庫執行個體中建立、刪除或修改結構對象的操作。 在應用程式代碼中,您需要對資料更新進行篩選,以識別結構變更。

  • 資料變更

    資料變更也稱為資料操作語言(DML)變更。 您可以訂閱特定對象的資料更新,包括INSERT、DELETE和UPDATE操作。

DTS支援的訂閱對象包括以下類型:

  • 資料庫
  • 資料表

資料訂閱任務

資料訂閱任務即時從來源資料庫中拉取資料更新,並儲存最近24小時內的資料更新。 您可以使用Kafka用戶端消費資料訂閱任務擷取到的資料更新。 您可以在DTS控制台建立、管理和刪除資料訂閱任務。

資料訂閱任務生命週期

資料訂閱任務的狀態如下表所示。

任務狀態說明可執行檔操作
預檢中已配置資料訂閱任務,並且進行中預檢查。
  • 刪除資料訂閱執行個體
未啟動資料訂閱任務已通過預檢查,但尚未啟動。
  • 刪除資料訂閱執行個體
  • 重新選擇訂閱對象
初始化進行中初始化。 該過程大約需要1分鐘。
  • 刪除資料訂閱執行個體
  • 重新選擇訂閱對象
正常正在從資料來源中拉取資料更新。
  • 查看範例程式碼
  • 配置監控和警示
  • 刪除資料訂閱執行個體
  • 重設資料訂閱執行個體
  • 重新選擇訂閱對象
異常資料訂閱任務從資料來源拉取資料更新時出現異常。
  • 查看範例程式碼
  • 配置監控和警示
  • 刪除資料訂閱執行個體
  • 重設資料訂閱執行個體
  • 重新選擇訂閱對象
說明
  • 如果資料訂閱任務處於異常狀態,系統將在7天之內重新嘗試執行該任務。 如果需要停止訂閱,您需要釋放資料訂閱執行個體。
  • 資料訂閱執行個體釋放後,系統會永久清除所有執行個體和任務配置。 請謹慎操作。