全部產品
Search
文件中心

Data Transmission Service:建立RDS MySQL資料訂閱通道

更新時間:Jul 06, 2024

通過資料訂閱功能,您可以即時訂閱源庫的增量資料,輕鬆協助業務實現輕量級緩衝更新、業務非同步解耦、含ETL邏輯的資料即時同步等情境。本文將介紹如何建立RDS MySQL資料訂閱通道。

注意事項

  • 由於使用gh-ost或pt-online-schema-change等類似工具執行線上DDL變更不會被訂閱到,用戶端在將消費到的資料寫入目標表時可能會因為表結構不一致而導致寫入失敗。
  • 如果訂閱的來源資料庫還處於其他任務中(例如該資料庫還存在於某個正在啟動並執行資料移轉任務中),您可能會訂閱到訂閱對象以外的資料,此類情境中,您需要手動在訂閱用戶端中過濾掉不需要的資料。

操作步驟

  1. 購買資料訂閱通道,詳情請參見購買資料訂閱任務
  2. 登入資料轉送控制台
  3. 在左側導覽列,單擊資料訂閱
  4. 資料訂閱列表頁面上方,選擇訂閱通道所屬地區。
  5. 定位至已購買的資料訂閱通道,單擊配置訂閱通道
  6. 配置資料訂閱的源庫資訊和網路類型。資料訂閱源執行個體
    類別配置說明
    訂閱名稱DTS會自動產生一個訂閱名稱,建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
    源庫資訊執行個體類型根據源執行個體的類型進行選擇,本案例選擇RDS執行個體
    說明 當源庫為自建資料庫時,您還需要執行相應的準備工作,詳情請參見準備工作概覽
    資料庫類型固定MySQL,不可變更。
    執行個體地區購買資料訂閱通道時選擇的地區,不可變更。
    RDS執行個體ID選擇待訂閱的RDS執行個體ID。
    說明 暫不支援以唯讀執行個體、臨時執行個體作為資料訂閱的源執行個體。
    資料庫帳號填入待訂閱的RDS資料庫帳號。
    說明
    • 帳號需要具備REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW和待訂閱對象的SELECT許可權。
    • 當源RDS執行個體的資料庫類型為MySQL 5.5MySQL 5.6時,無需配置資料庫帳號資料庫密碼
    資料庫密碼填入待訂閱的RDS資料庫帳號對應的密碼。
    網路類型
    • 傳統網路
    • 專用網路

    設定資料訂閱執行個體所屬的網路類型。

    說明
    • 如您的資料訂閱用戶端部署在本地,則可以任意選擇傳統網路專用網路
    • 如您的資料訂閱用戶端部署在ECS執行個體上,則建議選擇同ECS一致的網路類型。例如ECS是專用網路,那麼此處的網路類型選擇為專用網路,並指定ECS所屬的專用網路虛擬交換器
    • 通過內網地址進行資料訂閱時,網路延遲最小。
    • 傳統網路

      如果設定為傳統網路,那麼無需其他配置。關於傳統網路介紹請參見傳統網路

    • 專用網路

      如果設定為專用網路,您還需要選擇專用網路虛擬交換器。關於專用網路介紹請參見專用網路

  7. 上述配置完成後,單擊授權白名單並進入下一步

    如果來源資料庫是阿里雲資料庫執行個體(例如RDS MySQLApsaraDB for MongoDB等),DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單;如果來源資料庫是ECS上的自建資料庫,DTS會自動將對應地區DTS服務的IP地址添到ECS的安全規則中,您還需手動在ECS上的自建資料庫中添加對應地區DTS服務的IP地址,以允許來自DTS伺服器的訪問;如果來源資料庫是IDC自建資料庫或其他雲資料庫,則需要您手動添加對應地區DTS服務的IP地址,以允許來自DTS伺服器的訪問。DTS服務的IP地址,請參見DTS伺服器的IP位址區段

    警告 DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險,一旦使用本產品代表您已理解和確認其中可能存在的安全風險,並且需要您做好基本的安全防護,包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段,或者使用通過內網(專線/VPN網關/智能網關)的方式接入。
  8. 在彈出的建立訂閱帳號對話方塊中,等待帳號建立完成後單擊下一步
    說明 只有當源RDS執行個體的資料庫類型為MySQL 5.5MySQL 5.6時,才需要經過此步驟。在此步驟中,DTS會在源執行個體中建立用於資料訂閱的資料庫帳號。
  9. 配置需要訂閱的資料類型和訂閱對象。選擇訂閱類型和對象
    配置說明
    需要訂閱的資料類型
    • 資料更新

      訂閱已選擇對象的增量資料更新,包含資料的INSERT、DELETE和UPDATE操作。

    • 結構更新

      訂閱整個執行個體所有對象的結構建立、刪除及修改,您需要使用資料訂閱用戶端過濾所需的資料。

    說明
    • 如果選擇整個庫作為訂閱對象,那麼該庫中新增對象的增量資料也可以被訂閱到。
    • 如果選擇某個表作為訂閱對象,那麼只有這個表的增量資料可以被訂閱到。此時如果需要加入一個新的表作為訂閱對象,您需要將其加入至訂閱對象中,詳情請參見修改訂閱對象
    訂閱對象

    訂閱對象框中將想要訂閱的對象選中,單擊向右小箭頭表徵圖將其移動到已選擇對象框。

    說明 訂閱對象支援選擇的粒度為庫、表。
  10. 上述配置完成後,單擊頁面右下角的儲存並預檢查
    說明
    • 在訂閱任務正式啟動之前,會先進行預檢查。只有預檢查通過後,才能成功啟動訂閱任務。
    • 如果預檢查失敗,單擊具體檢查項後的提示表徵圖,查看失敗詳情。根據提示修複問題後,重新進行預檢查。
  11. 預檢查對話方塊中顯示預檢查通過後,關閉預檢查對話方塊。

配置完成後,資料訂閱通道會進入初始化階段,這個階段一般會持續1分鐘左右。初始化完成後即可進行新增消費組與消費訂閱資料的操作。

下一步

  1. 新增消費組
  2. 使用Kafka用戶端消費訂閱資料
  3. 使用SDK範例程式碼消費訂閱資料