全部產品
Search
文件中心

:配置資料來源(輸入為PolarDB)

更新時間:Jun 19, 2024

即時同步單表資料時,當輸入資料來源為PolarDB時,執行同步任務前,您需要參考本文在資料來源中配置好網路、白名單等配置,為後續的資料同步做好網路環境和帳號許可權的準備。

前提條件

在進行資料來源配置前,請確保已完成以下規劃與準備工作。

  • 資料來源準備:已購買輸入資料來源PolarDB MySQL、輸出資料來源。輸出資料來源可以為MaxCompute、Hologres、Elasticsearch、DataHub及Kafka。本文以阿里雲PolarDB MySQL作為來來源資料源進行樣本。

  • 資源規劃與準備:已購買獨享Data Integration資源群組,並完成資源配置。詳情可參見資源規劃與配置

  • 網路環境評估與規劃:進行Data Integration前,您需根據業務情況,打通資料來源、獨享Data Integration資源群組之間的網路,網路聯通後參考本文進行交換器、白名單等網路環境下的訪問配置。

    • 如果資料來源和獨享Data Integration資源群組均處於同地區的同一VPC網路中,資料來源與資源群組間的網路天然聯通。

    • 如果資料來源和獨享Data Integration資源群組均處於不同的網路環境中,您需要通過VPN網關等方式,將資料來源與資源群組間的網路打通。

背景資訊

將輸入資料來源的資料同步至輸出資料來源時,您需要保障資料來源與DataWorks的Data Integration資源群組在網路上是聯通的,且不存在帳號許可權的訪問限制。

  • 網路白名單

    以下以使用同一VPC網路環境為例,您需要將Data Integration資源群組所在的VPC網段添加至白名單中,保障Data Integration資源群組可訪問資料來源。即時同步單表資料(PolarDB)

  • 帳號許可權

    您需要規劃一個可訪問資料來源的帳號,用於後續Data Integration過程中訪問資料來源並進行資料提取、寫入的同步操作。

  • 其他訪問限制。

    輸入資料來源為阿里雲PolarDB MySQL時,您需要開啟Binlog。阿里雲PolarDB MySQL是一款完全相容MySQL的雲原生資料庫,預設使用了更進階別的物理日誌代替Binlog,但為了更好地與MySQL生態融合,PolarDB支援開啟Binlog的功能。

使用限制

  • 目前僅支援使用同步方案同步PolarDB MySQL類型的資料來源,不支援同步其他類型的PolarDB資料來源。文中均使用PolarDB代指PolarDB MySQL類型的資料來源。

  • PolarDB目前只能用主節點(讀寫庫)進行即時同步。

  • 不支援XA ROLLBACK,針對已經XA PREPARE的交易資料,即時同步會將其同步到目標端,如果XA ROLLBACK,即時同步不會針對XA PREPARE的資料做復原寫入的操作。若要處理XA ROLLBACK情境,需要手動將XA ROLLBACK的表從即時同步任務中移除,再添加表後重新進行全量資料初始化以及增量即時同步。

操作步驟

  1. 配置白名單。

    將獨享資料資源群組所在的VPC網段添加至PolarDB叢集白名單中,操作如下:

    1. 查看並記錄獨享資料資源群組所在的VPC網路。

      1. 登入DataWorks控制台

      2. 在左側導覽列,單擊資源群組列表

      3. 獨享資源群組頁簽下,單擊目標Data Integration資源群組後的查看資訊

      4. 複製對話方塊中的EIP地址網段至資料庫白名單。查看EIP地址和網段

      5. 獨享資源群組頁簽下,單擊目標Data Integration資源群組後的網路設定

      6. 專用網路綁定頁簽,查看交換器網段並將其添加至資料庫的白名單中。查看交換器網段

    2. 將上述步驟中記錄的獨享資料資源群組的EIP和網段添加至PolarDB的白名單中。

      polardb白名單操作詳情可參見設定白名單

  2. 建立帳號並配置帳號許可權。

    您需要規劃一個資料庫的登入賬戶用於後續執行操作,此賬戶需擁有資料庫的 SELECT, REPLICATION SLAVE, REPLICATION CLIENT許可權。

    1. 建立帳號。

      操作詳情可參見建立資料庫帳號

    2. 配置許可權。

      您可參考以下命令為帳號添加此許可權,或直接給帳號賦予SUPER許可權。

      -- CREATE USER '同步帳號'@'%' IDENTIFIED BY '同步帳號';
      GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO '同步帳號'@'%';
  3. 開啟PolarDB的Binlog。

    操作詳情可參見開啟Binlog

後續步驟

配置完成資料來源後,輸入資料來源、資源執行個體、輸出資料來源彼此間已可網路聯通,且不存在訪問限制。您可將輸入資料來源和輸出資料來源添加至DataWorks的資料來源列表中,便於後續建立資料同步方案時關聯輸入和輸出資料來源。添加資料來源操作可參見添加資料來源