全部產品
Search
文件中心

DataWorks:配置MySQL輸入

更新時間:Jun 19, 2024

MySQL輸入基於Binlog即時訂閱的方式,即時讀取您配置的MySQL資料庫表資料。本文為您介紹,如何配置MySQL輸入,以及配置輸入之前需要準備的網路環境及帳號許可權。

前提條件

配置MySQL輸入之前,請確保已完成以下規劃與準備工作。
  • 已配置同步帳號許可權,詳情請參見配置帳號許可權

    即時同步通過資料來源配置帳號訪問MySQL,在即時同步情境下,您需要確保此帳號擁有資料庫的SELECTREPLICATION SLAVEREPLICATION CLIENT許可權。

  • 已開啟MySQL Binlog服務,詳情請參見開啟MySQL Binlog

    Data Integration通過即時訂閱MySQL Binlog實現增量資料即時同步,您需要在DataWorks配置同步任務前,先開啟MySQL Binlog服務。

  • 已購買合適規格的獨享Data Integration資源群組。詳情請參見新增和使用獨享Data Integration資源群組
  • 已配置資料同步資源群組與資料庫的網路連通,詳情請參見配置資源群組與網路連通

使用限制

  • Data Integration不支援同步MySQL唯讀庫執行個體的資料。
  • DataWorks的Data Integration即時同步MySQL資料是基於即時訂閱MySQL實現的,即時同步MySQL資料目前僅支援配置MySQL資料來源為RDS的5.x8.x版本的MySQL,如果需要同步DRDS的MySQL,請不要將DRDS的MySQL配置為MySQL資料來源,您可以參考配置DRDS資料來源文檔直接將其配置為DRDS資料來源。
  • 不支援Functional index。

配置MySQL輸入

  1. 進入資料開發頁面。

    1. 登入DataWorks控制台

    2. 在左側導覽列,單擊工作空間列表

    3. 選擇工作空間所在地區後,單擊相應工作空間後的快速進入 > 資料開發

  2. 滑鼠移至上方至建立表徵圖,單擊建立節點 > Data Integration > 即時同步

    您也可以展開商務程序,按右鍵目標商務程序,選擇建立節點 > Data Integration > 即時同步

  3. 建立節點對話方塊中,選擇同步方式為單表(Topic)到單表(Topic)ETL,輸入名稱,並選擇路徑

    重要

    節點名稱必須是大小寫字母、中文、數字、底線(_)以及英文句號(.),且不能超過128個字元。

  4. 單擊確認

  5. 在即時同步節點的編輯頁面,單擊輸入 > MySQL並拖拽至編輯面板。
  6. 單擊MySQL節點,在節點配置對話方塊中,配置各項參數。
    輸入
    參數描述
    資料來源選擇已經配置好的MySQL資料來源,此處僅支援MySQL資料來源。

    如果未配置資料來源,請單擊右側的建立資料來源,進入工作空間管理 > 資料來源管理頁面進行建立。

    選擇當前資料來源下需要同步的表名稱。您可以單擊右側的資料預覽進行確認。
    您可以實現分庫分表的情境,配置的庫和表會在該任務中同時進行即時同步。
    重要 分庫分表中的資料表的Schema請保持一致,以避免執行報錯。
    輸出欄位選擇需要同步的欄位,包括管理欄位資料欄位
    • 管理欄位:為方便進行資料管理、排序和去重等操作,會在同步的目標端自動添加附加欄位。
    • 資料欄位:顯示要同步的原始表中對應的欄位。

    詳情請參見即時同步欄位格式

    MySQL節點支援分庫分表,您可以單擊添加分庫分表資料來源,從下拉式清單中選擇相應的資料來源,添加多個資料來源,同時進行同步。
    重要 所選表的Schema需要保持一致,否則執行會報錯。
  7. 單擊工具列中的儲存表徵圖。

常見問題