MySQL輸入基於Binlog即時訂閱的方式,即時讀取您配置的MySQL資料庫表資料。本文為您介紹,如何配置MySQL輸入,以及配置輸入之前需要準備的網路環境及帳號許可權。
前提條件
配置MySQL輸入之前,請確保已完成以下規劃與準備工作。- 已配置同步帳號許可權,詳情請參見配置帳號許可權。
即時同步通過資料來源配置帳號訪問MySQL,在即時同步情境下,您需要確保此帳號擁有資料庫的
SELECT
、REPLICATION SLAVE
、REPLICATION CLIENT
許可權。 - 已開啟MySQL Binlog服務,詳情請參見開啟MySQL Binlog。
Data Integration通過即時訂閱MySQL Binlog實現增量資料即時同步,您需要在DataWorks配置同步任務前,先開啟MySQL Binlog服務。
- 已購買合適規格的獨享Data Integration資源群組。詳情請參見新增和使用獨享Data Integration資源群組。
- 已配置資料同步資源群組與資料庫的網路連通,詳情請參見配置資源群組與網路連通。
使用限制
- Data Integration不支援同步MySQL唯讀庫執行個體的資料。
- DataWorks的Data Integration即時同步MySQL資料是基於即時訂閱MySQL實現的,即時同步MySQL資料目前僅支援配置MySQL資料來源為RDS的
5.x
或8.x
版本的MySQL,如果需要同步DRDS的MySQL,請不要將DRDS的MySQL配置為MySQL資料來源,您可以參考配置DRDS資料來源文檔直接將其配置為DRDS資料來源。 - 不支援Functional index。
配置MySQL輸入
進入資料開發頁面。
登入DataWorks控制台。
在左側導覽列,單擊工作空間列表。
選擇工作空間所在地區後,單擊相應工作空間後的 。
滑鼠移至上方至表徵圖,單擊 。
您也可以展開商務程序,按右鍵目標商務程序,選擇
。在建立節點對話方塊中,選擇同步方式為單表(Topic)到單表(Topic)ETL,輸入名稱,並選擇路徑。
重要節點名稱必須是大小寫字母、中文、數字、底線(_)以及英文句號(.),且不能超過128個字元。
單擊確認。
- 在即時同步節點的編輯頁面,單擊 並拖拽至編輯面板。
- 單擊MySQL節點,在節點配置對話方塊中,配置各項參數。
參數 描述 資料來源 選擇已經配置好的MySQL資料來源,此處僅支援MySQL資料來源。 如果未配置資料來源,請單擊右側的建立資料來源,進入
頁面進行建立。表 選擇當前資料來源下需要同步的表名稱。您可以單擊右側的資料預覽進行確認。 您可以實現分庫分表的情境,配置的庫和表會在該任務中同時進行即時同步。重要 分庫分表中的資料表的Schema請保持一致,以避免執行報錯。輸出欄位 選擇需要同步的欄位,包括管理欄位和資料欄位: - 管理欄位:為方便進行資料管理、排序和去重等操作,會在同步的目標端自動添加附加欄位。
- 資料欄位:顯示要同步的原始表中對應的欄位。
詳情請參見即時同步欄位格式。
MySQL節點支援分庫分表,您可以單擊添加分庫分表資料來源,從下拉式清單中選擇相應的資料來源和表,添加多個資料來源,同時進行同步。重要 所選表的Schema需要保持一致,否則執行會報錯。 - 單擊工具列中的表徵圖。