MySQL輸入基於Binlog即時訂閱的方式,即時讀取您配置的MySQL資料庫表資料。本文為您介紹,如何配置MySQL輸入,以及配置輸入之前需要準備的網路環境及帳號許可權。
前提條件
配置MySQL輸入之前,請確保已完成以下規劃與準備工作。
已配置同步帳號許可權,詳情請參見配置帳號許可權。
即時同步通過資料來源配置帳號訪問MySQL,在即時同步情境下,您需要確保此帳號擁有資料庫的
SELECT
、REPLICATION SLAVE
、REPLICATION CLIENT
許可權。已開啟MySQL Binlog服務,詳情請參見開啟MySQL Binlog。
Data Integration通過即時訂閱MySQL Binlog實現增量資料即時同步,您需要在DataWorks配置同步任務前,先開啟MySQL Binlog服務。
已購買合適規格的獨享Data Integration資源群組。詳情請參見新增和使用獨享Data Integration資源群組。
已配置資料同步資源群組與資料庫的網路連通,詳情請參見網路連通方案。
使用限制
Data Integration不支援同步MySQL唯讀庫執行個體的資料。
DataWorks的Data Integration即時同步MySQL資料是基於即時訂閱MySQL實現的,即時同步MySQL資料目前僅支援配置MySQL資料來源為RDS的
5.x
或8.x
版本的MySQL,如果需要同步DRDS的MySQL,請不要將DRDS的MySQL配置為MySQL資料來源,您可以參考配置DRDS資料來源文檔直接將其配置為DRDS資料來源。不支援Functional index。
配置MySQL輸入
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
滑鼠移至上方至表徵圖,單擊 。
您也可以展開商務程序,按右鍵目標商務程序,選擇
。在建立節點對話方塊中,選擇同步方式為單表(Topic)到單表(Topic)ETL,輸入名稱,並選擇路徑。
重要節點名稱必須是大小寫字母、中文、數字、底線(_)以及英文句號(.),且不能超過128個字元。
單擊確認。
在即時同步節點的編輯頁面,單擊 並拖拽至編輯面板。
單擊MySQL節點,在節點配置對話方塊中,配置各項參數。
參數
描述
資料來源
選擇已經配置好的MySQL資料來源,此處僅支援MySQL資料來源。
如果未配置資料來源,請單擊右側的建立資料來源,進入
頁面進行建立。表
選擇當前資料來源下需要同步的表名稱。您可以單擊右側的資料預覽進行確認。
您可以實現分庫分表的情境,配置的庫和表會在該任務中同時進行即時同步。
重要分庫分表中的資料表的Schema請保持一致,以避免執行報錯。
輸出欄位
選擇需要同步的欄位,包括管理欄位和資料欄位:
管理欄位:為方便進行資料管理、排序和去重等操作,會在同步的目標端自動添加附加欄位。
資料欄位:顯示要同步的原始表中對應的欄位。
詳情請參見即時同步欄位格式。
MySQL節點支援分庫分表,您可以單擊添加分庫分表資料來源,從下拉式清單中選擇相應的資料來源和表,添加多個資料來源,同時進行同步。
重要所選表的Schema需要保持一致,否則執行會報錯。
單擊工具列中的表徵圖。