DataWorks：MySQL資料來源

支援的MySQL版本

• 離線讀寫：

  支援MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，相容Amazon RDS for MySQL、Azure MySQL、Amazon Aurora MySQL。

  離線同步支援閱讀檢視表。

• 即時讀取：

  Data Integration即時讀取MySQL資料是基於即時訂閱MySQL實現的，當前僅支援即時同步MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x（非8.0新特性，比如functional index，僅相容原有功能）版本的MySQL資料，相容Amazon RDS for MySQL、Azure MySQL、Amazon Aurora MySQL。

  重要

  如果需要同步DRDS的MySQL，請不要將DRDS的MySQL配置為MySQL資料來源，您可以參考配置DRDS資料來源文檔直接將其配置為DRDS資料來源。

使用限制

即時讀

• 不支援同步MySQL唯讀庫執行個體的資料。

• 不支援同步含有Functional index的表。

• 不支援XA ROLLBACK。

  針對已經XA PREPARE的交易資料，即時同步會將其同步到目標端，如果XA ROLLBACK，即時同步不會針對XA PREPARE的資料做復原寫入的操作。若要處理XA ROLLBACK情境，需要手動將XA ROLLBACK的表從即時同步任務中移除，再添加表後重新進行同步。

• 僅支援同步MySQL伺服器Binlog配置格式為ROW。

• 即時同步不會同步被串聯刪除的關聯表記錄。

• 對於Amazon Aurora MySQL資料庫，需要串連到您的主/寫資料庫，因為AWS不允許在Aurora MySQL的唯讀副本上啟用binlog功能。即時同步任務需要binlog來執行累加式更新。

離線讀

MySQL Reader外掛程式在進行分庫分表等多表同步時，若要對單表進行切分，則需要滿足任務並發數大於表個數這一條件，否則切分的Task數目等於表的個數。

支援的欄位類型

資料同步前準備：MySQL環境準備

在DataWorks上進行資料同步前，您需要參考本文提前在MySQL側進行資料同步環境準備，以便在DataWorks上進行MySQL資料同步任務配置與執行時服務正常。以下為您介紹MySQL同步前的相關環境準備。

準備工作1：確認MySQL版本

SELECT version();

準備工作2：配置帳號許可權

建議您提前規劃並建立一個專用於DataWorks訪問資料來源的MySQL帳號，操作如下。

1. 可選：建立帳號。

   操作詳情請參見建立MySQL帳號。

2. 配置許可權。

   • 離線

     在離線同步情境下：

     • 在離線讀MySQL資料時，此帳號需擁有同步表的讀（SELECT）許可權。

     • 在離線寫MySQL資料時，此帳號需擁有同步表的寫（INSERT、DELETE、UPDATE）許可權。

   • 即時

     在即時同步情境下，此帳號需要擁有資料庫的SELECT、REPLICATION SLAVE、REPLICATION CLIENT許可權。

   您可以參考以下命令為帳號添加許可權，或直接給帳號賦予SUPER許可權。如下執行語句在實際使用時，請替換'同步帳號'為上述建立的帳號。

   -- CREATE USER '同步帳號'@'%' IDENTIFIED BY '密碼'; //建立同步帳號並設定密碼，使其可以通過任意主機登入資料庫。%表示任意主機。
   GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO '同步帳號'@'%'; //授權同步帳號資料庫的 SELECT, REPLICATION SLAVE, REPLICATION CLIENT許可權。

   *.*表示授權同步帳號對所有資料庫的所有表擁有上述許可權。您也可以指定授權同步帳號對目標資料庫的指定表擁有上述許可權。例如，授權同步帳號對test資料庫的user表擁有上述許可權，則可以使用GRANT SELECT, REPLICATION CLIENT ON test.user TO '同步帳號'@'%';語句。

   說明

   REPLICATION SLAVE語句為全域許可權，不能指定授權同步帳號對目標資料庫的指定表擁有相關許可權。

準備工作3：（僅即時同步需要）開啟MySQL Binlog

1. 檢查Binlog是否開啟。

   • 使用如下語句檢查Binlog是否開啟。

     SHOW variables like "log_bin";

     返回結果為ON時，表明已開啟Binlog。

   • 如果您使用備用庫同步資料，則還可以通過如下語句檢查Binlog是否開啟。

     SHOW variables LIKE "log_slave_updates";

     返回結果為ON時，表明備用庫已開啟Binlog。

   如果返回的結果與上述結果不符：

   • 開源MySQL請參考MySQL官方文檔開啟Binlog。

   • 阿里雲RDS MySQL請參考RDS MySQL記錄備份開啟Binlog。

   • 阿里雲PolarDB MySQL請參考開啟Binlog開啟Binlog。

2. 查詢Binlog的使用格式。

   使用如下語句查詢Binlog的使用格式。

   SHOW variables LIKE "binlog_format";

   返回結果說明：

   • 返回ROW，表示開啟的Binlog格式為ROW。

   • 返回STATEMENT，表示開啟的Binlog格式為STATEMENT。

   • 返回MIXED，表示開啟的Binlog格式為MIXED。

   重要

   DataWorks即時同步僅支援同步MySQL伺服器Binlog配置格式為ROW。如果返回非ROW請修改Binlog Format。

3. 查詢Binlog完整日誌是否開啟。

   使用如下語句查詢Binlog完整日誌是否開啟。

   show variables like "binlog_row_image";

   返回結果說明：

   • 返回FULL，表示Binlog開啟了完整日誌。

   • 返回MINIMAL，表示Binlog開啟了最小日誌，未開啟完整日誌。

   重要

   DataWorks即時同步，僅支援同步開啟了Binlog完整日誌的MySQL伺服器資料。若查詢結果返回非FULL，請修改binlog_row_image的配置。

OSS binlog讀取授權配置

在添加MySQL資料來源時，如果配置模式為阿里雲執行個體模式，且RDS MySQL執行個體地區與DataWorks專案空間在同一地區，您可以開啟支援OSS binlog讀取，開啟後，在無法訪問RDS binlog時，將會嘗試從OSS擷取binlog，以避免即時同步任務中斷。

如果選擇的OSS binlog訪問身份為阿里雲RAM子帳號或阿里雲RAM角色，您還需參考如下方式配置帳號授權。

資料同步任務開發：MySQL同步流程引導

MySQL資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：MySQL指令碼Demo與參數說明。

單表即時同步任務配置指導

操作流程請參見DataStudio側即時同步任務配置。

整庫離線、整庫（即時）全增量、整庫（即時）分庫分表等整庫層級同步配置指導

操作流程請參見Data Integration側同步任務配置。

常見問題

• 即時同步MySQL資料來源的資料時，一開始讀到資料，一段時間後無法讀到資料，怎麼處理？

• 即時同步MySQL資料報錯

• 即時同步MySQL資料來源時速度為什麼會變慢？

• MySQL分庫分表如何將分表同步到一張MaxCompute中

• 目的端MySQL表字元集為utf8mb4時，同步到MySQL中的中文字元出現亂碼時，如何處理？

• 如何處理編碼格式設定/亂碼問題導致的髒資料報錯？

• 如何排查離線同步任務已耗用時間長的問題？

• 寫入/讀取MySQL報錯：Application was streaming results when the connection failed. Consider raising value of 'net_write_timeout/net_read_timeout、' on the server.

更多其他Data Integration常見問題請參見Data Integration常見問題。

附錄：MySQL指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

MySQL Reader指令碼Demo

MySQL Reader指令碼參數

MySQL writer指令碼Demo

{
  "type": "job",
  "version": "2.0",//版本號碼。
  "steps": [
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "mysql",//外掛程式名。
      "parameter": {
        "postSql": [],//匯入後的準備語句。
        "datasource": "",//資料來源。
        "column": [//列名。
          "id",
          "value"
        ],
        "writeMode": "insert",//寫入模式，您可以設定為insert、replace或update。
        "batchSize": 1024,//一次性批量提交的記錄數大小。
        "table": "",//表名。
        "nullMode": "skipNull",//NULL值處理策略。
        "skipNullColumn": [//需要跳過NULL值的列。
          "id",
          "value"
        ],
        "preSql": [
          "delete from XXX;"//匯入前的準備語句。
        ]
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {//錯誤記錄數。
      "record": "0"
    },
    "speed": {
      "throttle": true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
      "concurrent": 1,//作業並發數。
      "mbps": "12"//限流，控制同步的最高速率，防止對上遊/下遊資料庫讀取/寫入壓力過大，此處1mbps = 1MB/s。
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

MySQL Writer指令碼參數