DataWorks：PolarDB資料來源

使用限制

離線讀寫

支援閱讀檢視表。

即時讀

來來源資料源為阿里雲PolarDB MySQL時，您需要開啟Binlog。阿里雲PolarDB MySQL是一款完全相容MySQL的雲原生資料庫，預設使用了更進階別的物理日誌代替Binlog，但為了更好地與MySQL生態融合，PolarDB支援開啟Binlog的功能。

支援的欄位類型

離線讀

離線寫

類似於PolarDB Reader ，目前PolarDB Writer支援大部分PolarDB類型，但也存在部分類型沒有支援的情況，請注意檢查您的資料類型。

資料同步前準備

準備工作1：配置白名單

將獨享資料資源群組所在的VPC網段添加至PolarDB叢集白名單中，操作如下：

準備工作2：建立帳號並配置帳號許可權

準備工作3：開啟PolarDB的開啟Binlog

操作詳情可參見開啟Binlog。

資料同步任務開發：PolarDB同步流程引導

PolarDB資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

單表、整庫即時同步任務配置指導

操作流程請參見DataStudio側即時同步任務配置。

整庫離線讀、單表/整庫全增量即時讀同步任務配置指導

操作流程請參見Data Integration側同步任務配置。

常見問題

即時同步Oracle、PolarDB、MySQL任務重複報錯

附錄：指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

Reader指令碼Demo

{
    "type": "job",
    "steps": [
        {
            "parameter": {
                "datasource": "test_005",//資料來源名。
                "column": [//源端列名。
                    "id",
                    "name",
                    "age",
                    "sex",
                    "salary",
                    "interest"
                ],
                "where": "id=1001",//過濾條件。
                "splitPk": "id",//切分鍵。
                "table": "PolarDB_person",//源端表名。
              	"useReadonly": "false"//是否從備庫讀取資料。
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "parameter": {}
    ],
    "version": "2.0",//版本號碼。
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {//錯誤記錄數。
            "record": ""
        },
        "speed": {
            "concurrent": 6,//並發數。
            "throttle": true//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
      "mbps":"12",//限流，此處1mbps = 1MB/s。
        }
    }
}

Reader指令碼參數

Writer指令碼Demo

{
    "type": "job",
    "steps": [
        {
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "parameter": {
                "postSql": [],//匯入後完成語句。
                "datasource": "test_005",//資料來源名稱。
                "column": [//目標列名。
                    "id",
                    "name",
                    "age",
                    "sex",
                    "salary",
                    "interest"
                ],
                "writeMode": "insert",//寫入模式。
                "batchSize": 256,//一次性批量提交的記錄數大小。
                "table": "PolarDB_person_copy",//目標表名。
                "preSql": []//匯入前準備語句。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",//版本號碼。
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {//錯誤記錄數。
            "record": ""
        },
        "speed": {
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":6, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    }
}

Writer指令碼參數

• 全量參數說明

  參數	描述	必選	預設值
  datasource	資料來源名稱，指令碼模式支援添加資料來源，此配置項填寫的內容必須要與添加的資料來源名稱保持一致。	是	無
  table	選取的需要同步的表名稱。	是	無
  writeMode	選擇匯入模式，可以支援： insert（即嚮導模式的insert into） update（即嚮導模式的on duplicate key update） replace（即嚮導模式的replace into） 不同方式的詳細介紹與情境樣本請參見下文的writeMode（主鍵衝突）參數詳解。	否	insert
  column	目標表需要寫入資料的欄位，欄位之間用英文所逗號分隔。例如"column": ["id", "name", "age"]。如果要依次寫入全部列，使用（*）表示。 例如"column": [" *"]。	是	無
  preSql	執行資料同步任務之前率先執行的SQL語句。目前嚮導模式僅允許執行一條SQL語句，指令碼模式可以支援多條SQL語句，例如清除舊資料。	否	無
  postSql	執行資料同步任務之後執行的SQL語句，目前嚮導模式僅允許執行一條SQL語句，指令碼模式可以支援多條SQL語句，例如加上某一個時間戳記。	否	無
  batchSize	一次性批量提交的記錄數大小，該值可以極大減少資料同步系統與PolarDB的網路互動次數，並提升整體輸送量。但是該值設定過大可能會造成資料同步運行進程OOM情況。	否	1,024
  updateColumn	當writeMode配置成update時，發生遇到主鍵/唯一性索引衝突時所更新的欄位。欄位之間用英文逗號所分隔，例如"updateColumn": ["name", "age"]。 說明 目前僅支援PolarDB for MySQL。	否	無

• writeMode（主鍵衝突）參數詳解

  對比介紹	insert（即嚮導模式的insert into）	update（即嚮導模式的on duplicate key update）	replace（即嚮導模式的replace into）
  處理策略	當主鍵或唯一性索引衝突時，衝突行不寫入目標表，以髒資料的形式體現。	沒有遇到主鍵或唯一性索引衝突時，與insert into行為一致。衝突時會用新行替換已經指定的欄位的語句，寫入資料至目標表。	沒有遇到主鍵或唯一性索引衝突時，與insert into行為一致。衝突時會先刪除原有行，再插入新行。即新行會替換原有行的所有欄位。
  資料樣本	源表資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目標表未經處理資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | | +----+---------+-----+ 運行任務後，成功寫入目標表1條資料，髒資料1條。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | wangwu | | +----+---------+-----+	情境1：任務配置部分欄位："column": ["id","name"] 源表資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目標表未經處理資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ 運行任務後，成功寫入目標表2條資料，髒資料0條。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | 3 | +----+---------+-----+ 情境2：任務配置所有欄位，"column": ["id","name","age"] 源表資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目標表未經處理資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ 運行任務後，成功寫入目標表2條資料，髒資料0條。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+	源表資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目標表未經處理資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ 運行任務後，成功寫入目標表2條資料，髒資料0條。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+