DataWorks：PolarDB資料來源

單庫單表的指令碼樣本如下，詳情請參見上述參數說明。

{
    "type": "job",
    "steps": [
        {
            "parameter": {
                "datasource": "test_005",//資料來源名。
                "column": [//源端列名。
                    "id",
                    "name",
                    "age",
                    "sex",
                    "salary",
                    "interest"
                ],
                "where": "id=1001",//過濾條件。
                "splitPk": "id",//切分鍵。
                "table": "PolarDB_person",//源端表名。
              	"useReadonly": "false"//是否從備庫讀取資料。
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "parameter": {}
    ],
    "version": "2.0",//版本號碼。
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {//錯誤記錄數。
            "record": ""
        },
        "speed": {
            "concurrent": 6,//並發數。
            "throttle": true//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
      "mbps":"12",//限流，此處1mbps = 1MB/s。
        }
    }
}

指令碼配置範例如下，詳情請參見上述參數說明。

{
    "type": "job",
    "steps": [
        {
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "parameter": {
                "postSql": [],//匯入後完成語句。
                "datasource": "test_005",//資料來源名稱。
                "column": [//目標列名。
                    "id",
                    "name",
                    "age",
                    "sex",
                    "salary",
                    "interest"
                ],
                "writeMode": "insert",//寫入模式。
                "batchSize": 256,//一次性批量提交的記錄數大小。
                "table": "PolarDB_person_copy",//目標表名。
                "preSql": []//匯入前準備語句。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",//版本號碼。
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {//錯誤記錄數。
            "record": ""
        },
        "speed": {
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":6, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    }
}

• 全量參數說明

  參數	描述	必選	預設值
  datasource	資料來源名稱，指令碼模式支援添加資料來源，此配置項填寫的內容必須要與添加的資料來源名稱保持一致。	是	無
  table	選取的需要同步的表名稱。	是	無
  writeMode	選擇匯入模式，可以支援： insert（即嚮導模式的insert into） update（即嚮導模式的on duplicate key update） replace（即嚮導模式的replace into） 不同方式的詳細介紹與情境樣本請參見下文的writeMode（主鍵衝突）參數詳解。	否	insert
  column	目標表需要寫入資料的欄位，欄位之間用英文所逗號分隔。例如"column": ["id", "name", "age"]。如果要依次寫入全部列，使用（*）表示。 例如"column": [" *"]。	是	無
  preSql	執行資料同步任務之前率先執行的SQL語句。目前嚮導模式僅允許執行一條SQL語句，指令碼模式可以支援多條SQL語句，例如清除舊資料。	否	無
  postSql	執行資料同步任務之後執行的SQL語句，目前嚮導模式僅允許執行一條SQL語句，指令碼模式可以支援多條SQL語句，例如加上某一個時間戳記。	否	無
  batchSize	一次性批量提交的記錄數大小，該值可以極大減少資料同步系統與PolarDB的網路互動次數，並提升整體輸送量。但是該值設定過大可能會造成資料同步運行進程OOM情況。	否	1,024
  updateColumn	當writeMode配置成update時，發生遇到主鍵/唯一性索引衝突時所更新的欄位。欄位之間用英文逗號所分隔，例如"updateColumn": ["name", "age"]。 說明 目前僅支援PolarDB for MySQL。	否	無

• writeMode（主鍵衝突）參數詳解

  對比介紹	insert（即嚮導模式的insert into）	update（即嚮導模式的on duplicate key update）	replace（即嚮導模式的replace into）
  處理策略	當主鍵或唯一性索引衝突時，衝突行不寫入目標表，以髒資料的形式體現。	沒有遇到主鍵或唯一性索引衝突時，與insert into行為一致。衝突時會用新行替換已經指定的欄位的語句，寫入資料至目標表。	沒有遇到主鍵或唯一性索引衝突時，與insert into行為一致。衝突時會先刪除原有行，再插入新行。即新行會替換原有行的所有欄位。
  資料樣本	源表資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目標表未經處理資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | | +----+---------+-----+ 運行任務後，成功寫入目標表1條資料，髒資料1條。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | wangwu | | +----+---------+-----+	情境1：任務配置部分欄位："column": ["id","name"] 源表資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目標表未經處理資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ 運行任務後，成功寫入目標表2條資料，髒資料0條。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | 3 | +----+---------+-----+ 情境2：任務配置所有欄位，"column": ["id","name","age"] 源表資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目標表未經處理資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ 運行任務後，成功寫入目標表2條資料，髒資料0條。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+	源表資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目標表未經處理資料 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ 運行任務後，成功寫入目標表2條資料，髒資料0條。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+