DataWorks：MariaDB資料來源

準備工作1：確認MariaDB版本

Data Integration對MariaDB版本有要求，您可參考上文支援的MariaDB版本章節，查看當前待同步的MariaDB是否符合版本要求。您可以在MariaDB資料庫通過如下語句查看當前MariaDB資料庫版本。

準備工作2：配置帳號許可權

建議您提前規劃並建立一個專用於DataWorks訪問資料來源的MariaDB帳號，操作如下。

1. 可選：建立帳號。

   操作詳情請參見建立MariaDB帳號。

2. 配置許可權。

   • 在離線讀MariaDB資料時，此帳號需擁有同步表的讀（SELECT）許可權。

   • 在離線寫MariaDB資料時，此帳號需擁有同步表的寫（INSERT、DELETE、UPDATE）許可權。

3. 您可以參考以下命令為帳號添加許可權，或直接給帳號賦予SUPER許可權。如下執行語句在實際使用時，請替換'同步帳號'上述建立的帳號。

   -- CREATE USER '同步帳號'@'%' IDENTIFIED BY '密碼'; //建立同步帳號並設定密碼，使其可以通過任意主機登入資料庫。%表示任意主機。
   GRANT SELECT, INSERT, DELETE,UPDATE CLIENT ON *.* TO '同步帳號'@'%'; //授權同步帳號資料庫的 SELECT, INSERT, DELETE,UPDATE 許可權。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：MariaDB指令碼Demo與參數說明。

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

MariaDB Reader指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"mariadb",//外掛程式名。
            "parameter":{
                "column":[//列名。
                    "id"
                ],
                "connection":[
                    {   "querySql":["select a,b from join1 c join join2 d on c.id = d.id;"], //使用字串的形式，將querySql寫在connection中。
                        "datasource":"",//資料來源。
                        "table":[//表名，即使只有一張表，也必須以[]的數組形式書寫。
                            "xxx"
                        ]
                    }
                ],
                "where":"",//過濾條件。
                "splitPk":"",//切分鍵。
                "encoding":"UTF-8"//編碼格式。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1,//作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

MariaDB Reader指令碼參數

MariaDB Writer指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[ 
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"mariadb",//外掛程式名。
            "parameter":{
                "postSql":[],//匯入後的準備語句。
                "datasource":"",//資料來源。
                "column":[//列名。
                    "id",
                    "value"
                ],
                "writeMode":"insert",//寫入模式，您可以設定為insert、replace或update。
                "batchSize":1024,//一次性批量提交的記錄數大小。
                "table":"",//表名。
                "preSql":[ 
                     "delete from XXX;" //匯入前的準備語句。
                   ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{//錯誤記錄數。
            "record":"0"
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，控制同步的最高速率，防止對上遊/下遊資料庫讀取/寫入壓力過大，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

MariaDB Writer指令碼參數