DataWorks：GBase8a資料來源

使用限制

• 目前Gbase8a Reader和Gbase8a Writer僅支援使用新增和使用獨享Data Integration資源群組。

• insert into...：當主鍵或唯一性索引衝突時，無法寫入衝突的行。

• 目的表所在資料庫必須是主庫才能寫入資料。

  說明

  整個任務需要至少具備insert into...的許可權。是否需要其它許可權，取決於您配置任務時，在preSql和postSql中指定的語句。

• Gbase8a Writer不支援配置writeMode參數。

資料同步任務開發

GBase8a資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

附錄：指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

Reader指令碼Demo

{
    "type": "job",
    "steps": [
        {
            "stepType": "gbase8a", //外掛程式名。
            "parameter": {
                "datasource": "", //資料來源名。
                "username": "",
                "password": "",
                "where": "",
                "column": [ //欄位。
                    "id",
                    "name"
                ],
                "splitPk": "id",
                "connection": [
                    {
                        "table": [ //表名。
                            "table"
                        ],
                        "datasource":""
                    }
                ]
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {
                "print": false,
                "fieldDelimiter": ","
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": "0" //錯誤記錄數。
        },
        "speed": {
            "throttle": true, //當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent": 1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    }
}

Reader指令碼參數

Writer指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"gbase8a",//外掛程式名。
            "parameter":{
                "datasource": "資料來源名",
                "username": "",
                "password": "",
                "column": [//欄位。
                    "id",
                    "name"
                ],
                "connection": [
                    {
                        "table": [//表名。
                            "Gbase8a_table"
                        ],
                        "datasource":""
                    }
                ],
                "preSql": [ //執行資料同步任務之前率先執行的SQL語句。
                    "delete from @table where db_id = -1"
                ],
                "postSql": [//執行資料同步任務之後率先執行的SQL語句。
                    "update @table set db_modify_time = now() where db_id = 1"
                ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer指令碼參數