DataWorks：RestAPI（HTTP形式）資料來源

使用限制

• 目前該資料來源僅支援獨享Data Integration資源群組。

• 目前不支援設定逾時參數，當前DataWorks內建的請求逾時時間是60s, 如果您的API查詢返回時間超過60s將導致任務失敗。

支援的欄位類型

資料同步任務開發

資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

常見問題

1. 只能指定好請求資料的翻頁次數嗎？

   答：是的

2. 是否支援自動翻頁，例如當請求參數後面沒資料時便停止翻頁。

   答：不支援， 否則無法進行split切分。

3. 如果需要指定翻頁次數，但指定翻頁次數比實際頁數多，導致後面資料為空白，系統會如何處理？

   答：當後面頁數資料為空白時，相當於SQL查到空資料，系統將會繼續查詢下一條資料。

4. 只支援解析一層JSON據嗎？

   答：是的，不會進行深入解析。

附錄：指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

Reader指令碼Demo

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"restapi",
            "parameter":{
                "url":"http://127.0.0.1:5000/get_array5",
                "dataMode":"oneData",
                "responseType":"json",
                "column":[
                    {
                        "type":"long",
                        "name":"a.b"  //從a.b路徑中尋找資料
                    },
                    {
                        "type":"string",  //從a.c路徑中尋找資料
                        "name":"a.c"
                    }
                ],
                "dirtyData":"null",
                "method":"get",
                "defaultHeader":{
                    "X-Custom-Header":"test header"
                },
                "customHeader":{
                    "X-Custom-Header2":"test header2"
                },
                "parameters":"abc=1&def=1"
            },
            "name":"restapireader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{

            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":""
        },
        "speed":{
            "throttle":true,  //當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1,  //作業並發數。 
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Restapi外掛程式發出http(s)請求後，會獲得請求響應body（body是一個json），dataPath用來配置從body中提取資料的json path路徑。舉2個樣本如下：


以介面返回資料body如下舉例，其中業務資料在DATA內，且介面一次返回了多行資料（DATA是一個數組）：
{
    "HEADER": {
        "BUSID": "bid1",
        "RECID": "uuid",
        "SENDER": "dc",
        "RECEIVER": "pre",
        "DTSEND": "202201250000"
    },
    "DATA": [
        {
            "SERNR": "sernr1"
        },
        {
            "SERNR": "sernr2"
        }
    ]
}

如果需要將DATA中的多行資料幫浦為多條同步記錄，則需要將 column 配置為 "column": [ "SERNR" ]，dataMode 配置為 "dataMode": "multiData"，dataPath 配置為 "dataPath": "DATA"


以介面返回資料body如下舉例，其中業務資料在content.DATA內，且介面一次返回了1行資料（DATA是一個對象）：
{
    "HEADER": {
        "BUSID": "bid1",
        "RECID": "uuid",
        "SENDER": "dc",
        "RECEIVER": "pre",
        "DTSEND": "202201250000"
    },
    "content": {
        "DATA": {
            "SERNR": "sernr2"
        }
    }
}

如果需要將content.DATA中的一行資料幫浦為一條同步記錄，則需要將 column 配置為 "column": [ "SERNR" ]，dataMode 配置為 "dataMode": "oneData"，dataPath 配置為 "dataPath": "content.DATA"
                

Reader指令碼參數

Writer指令碼Demo

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"stream",
            "parameter":{

            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"restapi",
            "parameter":{
                "url":"http://127.0.0.1:5000/writer1",
                "dataMode":"oneData",
                "responseType":"json",
                "column":[
                    {
                        "type":"long", //放置column資料到路徑a.b
                        "name":"a.b"
                    },
                    {
                        "type":"string", //放置column資料到路徑a.c
                        "name":"a.c"
                    }
                ],
                "method":"post",
                "defaultHeader":{
                    "X-Custom-Header":"test header"
                },
                "customHeader":{
                    "X-Custom-Header2":"test header2"
                },
                "parameters":"abc=1&def=1",
                "batchSize":256
            },
            "name":"restapiwriter",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0" //錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer指令碼參數