RestAPI資料來源為您提供讀取和寫入RestAPI雙向通道的功能,本文為您介紹DataWorks的RestAPI資料同步的能力支援情況。
使用限制
目前該資料來源僅支援獨享Data Integration資源群組。
目前不支援設定逾時參數,當前DataWorks內建的請求逾時時間是60s, 如果您的API查詢返回時間超過60s將導致任務失敗。
支援的欄位類型
類型分類 | Data Integrationcolumn配置類型 |
整數類 | LONG,INT |
字串類 | STRING |
浮點類 | DOUBLE,FLOAT |
布爾類 | BOOLEAN |
日期時間類 | DATE |
建立資料來源
在進行資料同步任務開發時,您需要在DataWorks上建立一個對應的資料來源,操作流程請參見建立並管理資料來源,詳細的配置參數解釋可在配置介面查看對應參數的文案提示。
資料同步任務開發
資料同步任務的配置入口和通用配置流程可參見下文的配置指導。
單表離線同步任務配置指導
操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。
指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄:指令碼Demo與參數說明。
常見問題
只能指定好請求資料的翻頁次數嗎?
答:是的
是否支援自動翻頁,例如當請求參數後面沒資料時便停止翻頁。
答:不支援, 否則無法進行split切分。
如果需要指定翻頁次數,但指定翻頁次數比實際頁數多,導致後面資料為空白,系統會如何處理?
答:當後面頁數資料為空白時,相當於SQL查到空資料,系統將會繼續查詢下一條資料。
只支援解析一層JSON據嗎?
答:是的,不會進行深入解析。
DataWorksData IntegrationRestAPI非數群組類型如何配置?
答:確保在
reader
的parameter
中,將dataPath
設定為指向非數群組類型資料的路徑,例如:dataPath:"data.list"
。這將協助外掛程式正確地定位到您要讀取的資料欄位。接下來,將dataMode
設定為multiData
。這意味著DataWorks將把資料作為多個單獨的記錄來處理,即使它們在來源資料中並非數組形式。說明請注意,在
multiData
模式下,column
配置不再適用。您應直接在dataPath
中指定要讀取的資料路徑。以下是DataWorksData IntegrationRestAPI非數群組類型的配置樣本:
reader: { name: "restapi", parameter: { dataPath: "data.list", dataMode: "multiData", // 其他參數 } }
附錄:指令碼Demo與參數說明
離線任務指令碼配置方式
如果您配置離線任務時使用指令碼模式的方式進行配置,您需要按照統一的指令碼格式要求,在任務指令碼中編寫相應的參數,詳情請參見通過指令碼模式配置離線同步任務,以下為您介紹指令碼模式下資料來源的參數配置詳情。