DataWorks：HttpFile資料來源

使用限制

HttpFile資料來源僅支援使用獨享Data Integration資源群組。

支援的欄位類型

資料同步任務開發：HttpFile同步流程引導

HttpFile資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：HttpFile指令碼Demo與參數說明。

附錄：HttpFile指令碼Demo與參數說明

離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您詳細介紹指令碼模式下資料來源Reader參數的配置方式。

HttpFile Reader指令碼Demo

查詢HttpFile File的指令碼範例如下：

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "httpfile",
      "parameter": {
        "datasource": "",
        "fileName": "/f/z/1.csv",
        "requestMethod": "GET",
        "requestBody": "",
        "requestHeaders": {
          "header1": "v1",
          "header2": "v2"
        },
        "socketTimeoutSeconds": 3600,
        "connectTimeoutSeconds": 60,
        "bufferByteSizeInKB": 1024,
        "fileFormat": "csv",
        "encoding": "utf8/gbk/...",
        "fieldDelimiter": ",",
        "useMultiCharDelimiter": true,
        "lineDelimiter": "\n",
        "skipHeader": true,
        "compress": "zip/gzip",
        "column": [
          {
            "index": 0,
            "type": "long"
          },
          {
            "index": 1,
            "type": "boolean"
          },
          {
            "index": 2,
            "type": "double"
          },
          {
            "index": 3,
            "type": "string"
          },
          {
            "index": 4,
            "type": "date"
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"
    },
    "speed": {
      "concurrent": 1
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

HttpFile Reader指令碼參數

{
 "requestBody":"{\"a\":\"b\"}",
 "requestHeaders": {
 "Content-Type": "application/json"
 }
}

{
 "Content-Type": "application/json"
}

{
 "User-Agent": "DataX Http File Reader"
}

"column": ["*"]

"column":
    {
       "type": "long",
       "index": 0    //從HttpFile文本第一列擷取int欄位。
    },
    {
       "type": "string",
       "value": "alibaba"  //從HttpFile Reader內部產生alibaba的字串欄位作為當前欄位。
    }

相關文檔

• 資料來源配置，詳情請參見支援的資料來源及同步方案。

• 資料來源的許可權管理，詳情請參見RAM角色授權模式。