DataWorks：OSS-HDFS資料來源

使用限制

實現過程

支援的欄位類型

離線讀

ParquetFile、ORCFile、TextFile、CsvFile中的類型，會預設轉為Data Integration支援的內部類型，如下表所示。

離線寫

OSS-HDFS Writer提供向OSS-HDFS檔案系統指定路徑中寫入TextFile檔案、 ORCFile檔案以及ParquetFile格式檔案。

資料同步任務開發

OSS-HDFS資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立OSS-HDFS資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：OSS-HDFS指令碼Demo與參數說明。

單表即時同步任務配置指導

操作流程請參見配置單表增量資料即時同步、DataStudio側即時同步任務配置。

整庫（即時）全增量同步處理配置指導

操作流程請參見Data Integration側同步任務配置。

附錄：OSS-HDFS指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

Reader指令碼Demo

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oss_hdfs",//外掛程式名
            "parameter": {
                "path": "",//要讀取的檔案路徑
                "datasource": "",//資料來源
                "column": [
                    {
                        "index": 0,//序號,index從0開始（下標索引從0開始計數），表示從本地文字檔第一列開始讀取資料。
                        "type": "string"//欄位類型
                    },
                    {
                        "index": 1,
                        "type": "long"
                    },
                    {
                        "index": 2,
                        "type": "double"
                    },
                    {
                        "index": 3,
                        "type": "boolean"
                    },
                    {
                        "format": "yyyy-MM-dd HH:mm:ss", //日期格式
                        "index": 4,
                        "type": "date"
                    }
                ],
                "fieldDelimiter": ",",//資料行分隔符號
                "encoding": "UTF-8",//編碼格式
                "fileFormat": ""//文本類型
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""//錯誤記錄數
        },
        "speed": {
            "concurrent": 3,//作業並發數
            "throttle": true //當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Reader指令碼參數

{
  "type": "long",
  "index": 0
  //從本地檔案文本第一列（下標索引從0開始計數）擷取LONG欄位，index表示從資料檔案中擷取列資料。
},
{
  "type": "string",
  "value": "alibaba"
  //HDFS Reader內部產生alibaba的字串欄位作為當前欄位，value表示常量列。
}

Writer指令碼Demo

{
    "type": "job",
    "version": "2.0",//版本號碼。
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss_hdfs",//外掛程式名。
            "parameter": {
                "path": "",//儲存到OSS-HDFS檔案系統的路徑資訊。
                "fileName": "",//OSS-HDFS Writer寫入時的檔案名稱。
                "compress": "",//OSS-HDFS檔案壓縮類型。
                "datasource": "",//資料來源。
                "column": [
                    {
                        "name": "col1",//欄位名。
                        "type": "string"//欄位類型。
                    },
                    {
                        "name": "col2",
                        "type": "int"
                    },
                    {
                        "name": "col3",
                        "type": "double"
                    },
                    {
                        "name": "col4",
                        "type": "boolean"
                    },
                    {
                        "name": "col5",
                        "type": "date"
                    }
                ],
                "writeMode": "",//寫入模式。
                "fieldDelimiter": ",",//資料行分隔符號。
                "encoding": "",//編碼格式。
                "fileFormat": "text"//文本類型。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""//錯誤記錄數。
        },
        "speed": {
            "concurrent": 3,//作業並發數。
            "throttle": false //false代表不限流，下面的限流的速度不生效；true代表限流。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Writer指令碼參數

{
    "column":
    [
        {
            "name": "userName",
            "type": "string"
        },
        {
            "name": "age",
            "type": "long"
        }
    ]
}

message Message名 {
是否必填 資料類型 列名;
.....................;
}

message m {
optional int64 id;
optional int64 date_id;
optional binary datetimestring;
optional int32 dspId;
optional int32 advertiserId;
optional int32 status;
optional int64 bidding_req_num;
optional int64 imp;
optional int64 click_num;
}