DataWorks：FTP資料來源

使用限制

FTP Reader實現了從遠程FTP檔案讀取資料並轉為資料同步協議的功能，遠程FTP檔案本身是無結構化資料存放區。對於資料同步而言，目前FTP Reader支援的功能如下所示：

支援的欄位類型

資料同步任務開發

FTP資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

附錄：指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

Reader指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"ftp",//外掛程式名。
            "parameter":{
                "path":[],//檔案路徑。
                "nullFormat":"",//null值。
                "compress":"",//壓縮格式。
                "datasource":"",//資料來源。
                "column":[//欄位。
                    {
                        "index":0,//序號。
                        "type":""//欄位類型。
                    }
                ],
                "skipHeader":"",//是否包含表頭。
                "fieldDelimiter":",",//資料行分隔符號。
                "encoding":"UTF-8",//編碼格式。
                "fileFormat":"csv"//文本類型。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
        "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1 //作業並發數。
            "mbps":"12",//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader指令碼參數

{
    "type": "long",
    "index": 0    //從遠程FTP檔案文本第一列擷取INT欄位。
  },
  {
    "type": "string",
    "value": "alibaba"  //從FTP Reader內部產生alibaba的字串欄位作為當前欄位。
  }

Writer指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ftp",//外掛程式名。
            "parameter":{
                "path":"",//檔案路徑。
                "fileName":"",//檔案名稱。
                "nullFormat":"null",//null值。
                "dateFormat":"yyyy-MM-dd HH:mm:ss",//時間格式。
                "datasource":"",//資料來源。
                "writeMode":"",//寫入模式。
                "fieldDelimiter":",",//資料行分隔符號。
                "encoding":"",//編碼格式。
                "fileFormat":""//文本類型。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer指令碼參數