DataWorks：MaxCompute資料來源

MaxCompute Reader針對MaxCompute的類型轉換列表，如下所示。

您可以使用Project Owner帳號在用戶端執行以下命令開啟acid屬性，關於MaxCompute ACID語義說明，詳情請參見ACID語義。

setproject odps.sql.acid.table.enable=true;

如果需要使用MaxCompute資料2.0類型中的timestamp類型，您需要使用Project Owner帳號在用戶端執行以下命令開啟資料2.0。

setproject odps.sql.type.system.odps2=true;

工作空間綁定MaxCompute引擎時，預設將在DataWorks產生一個MaxCompute資料來源，在當前工作空間可使用該預設引擎資料來源進行資料同步，若您需要在其他空間同步當前工作空間的MaxCompute資料來源，您需要建立Accesskey ID和Accesskey Secret，以便在其他工作空間建立資料來源並使用該資料來源時，可基於您的身份訪問該引擎資料。

• 建立個人Accesskey ID和Accesskey Secret，操作詳情請參見準備阿里雲帳號。

• 建立MaxCompute資料來源，詳情請參見配置MaxCompute資料來源。

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"odps",//外掛程式名。
            "parameter":{
                "partition":[],//讀取資料所在的分區。
                "isCompress":false,//是否壓縮。
                "datasource":"",//資料來源。
                "column":[//源頭表的列資訊。
                    "id"
                ],
                "table":""//表名。
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

如果您需要指定MaxCompute的Tunnel Endpoint，可以通過指令碼模式手動設定資料來源。將上述樣本中的"datasource":"",替換為資料來源的具體參數，樣本如下。

"accessId":"*******************",
"accessKey":"*******************",
"endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
"odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"*****", 

指令碼配置範例如下。

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"odps",//外掛程式名。
            "parameter":{
                "partition":"",//分區資訊。
                "truncate":true,//清理規則。
                "compress":false,//是否壓縮。
                "datasource":"odps_first",//資料來源名。
            "column": [//源端列名。
                "id",
                "name",
                "age",
                "sex",
                "salary",
                "interest"
                ],
                "table":""//表名。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數，表示髒資料的最大容忍條數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

如果您需要指定MaxCompute的Tunnel Endpoint，可以通過指令碼模式手動設定資料來源：將上述樣本中的"datasource":"",替換為資料來源的具體參數，樣本如下。

"accessId":"<yourAccessKeyId>",
 "accessKey":"<yourAccessKeySecret>",
 "endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
 "odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"**********",