MaxCompute資料移轉至OSS - MaxCompute

本文為您介紹如何使用DataWorks的資料同步功能將MaxCompute資料移轉至Object Storage Service（Object Storage Service）。

前提條件

開通MaxCompute和DataWorks。
在DataWorks上完成建立商務程序，本例使用DataWorks簡單模式。詳情請參見建立商務程序。

操作步驟

在DataWorks上建立表。
1. 登入DataWorks控制台。
2. 在左側導覽列，單擊工作空間列表。
3. 單擊相應工作空間操作列的快速進入 > 資料開發。
4. 按右鍵已建立的商務程序，選擇建立表 > MaxCompute > 表。
5. 在建立表頁面，選擇引擎類型並輸入表名。
6. 在表的編輯頁面，單擊DDL。
7. 在DDL對話方塊，輸入如下建表語句，單擊產生表結構。
```
create table Transs
(name    string,
id    string,
gender    string);
```
8. 單擊提交到生產環境。
為表Transs匯入資料。
1. 在資料開發頁面，單擊表徵圖。
2. 在資料匯入嚮導對話方塊，至少輸入3個字母來搜尋需要匯入資料的表，單擊下一步。
3. 選擇資料匯入方式為上傳本機資料，單擊選擇檔案後的瀏覽...。選擇本機資料檔案，配置匯入資訊。
  樣本資料如下。
```
qwe,145,F
asd,256,F
xzc,345,M
rgth,234,F
ert,456,F
dfg,12,M
tyj,4,M
bfg,245,M
nrtjeryj,15,F
rwh,2344,M
trh,387,F
srjeyj,67,M
saerh,567,M
```
4. 單擊下一步。
5. 選擇目標表欄位與源欄位的匹配方式。
6. 單擊匯入資料。
在OSS控制台上建立表。
1. 登入OSS控制台，建立Bucket。詳情請參見控制台建立儲存空間。
2. 上傳檔案qwee.csv至OSS。詳情請參見控制台上傳檔案。
  說明
  請確保qwee.csv檔案中的欄位與表Transs的欄位完全一致。
在DataWorks上新增資料來源。
1. 登入DataWorks控制台。
2. 在左側導覽列，單擊工作空間列表。
3. 單擊相應工作空間操作列的快速進入 > Data Integration。
4. 在左側導覽列上，單擊資料來源，進入資料來源管理頁面。
5. 單擊新增資料來源，並選擇資料類型為MaxCompute。
6. 在新增MaxCompute資料來源對話方塊中配置參數，並單擊完成。詳情請參見配置MaxCompute資料來源。
7. 新增OSS資料來源，詳情請參見配置OSS資料來源。

配置MaxCompute（ODPS）Reader和Object Storage ServiceWriter。

進入資料開發頁面，按右鍵指定商務程序，選擇建立節點 > Data Integration > 離線同步。
在建立節點對話方塊中，輸入節點名稱，並單擊確認。
在頂部功能表列上，單擊表徵圖。
在指令碼模式下，單擊頂部功能表列上的表徵圖。
在匯入模板對話方塊中選擇來源類型、資料來源、目標類型及資料來源，並單擊確定。

修改JSON代碼後，單擊表徵圖。

範例程式碼如下。

{
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    },
    "setting":{
        "errorLimit":{
            "record":"0"
        },
        "speed":{
            "concurrent":1,
            "dmu":1,
            "throttle":false
        }
    },
    "steps":[
        {
            "category":"reader",
            "name":"Reader",
            "parameter":{
                "column":[
                    "name",
                    "id",
                    "gender"
                ],
                "datasource":"odps_first",
                "partition":[],
                "table":"Transs"
            },
            "stepType":"odps"
        },
        {
            "category":"writer",
            "name":"Writer",
            "parameter":{
                "datasource":"Trans",
                "dateFormat":"yyyy-MM-dd HH:mm:ss",
                "encoding":"UTF-8",
                "fieldDelimiter":",",
                "fileFormat":"csv",
                "nullFormat":"null",
                "object":"qweee.csv",
                "writeMode":"truncate"
            },
            "stepType":"oss"
        }
    ],
    "type":"job",
    "version":"2.0"
}

在OSS控制台中查看新增的表資料。詳情請參見控制台下載檔案。