全部產品
Search
文件中心

MaxCompute:MaxCompute資料移轉至OTS

更新時間:Jun 19, 2024

本文為您介紹如何將MaxCompute資料移轉至Table Store(Table Store)。

前提條件

操作步驟

  1. 在DataWorks上建立表。

    1. 登入DataWorks控制台

    2. 在左側導覽列,單擊工作空間列表

    3. 單擊相應工作空間操作列的快速進入 > 資料開發

    4. 按右鍵已建立的商務程序,選擇建立 > MaxCompute >

    5. 建立表頁面,選擇引擎類型並輸入表名稱

    6. 在表的編輯頁面,單擊DDL模式

    7. DDL對話方塊,輸入如下建表語句,單擊產生表結構

      create table Transs
      (name    string,
      id    bigint,
      gender    string);
    8. 單擊提交到生產環境

  2. 為表Transs匯入資料。

    1. 資料開發頁面,單擊匯入表徵圖。

    2. 資料匯入嚮導對話方塊,至少輸入3個字母來搜尋需要匯入資料的表,單擊下一步

    3. 選擇資料匯入方式上傳本機資料,單擊選擇檔案後的瀏覽...。選擇本機資料檔案,配置匯入資訊。

      樣本資料如下。

      qwe,145,F
      asd,256,F
      xzc,345,M
      rgth,234,F
      ert,456,F
      dfg,12,M
      tyj,4,M
      bfg,245,M
      nrtjeryj,15,F
      rwh,2344,M
      trh,387,F
      srjeyj,67,M
      saerh,567,M
    4. 單擊下一步

    5. 選擇目標表欄位與源欄位的匹配方式。

    6. 單擊匯入資料

  3. 在Table Store控制台上建立表。

    1. 登入Table Store控制台,建立執行個體。詳情請參見建立執行個體

    2. 建立資料表Trans。詳情請參見建立資料表

  4. 在DataWorks中新增資料來源。

    1. 登入DataWorks控制台

    2. 在左側導覽列,單擊工作空間列表

    3. 單擊相應工作空間操作列的快速進入 > Data Integration

    4. 在左側導覽列上,單擊資料來源,進入資料來源管理頁面。

    5. 單擊新增資料來源,並選擇資料類型為MaxCompute

    6. 新增MaxCompute資料來源對話方塊中配置參數,並單擊完成。詳情請參見配置MaxCompute資料來源

    7. 新增OTS資料來源,詳情請參見配置OTS資料來源

  5. 配置MaxCompute(ODPS)Reader和Table StoreWriter。

    1. 進入資料開發頁面,按右鍵指定商務程序,選擇建立節點 > Data Integration > 離線同步

    2. 建立節點對話方塊中,輸入節點名稱,並單擊確認

    3. 在頂部功能表列上,單擊轉化指令碼表徵圖。

    4. 在指令碼模式下,單擊頂部功能表列上的**表徵圖。

    5. 匯入模板對話方塊中選擇來源類型資料來源目標類型資料來源,並單擊確定

    6. 修改JSON代碼後,單擊運行表徵圖。

      代碼如下。

      {
          "type": "job",
          "steps": [
              {
                  "stepType": "odps",
                  "parameter": {
                      "partition": [],
                      "datasource": "odps_first",
                      "column": [
                          "name",
                          "id",
                          "gender"
                      ],
                      "table": "Transs"
                  },
                  "name": "Reader",
                  "category": "reader"
              },
              {
                  "stepType": "ots",
                  "parameter": {
                      "datasource": "Transs",
                      "column": [
                          {
                              "name": "Gender",
                              "type": "STRING"
                          }
                      ],
                      "writeMode": "UpdateRow",
                      "table": "Trans",
                      "primaryKey": [
                          {
                              "name": "Name",
                              "type": "STRING"
                          },
                          {
                              "name": "ID",
                              "type": "INT"
                          }
                      ]
                  },
                  "name": "Writer",
                  "category": "writer"
              }
          ],
          "version": "2.0",
          "order": {
              "hops": [
                  {
                      "from": "Reader",
                      "to": "Writer"
                  }
              ]
          },
          "setting": {
              "errorLimit": {
                  "record": "0"
              },
              "speed": {
                  "throttle": false,
                  "concurrent": 1,
                  "dmu": 1
              }
          }
      }
  6. 在Table Store控制台中查看新增的表資料。

    1. 登入Table Store控制台

    2. 在左側導覽列上,單擊全部執行個體

    3. 單擊執行個體名稱進入執行個體管理頁面。在資料表列表地區,單擊要查看的資料表名稱。

    4. 單擊頂部資料管理頁簽,查看新增的表資料。