Tablestore：Data Integration服務

請確保已完成以下準備工作後再進行後續操作。

• 已確認和記錄MaxCompute中要同步到Table Store的表資訊。

• 已建立RAM使用者並為RAM使用者授予管理Table Store許可權（AliyunOTSFullAccess）和管理DataWorks許可權（AliyunDataWorksFullAccess）。具體操作，請參見建立RAM使用者和為RAM使用者授權。

• 已為RAM使用者建立AccessKey。具體操作，請參見建立AccessKey。

• 已開通DataWorks服務並建立工作空間。具體操作，請參見開通DataWorks服務和建立工作空間。

• 已開通Table Store服務，建立Table Store執行個體以及建立資料表。具體操作，請參見開通Table Store服務、建立執行個體和建立資料表。

  重要

  Table Store中資料表主鍵的名稱和類型必須與MaxCompute中要寫入主鍵的名稱和類型相匹配。Table Store中資料表屬性列不需要定義，屬性列的列名可在寫入資料時指定。

此處以建立Table Store資料來源為例介紹資料來源的新增操作，請根據實際建立所需資料來源。

1. 進入Data Integration頁面。

   1. 以專案系統管理員身份登入DataWorks控制台。

   2. 在左側導覽列，單擊工作空間列表後，選擇地區。

   3. 在工作空間列表頁面，在目標工作空間操作列選擇快速進入>Data Integration。

2. 在左側導覽列，單擊資料來源。

3. 在資料來源列表頁面，單擊新增資料來源。

4. 在新增資料來源對話方塊，找到Tablestore區塊，單擊Tablestore。

5. 在新增OTS資料來源對話方塊，根據下表配置資料來源參數。

   參數	說明
   資料來源名稱	資料來源名稱必須以字母、數字、底線（_）組合，且不能以數字和底線（_）開頭。
   資料來源描述	對資料來源進行簡單描述，不得超過80個字元。
   Endpoint	Tablestore執行個體的服務地址。更多資訊，請參見服務地址。 如果Tablestore執行個體和目標資料來源的資源在同一個地區，填寫VPC地址；如果Tablestore執行個體和目標資料來源的資源不在同一個地區，填寫公網地址。
   Table Store執行個體名稱	Tablestore執行個體的名稱。更多資訊，請參見執行個體。
   AccessKey ID	阿里雲帳號或者RAM使用者的AccessKey ID和AccessKey Secret。擷取方式請參見建立AccessKey。
   AccessKey Secret

6. 測試資源群組連通性。

   建立資料來源時，您需要測試資源群組的連通性，以保證同步任務使用的資源群組能夠與資料來源連通，否則將無法正常執行資料同步任務。

   重要

   資料同步時，一個任務只能使用一種資源群組。資源群組列表預設顯示僅Data Integration公用資源群組。為確保資料同步的穩定性和效能要求，推薦使用獨享Data Integration資源群組。

   1. 單擊前往購買進行全新建立並綁定資源群組到工作空間或單擊綁定已購資源群組為工作空間綁定已有資源群組。具體操作，請參見新增和使用獨享Data Integration資源群組。

   2. 待資源群組啟動成功後，單擊相應資源群組連通狀態（生產環境）列的測試連通性。

      當連通狀態顯示為可連通時，表示連通成功。

7. 測試連通性通過後，單擊完成。

   在資料來源列表中，可以查看建立的資料來源。

1. 新增同步任務節點。

   1. 進入資料開發頁面。

      1. 以專案系統管理員身份登入DataWorks控制台。

         重要

         僅專案系統管理員角色可以新增資料來源，其他角色的成員僅可查看資料來源。

      2. 在左側導覽列，單擊工作空間列表後，選擇地區。

      3. 在工作空間列表頁面，在目標工作空間操作列選擇快速進入>資料開發。

   2. 在DataStudio控制台的資料開發頁面，單擊商務程序節點下的目標商務程序。

      如果需要建立商務程序，請參見建立商務程序。

   3. 在Data Integration節點上右鍵選擇建立節點 > 離線同步。

   4. 在建立節點對話方塊，輸入名稱，然後單擊確認。

      在Data Integration節點下會顯示建立的離線同步節點。

2. 配置網路與資源鏈路。

   選擇離線同步任務的資料來源、資料去向以及用於執行同步任務的資源群組，並測試連通性。

   1. 在Data Integration節點下，雙擊開啟建立的離線同步任務節點。

   2. 在網路與資源配置步驟，選擇資料來源為MaxCompute(ODPS)，並選擇資料來源名稱為MaxCompute資料來源。

   3. 選擇資源群組。

      選擇資源群組後，系統會顯示資源群組的地區、規格等資訊以及自動化的測試資源群組與所選資料來源之間的連通性。

      重要

      請與新增資料來源時選擇的資源群組保持一致。

   4. 選擇資料去向為OTS，並選擇資料來源名稱為Table Store資料來源。

      系統會自動化的測試資源群組與所選資料來源之間連通性。

   5. 測試資料來源可連通後，單擊下一步。

3. 配置資料來源與資料去向。

   1. 在配置資料來源與去向地區，根據下表說明配置資料來源。

      參數	說明
      Tunnel資源群組	MaxCompute的資料轉送資源。預設值為公用傳輸資源，即MaxCompute的免費配額。
      表	MaxCompute中的表名稱。
      分區資訊	讀取的資料所在的分區資訊。

   2. 在配置資料來源與去向地區，根據下表說明配置資料去向。

      參數	說明
      表	Tablestore中的資料表名稱。
      主鍵資訊	Table Store資料表的主鍵資訊，以JSON格式的數組表示。資料表的主鍵由1~4個主鍵列組成，請根據實際主鍵列個數進行配置。 重要 主鍵資訊的主鍵列個數、順序以及類型必須與資料表中實際的主鍵配置資訊一致。 配置樣本如下： [ { "name": "pk", "type": "string" } ]
      寫入模式	資料寫入Table Store的模式。取值範圍如下： PutRow：對應於Tablestore API PutRow，插入資料到指定的行。如果該行不存在，則新增一行。如果該行存在，則覆蓋原有行。 UpdateRow：對應於Tablestore API UpdateRow，更新指定行的資料。如果該行不存在，則新增一行。如果該行存在，則根據請求的內容在這一行中新增、修改或者刪除指定列的值。

4. 配置欄位對應關係。

   選擇資料來源和資料去向後，需要指定讀取端列和寫入端列的映射關係，配置欄位對應關係後，任務將根據欄位對應關係，將源端欄位寫入目標端對應類型的欄位中。系統預設按同行映射執列欄位映射。

   重要

   • 如需改變映射順序，您可以單擊來源欄位後的目標欄位後的表徵圖進行編輯。其中來源欄位中的單個欄位直接填寫欄位名稱即可，目標欄位中的單個欄位要以JSON格式表示，例如{"name":"age","type":"INTEGER"}。一行表示一個欄位。

   • Table Store中資料表屬性列的資料類型必須與MaxCompute中要寫入欄位的資料類型相匹配。資料表屬性列的名稱可與MaxCompute中要寫入的欄位名稱不同，

   由於資料去向參數中預設會配置主鍵列資訊，因此您需要手動刪除目標欄位中的主鍵列資訊，否則任務執行失敗。

   1. 單擊目標欄位後的表徵圖。

   2. 在手動編輯表欄位對話方塊中，刪除目標欄位中的主鍵列資訊，並根據需要增加或修改屬性列資訊。

   3. 單擊確認。

5. 配置通道。

   在通道控制地區，配置任務運行參數，例如同步速率、髒資料同步策略等。關於參數配置的更多資訊，請參見配置通道。

6. 單擊表徵圖，儲存配置。

   說明

   執行後續操作時，如果未儲存配置，則系統會出現儲存確認的提示，單擊確認即可。

7. 執行同步任務。

   重要

   全量資料一般只需要同步一次，無需配置調度屬性。

   1. 單擊表徵圖。

   2. 在參數對話方塊，選擇運行資源群組的名稱。

   3. 單擊運行。

      運行結束後，在同步任務的作業記錄頁簽，單擊Detail log url對應的連結後。在任務的詳細作業記錄頁面，查看Current task status對應的狀態。

      當Current task status的值為FINISH時，表示任務運行完成。

在Table Store控制台查看錶格儲存資料同步結果。

1. 登入Table Store控制台。

2. 在概覽頁面上方，選擇地區。

3. 單擊執行個體名稱。

4. 在執行個體詳情頁簽下的資料表列表頁簽，單擊目標資料表名稱。

5. 在資料管理頁簽，即可查看同步到該資料表中的資料。