Tablestore：匯出全量資料到OSS

（推薦）嚮導模式

1. 在配置任務步驟的配置資料來源與去向地區，根據實際配置資料來源和資料去向。

   資料來源配置

   參數	說明
   表	Tablestore中的資料表名稱。
   主鍵區間分布（起始）	資料讀取的起始主鍵和結束主鍵，格式為JSON數組。 起始主鍵和結束主鍵需要是有效主鍵或者是由INF_MIN和INF_MAX類型組成的虛擬點，虛擬點的列數必須與主鍵相同。 其中INF_MIN表示無限小，任何類型的值都比它大；INF_MAX表示無限大，任何類型的值都比它小。 資料表中的行按主鍵從小到大排序，讀取範圍是一個左閉右開的區間，返回的是大於等於起始主鍵且小於結束主鍵的所有的行。 假設表包含pk1（String類型）和pk2（Integer類型）兩個主鍵列。 如果需要匯出全表資料，則配置樣本如下： 主鍵區間分布（起始）的配置樣本 [ { "type": "INF_MIN" }, { "type": "INF_MIN" } ] 主鍵區間分布（結束）的配置樣本 [ { "type": "INF_MAX" }, { "type": "INF_MAX" } ] 如果需要匯出pk1="tablestore" 的行，則配置樣本如下： 主鍵區間分布（起始）的配置樣本 [ { "type": "STRING", "value": "tablestore" }, { "type": "INF_MIN" } ] 主鍵區間分布（結束）的配置樣本 [ { "type": "STRING", "value": "tablestore" }, { "type": "INF_MAX" } ]
   主鍵區間分布（結束）
   切分配置資訊	自訂切分配置資訊，普通情況下不建議配置。當Tablestore資料存放區發生熱點，且使用Tablestore Reader自動切分的策略不能生效時，建議使用自訂的切分規則。切分指定的是在主鍵起始和結束區間內的切分點，僅配置切分鍵，無需指定全部的主鍵。格式為JSON數組。

   資料去向配置

   參數	說明
   文本類型	寫入OSS的檔案類型，例如csv、txt。 說明 不同檔案類型支援的配置有差異，請以實際介面為準。
   檔案名稱(含路徑)	當設定文本類型為text、csv或orc時才能配置該參數。 OSS中的檔案名稱，支援帶有路徑，例如tablestore/20231130/myotsdata.csv。
   檔案路徑	當設定文本類型為parquet時才能配置該參數。 檔案在OSS上的路徑，例如tablestore/20231130/。
   檔案名稱	當設定文本類型為parquet時才能配置該參數。 OSS中的檔案名稱。
   資料行分隔符號	當設定文本類型為text或csv時才能配置該參數。 寫入OSS檔案時，列之間使用的分隔字元。
   行分隔字元	當設定文本類型為text時才能配置才參數。 自訂的行分隔字元，用來分隔不同資料行。例如配置為 \u0001。您需要使用資料中不存在的分隔字元作為行分隔字元。 如果要使用Linux或Windows平台的預設行分隔字元（\n、\r\n）建議置空此配置，平台能自適應讀取。
   編碼	當設定文本類型為text或csv時才能配置該參數。 寫入檔案的編碼配置。
   null值	當設定文本類型為text、csv或orc時才能配置該參數。 來源資料源中可以表示為null的字串，例如配置為null，如果來源資料是null，則系統會視作null欄位。
   時間格式	當設定文本類型為text或csv時才能配置該參數。 日期類型的資料寫入到OSS檔案時的時間格式，例如yyyy-MM-dd。
   首碼衝突	當設定的檔案名稱與OSS中已有檔案名稱衝突時的處理方法。取值範圍如下： 替換：刪除原始檔案，重建一個同名檔案。 保留：保留原始檔案，重建一個新檔案，名稱為原檔案名稱加隨機尾碼。 報錯：同步任務停止執行。
   切分檔案	當設定文本類型為text或csv時才能配置該參數。 寫入OSS檔案時，單個Object檔案的最大大小。單位為MB。最大值為100 GB。當檔案大小超過指定的切分檔案大小時，系統會產生新檔案繼續寫入資料，直到完成所有資料寫入。
   寫為一個檔案	當設定文本類型為text或csv時才能配置該參數。 寫入資料到OSS時，是否寫單個檔案。預設寫多個檔案，當讀不到任何資料時，如果配置了檔案頭，則會輸出只包含檔案頭的空檔案，否則只輸出空檔案。 如果需要寫入到單個檔案，請選中寫為一個檔案複選框。此時當讀不到任何資料時， 不會產生空檔案。
   首行輸出表頭	當設定文本類型為text或csv時才能配置該參數。 寫入檔案時第一行是否輸出表頭。預設不輸出表頭。如果需要在第一行輸出表頭，請選中首行輸出表頭複選框。

2. 在欄位對應地區，單擊來源欄位後的表徵圖，手動編輯要同步到OSS的來源欄位，目標欄位無需配置。

3. 在通道控制地區，配置任務運行參數，例如任務期望最大並發數、同步速率、髒資料同步策略、分散式處理能力等。關於參數配置的更多資訊，請參見配置通道。

4. 單擊表徵圖，儲存配置。

   說明

   執行後續操作時，如果未儲存配置，則系統會出現儲存確認的提示，單擊確認即可。

指令碼模式

全量資料的同步需要使用到Tablestore（OTS） Reader和OSS Writer外掛程式。指令碼配置規則請參見Tablestore資料來源和OSS資料來源。

1. 在配置任務步驟，單擊表徵圖，然後在彈出的對話方塊中單擊確認。

2. 在指令碼配置頁面，請根據如下樣本完成配置。

   重要

   • 由於全量匯出一般是一次性的，所以無需配置自動調度參數。如果需要配置調度參數，請參見增量同步處理中的調度參數配置。

   • 如果在指令碼配置中存在變數，例如存在${date}，則需要在運行同步任務時設定變數的具體值。

   • 為了便於理解，在配置樣本中增加了注釋內容，實際使用指令碼時請刪除所有注釋內容。

   {
       "type": "job", //不能修改。
       "version": "2.0", //版本號碼，不能修改。
       "steps": [
           {
               "stepType":"ots",//外掛程式名，不能修改。
               "parameter":{
                   "datasource":"otssource",//Table Store資料來源名稱，請根據實際填寫。
                   "newVersion":"true",//使用新版otsreader。
                   "mode": "normal",// 行模式讀取資料。
                   "isTimeseriesTable":"false",// 配置該表為寬表（非時序表）。
                   "column":[//需要匯出到OSS的列名，不能設定為空白。
                       {
                           "name":"column1"//Tablestore中列名，此列需要匯入到OSS。
                       },
                       {
                           "name":"column2"
                       },
                       {
                           "name":"column3"
                       },
                       {
                           "name":"column4"
                       },
                       {
                           "name":"column5"
                       }
                   ],
                   "range":{
                       "split":[ //用於配置Tablestore的資料表的分區資訊，可以加速匯出。一般情況下無需配置。
                       ],
                       "end":[//Tablestore中結束主鍵資訊。如果需要匯出全量資料，此處請配置為INF_MAX；如果只需匯出部分資料，則按需配置。當資料表存在多個主鍵列時，此處end中需要配置對應主鍵列資訊。
                           {
                               "type":"STRING",
                               "value":"endValue"
                           },
                           {
                               "type":"INT",
                               "value":"100"
                           },
                           {
                               "type":"INF_MAX"
                           },
                           {
                               "type":"INF_MAX"
                           }
                       ],
                       "begin":[//Tablestore中起始主鍵資訊。如果需要匯出全量資料，此處請配置為INF_MIN；如果只需匯出部分資料，則按需配置。當資料表存在多個主鍵列時，此處begin中需要配置對應主鍵列資訊。
                           {
                               "type":"STRING",
                               "value":"beginValue"
                           },
                           {
                               "type":"INT",
                               "value":"0"
                           },
                           {
                               "type":"INF_MIN"
                           },
                           {
                               "type":"INF_MIN"
                           }
                       ]
                   },
                   "table":"datatable"//Tablestore中的資料表名稱。
               },
               "name":"Reader",
               "category":"reader"
           },
           {
               "stepType": "oss",//外掛程式名，不能修改。
               "parameter": {
                   "nullFormat": "null", //定義null值的字串標識符方式，可以是Null 字元串。
                   "dateFormat": "yyyy-MM-dd HH:mm:ss",//日期格式。
                   "datasource": "osssource", //OSS資料來源名稱，請根據實際填寫。
                   "envType": 1,
                   "writeSingleObject": true, //將同步資料寫入單個oss檔案。
                   "writeMode": "truncate", //當同名檔案存在時系統進行的操作，全量匯出時請使用truncate，可選值包括truncate、append和nonConflict。truncate表示會清理已存在的同名檔案，append表示會增加到已存在的同名檔案內容後面，nonConflict表示當同名檔案存在時會報錯。
                   "encoding": "UTF-8", //編碼類別型。
                   "fieldDelimiter": ",", //每一列的分隔字元。
                   "fileFormat": "csv", //匯出的文本類型，取值範圍包括csv、text、parquet和orc。
                   "object": "tablestore/20231130/myotsdata.csv" //Object的首碼，無需包括Bucket名稱，例如tablestore/20231130/。如果是定時匯出，則此處需要使用變數，例如tablestore/${date}，然後在配置調度參數時配置${date}的值。
               },
               "name": "Writer",
               "category": "writer"
           },
           {
               "name": "Processor",
               "stepType": null,
               "category": "processor",
               "copies": 1,
               "parameter": {
                   "nodes": [],
                   "edges": [],
                   "groups": [],
                   "version": "2.0"
               }
           }
       ],
       "setting": {
           "executeMode": null,
           "errorLimit": {
               "record": "0" //當錯誤個數超過record個數時，匯入任務會失敗。
           },
           "speed": {
               "concurrent": 2, //並發度。
               "throttle": false
           }
       },
       "order": {
           "hops": [
               {
                   "from": "Reader",
                   "to": "Writer"
               }
           ]
       }
   }

3. 單擊表徵圖，儲存配置。

   說明

   執行後續操作時，如果未儲存指令碼，則系統會出現儲存確認的提示，單擊確認即可。