當您的現有業務對資料庫的並發讀寫、擴充性和可用性的要求較高，且需要使用複雜的檢索或巨量資料分析時，如果原有資料庫的資料架構不能滿足現在的業務需求或改造成本較大，則您可以通過DataWorksData Integration服務將現有資料庫中的資料移轉到Tablestore表中儲存和使用。您還可以通過DataWorksData Integration服務實現Table Store表中資料的跨執行個體或者跨帳號遷移以及將Table Store資料移轉到OSS或者MaxCompute中備份和使用。
應用情境
DataWorksData Integration是穩定高效、Auto Scaling的資料同步平台，適用於MySQL、Oracle、MaxCompute、Tablestore等多種異構資料來源之間的資料移轉與同步。
Table Store支援通過DataWorksData Integration實現的資料移轉情境包括將資料庫資料移轉到Table Store、Table Store資料跨執行個體或者跨帳號遷移同步和將Table Store資料移轉到OSS或者MaxCompute。
將資料庫資料移轉到Table Store
DataWorks提供各種異構資料來源之間穩定高效的資料同步功能，可以實現將多種資料庫遷移到Table Store。
DataWorks支援的資料來源與讀寫外掛程式詳情請參見DataWorks支援的資料來源與讀寫外掛程式。
Table Store資料跨執行個體或者跨帳號遷移同步
通過在DataWorks中配置Table Store相關的Reader和Writer外掛程式，即可以完成Table Store資料表或者時序表的資料複製。Table Store相關的外掛程式說明請參見下表。
外掛程式 | 說明 |
OTSReader | 用於讀取Table Store表中的資料，並可以通過指定抽取資料範圍實現資料增量抽取的需求。 |
OTSStreamReader | 用於增量匯出Table Store表中的資料。 |
OTSWriter | 用於向Table Store中寫入資料。 |
將Table Store資料移轉到OSS或者MaxCompute
Table Store資料支援遷移到OSS或者MaxCompute，請根據實際情境選擇。
雲原生MaxCompute（MaxCompute）是一種快速、完全託管的TB/PB級資料倉儲解決方案。您可以使用MaxCompute備份Table Store資料或將Table Store資料移轉到MaxCompute中使用。
阿里雲Object Storage Service（Object Storage Service）是一款海量、安全、低成本、高可靠的雲端儲存體服務。您可以使用OSS備份Table Store資料或者將Table Store資料同步到OSS後下載檔案到本地。
遷移方案
請根據實際業務需求通過DataWorksData Integration實現Table Store與不同資料來源之間的資料移轉。
資料匯入的遷移方案包括同步MySQL資料到Table Store、同步Oracle資料到Table Store、同步Kafka資料到Table Store、同步HBase資料到Table Store、同步MaxCompute資料到Table Store、同步Table Store資料表中資料到另一個資料表和同步Table Store時序表中資料到另一個時序表。
資料匯出的遷移方案包括同步Table Store資料到MaxCompute和同步Table Store資料到OSS。
資料匯入
資料匯入相關的遷移方案說明請參見下表。
遷移方案 | 說明 |
同步MySQL資料到Table Store | MySQL資料庫中的資料只能遷移到Table Store的資料表中。 遷移過程中會使用到MySQL的Reader指令碼配置和Table Store的Writer指令碼配置，具體資料來源配置如下：
|
同步Oracle資料到Table Store | Oracle資料庫中的資料只能遷移到Table Store的資料表中。 遷移過程中會使用到Oracle的Reader指令碼配置和Table Store的Writer指令碼配置。具體資料來源配置如下：
|
同步Kafka資料到Table Store | Kafka中的資料支援遷移到Table Store的資料表或者時序表中。 重要
遷移過程中會使用到Kafka的Reader指令碼配置和Table Store的Writer指令碼配置。具體資料來源配置如下：
|
同步HBase資料到Table Store | HBase資料庫中資料只支援遷移到Table Store的資料表中。 遷移過程中會使用到HBase的Reader指令碼配置和Table Store的Writer指令碼配置。具體資料來源配置如下：
|
同步MaxCompute資料到Table Store | MaxCompute的資料只支援遷移到Table Store的資料表中。 遷移過程中會使用到MaxCompute的Reader指令碼配置和Table Store的Writer指令碼配置。具體資料來源配置如下：
|
同步PolarDB-X 2.0資料到Table Store | PolarDB-X 2.0的資料只支援遷移到Table Store的資料表中。 遷移過程中會使用到PolarDB-X 2.0的Reader指令碼配置和Table Store的Writer指令碼配置，具體資料來源配置如下：
|
同步Table Store資料表中資料到另一個資料表 | Table Store資料表資料只支援遷移到Table Store另一個資料表中。 遷移過程中會使用到Table Store的Reader指令碼配置和Writer指令碼配置，具體資料來源配置請參見Tablestore資料來源。實際使用過程中請參考讀寫寬表資料的相關內容進行配置。 |
同步Table Store時序表中資料到另一個時序表 | Table Store時序表資料只支援遷移到Table Store另一個時序表中。 遷移過程中會使用到Table Store的Reader指令碼配置和Writer指令碼配置，具體資料來源配置請參見Tablestore資料來源。實際使用過程中請參考讀寫時序資料的相關內容進行配置。 |
資料匯出
資料匯出相關的遷移方案說明請參見下表。
遷移方案 | 說明 |
同步Table Store資料到MaxCompute | 您可以使用MaxCompute備份Table Store資料或者將Table Store資料移轉到MaxCompute中使用。 遷移過程中會使用到Table Store的Reader指令碼配置和MaxCompute的Writer指令碼配置。具體資料來源配置如下：
|
同步Table Store資料到OSS | 同步到OSS中的檔案可自由下載，也可作為Table Store資料的備份儲存於OSS。 遷移過程中會使用到Table Store的Reader指令碼配置和OSS的Writer指令碼配置。具體資料來源配置如下：
|
前提條件
確定遷移方案後，完成相應準備工作。
已確保來源資料源和DataWorks之間以及目標資料來源和DataWorks之間的網路連通。
已完成來源資料源的版本確認、帳號準備、許可權配置、產品特有配置等操作。更多資訊，請參見相應資料來源文檔中的配置要求。
已完成目標資料來源的服務開通、所需資源建立等操作。更多資訊，請參見相應資料來源文檔中的配置要求。
注意事項
如果使用過程中遇到任何問題，請提交工單聯絡我們。
請確保DataWorksData Integration服務支援遷移相應產品版本的資料。
目標資料來源的資料類型必須與來源資料源的資料類型相匹配，否則遷移過程中會產生髒資料。
確定遷移方案後，請務必仔細閱讀相應資料來源文檔中的使用限制、注意事項等資訊。
遷移Kafka資料前，請務必根據實際業務情境選擇合適的Table Store資料模型儲存資料。
配置流程
請根據遷移方案瞭解通過DataWorksData Integration實現資料移轉的配置流程。
具體步驟說明請參見下表。
序號 | 步驟 | 說明 |
1 | 請根據遷移方案建立所需資料來源。
| |
2 | DataWorksData Integration提供嚮導式的開發引導，通過可視化的填寫和下一步的引導，助您快速完成資料同步任務的配置工作。嚮導模式的學習成本低，但無法支援部分進階功能。 | |
3 | 資料移轉結果驗證 | 請根據遷移方案在相應資料來源中查看匯入的資料。
|
配置樣本
資料匯入
通過DataWorksData Integration，您可以將MySQL、Oracle、MaxCompute等資料庫中的資料同步至Table Store的資料表，或實現跨帳號、跨執行個體的Table Store資料同步。例如同步資料表資料到另一個資料表等。
此處以使用嚮導模式同步MaxCompute資料至Table Store資料表為例，介紹具體操作。
準備工作
在進行後續操作之前，請確保已完成以下準備工作。
已擷取MaxCompute專案和源表資訊。
已開通Table Store服務、建立執行個體及建立目標資料表，並擷取執行個體名稱、執行個體訪問地址、地區ID等資訊。
說明Table Store資料表的主鍵結構（包括資料類型及順序）必須與MaxCompute源表的主鍵相匹配。資料表的屬性列無需預先定義，將在資料寫入時動態指定。
已為阿里雲帳號或RAM使用者（具備Tablestore與MaxCompute服務的許可權）建立AccessKey。
已開通DataWorks服務，並在MaxCompute執行個體或Tablestore執行個體所在地區建立工作空間。
如果MaxCompute執行個體和Tablestore執行個體不在同一地區，請參考以下操作步驟建立VPC對等串連實現跨地區網路連通。
此處以DataWorks工作空間與MaxCompute執行個體位於同一地區（華東1（杭州）），而Tablestore執行個體位於華東2（上海）為例進行說明。
為Tablestore執行個體綁定VPC。
登入Table Store控制台，在頁面上方選擇地區。
單擊執行個體別名進入執行個體管理頁面。
切換到網路管理頁簽，單擊綁定VPC，選擇VPC和交換器並填寫VPC名稱，然後單擊確定。
請耐心等待一段時間，VPC綁定成功後頁面將自動重新整理，您可以在VPC列表查看綁定的VPC ID和VPC訪問地址。
說明後續在DataWorks控制台添加Tablestore資料來源時，將使用該VPC訪問地址。
擷取DataWorks工作空間資源群組的VPC資訊。
登入DataWorks控制台，在頁面上方選擇工作空間所在地區，然後單擊左側工作空間菜單，進入工作空間列表頁面。
單擊工作空間名稱進入空間詳情頁面，單擊左側資源群組菜單，查看工作空間綁定的資源群組列表。
在目標資源群組右側單擊網路設定，在資源調度 & Data Integration地區查看綁定的專用網路，即VPC ID。
建立VPC對等串連並配置路由。
登入Virtual Private Cloud控制台。在頁面左側單擊專用網路菜單，依次選擇Tablestore執行個體和DataWorks工作空間所在地區，並記錄VPC ID對應的網段地址。
在頁面左側單擊VPC對等串連菜單，然後在VPC對等串連頁面單擊建立對等串連。
在建立對等串連頁面，輸入對等串連名稱，選擇發起端VPC執行個體、接收端帳號類型、接收端地區和接收端VPC執行個體，單擊確定。
在VPC對等串連頁面，找到已建立的VPC對等串連，分別在發起端VPC執行個體列和接收端VPC執行個體列單擊配置路由條目。
目標網段需填寫對端VPC的網段地址。即在發起端VPC執行個體配置路由條目時，填寫接收端VPC執行個體的網段地址；在接收端VPC執行個體配置路由條目時，填寫發起端VPC執行個體的網段地址。
步驟一：新增Table Store資料來源和MaxCompute資料來源
步驟二：通過嚮導模式配置離線同步任務
資料開發（Data Studio）舊版
一、建立任務節點
進入資料開發頁面。
登入DataWorks控制台。
在頁面上方，選擇資源群組和地區。
在左側導覽列，單擊。
在資料開發頁面的下拉框中，選擇對應工作空間後單擊進入資料開發。
在DataStudio控制台的資料開發頁面，單擊商務程序節點下的目標商務程序。
如果需要建立商務程序，請參見建立商務程序。
在Data Integration節點上按右鍵，然後選擇建立節點 > 離線同步。
在建立節點對話方塊，選擇路徑並填寫名稱，然後單擊確認。
在Data Integration節點下，將顯示建立的離線同步節點。
二、配置同步任務
在Data Integration節點下，雙擊開啟建立的離線同步任務節點。
配置網路與資源。
選擇離線同步任務的資料來源、資料去向以及用於執行同步任務的資源群組，並測試連通性。
在網路與資源配置步驟，選擇資料來源為MaxCompute(ODPS)，並選擇資料來源名稱為新增的MaxCompute資料來源。
選擇資源群組。
選擇資源群組後，系統會顯示資源群組的地區、規格等資訊以及自動化的測試資源群組與所選資料來源之間連通性。
說明Serverless資源群組支援為同步任務指定運行CU上限，如果您的同步任務因資源不足出現OOM現象，請適當調整資源群組的CU佔用取值。
選擇資料去向為Tablestore，並選擇資料來源名稱為新增的Table Store資料來源。
系統會自動化的測試資源群組與所選資料來源之間連通性。
測試可連通後，單擊下一步。
配置任務並儲存。
在配置任務步驟的配置資料來源與去向地區，根據實際情況配置資料來源和資料去向。
資料來源
參數
說明
資料來源
預設顯示上一步選擇的MaxCompute資料來源。
Tunnel資源群組
即Tunnel Quota，預設選擇“公用傳輸資源”，即MC的免費quota。
MaxCompute的資料轉送資源選擇，具體請參見購買與使用獨享Data Transmission Service資源群組。
說明如果獨享tunnel quota因欠費或到期不可用，任務在運行中將會自動切換為“公用傳輸資源”。
表
源表。
過濾方式
同步資料的過濾邏輯，支援以下兩種方式 ：
分區過濾：通過分區運算式過濾指定來來源資料的同步範圍，選擇此方式時還需配置分區資訊和分區不存在時參數。
資料過濾：通過SQL的WHERE過濾語句指定來來源資料的同步範圍（不需要填寫WHERE關鍵字）。
分區資訊
說明過濾方式選擇為分區過濾時需要配置。
指定分區列的取值。
取值可以是固定值，如
ds=20220101。取值可以是調度系統參數，如
ds=${bizdate}，當任務運行時，會自動替換調度系統參數。
分區不存在
說明過濾方式選擇為分區過濾時需要配置。
分區不存在時，同步任務的處理策略。
出錯。
忽略不存在分區，任務正常執行。
資料去向
參數
說明
資料來源
預設顯示上一步選擇的Tablestore資料來源。
表
目標資料表。
主鍵資訊
目標資料表的主鍵資訊。
寫入模式
資料寫入Table Store的模式，支援以下兩種模式：
PutRow：對應於Tablestore API PutRow，插入資料到指定的行。如果該行不存在，則新增一行。如果該行存在，則覆蓋原有行。
UpdateRow：對應於Tablestore API UpdateRow，更新指定行的資料。如果該行不存在，則新增一行。如果該行存在，則根據請求的內容在這一行中新增、修改或者刪除指定列的值。
配置欄位對應。
配置資料來源與資料去向後，需要指定來源欄位和目標欄位的映射關係。配置欄位對應關係後，任務將根據欄位對應關係，將源表欄位寫入目標表對應類型的欄位中。更多資訊，請參見步驟四：配置欄位對應關係。
重要在來源欄位中必須指定主鍵資訊，以便讀取主鍵資料。
由於在上一步的資料去向下已配置了目標表的主鍵資訊，因此在目標欄位中不可再配置主鍵資訊。
當欄位的資料類型為INTEGER時，您需要將其配置為INT，DataWorks會自動將其轉換為INTEGER類型。如果直接配置為INTEGER類型，日誌將會出現錯誤，導致任務無法順利完成。
配置通道控制。
您可以通過通道配置，控制資料同步過程相關屬性。相關參數說明詳情可參見離線同步並發和限流之間的關係。
單擊
表徵圖，儲存配置。
三、運行同步任務
單擊
表徵圖。在參數對話方塊，選擇運行資源群組的名稱。
單擊運行。
資料開發（Data Studio）新版
一、建立任務節點
進入資料開發頁面。
登入DataWorks控制台。
在頁面上方，選擇資源群組和地區。
在左側導覽列，單擊。
在資料開發頁面的下拉框中，選擇對應工作空間後單擊進入Data Studio。
在DataStudio控制台的資料開發頁面，單擊專案目錄右側的
表徵圖，然後選擇。說明首次使用專案目錄時，也可以直接單擊建立節點按鈕。
在建立節點對話方塊，選擇路徑並填寫名稱，然後單擊確認。
在專案目錄下，將顯示建立的離線同步節點。
二、配置同步任務
在專案目錄下，單擊開啟建立的離線同步任務節點。
配置網路與資源。
選擇離線同步任務的資料來源、資料去向以及用於執行同步任務的資源群組，並測試連通性。
在網路與資源配置步驟，選擇資料來源為MaxCompute(ODPS)，並選擇資料來源名稱為新增的MaxCompute資料來源。
選擇資源群組。
選擇資源群組後，系統會顯示資源群組的地區、規格等資訊以及自動化的測試資源群組與所選資料來源之間連通性。
說明Serverless資源群組支援為同步任務指定運行CU上限，如果您的同步任務因資源不足出現OOM現象，請適當調整資源群組的CU佔用取值。
選擇資料去向為Tablestore，並選擇資料來源名稱為新增的Table Store資料來源。
系統會自動化的測試資源群組與所選資料來源之間連通性。
測試可連通後，單擊下一步。
配置任務並儲存。
在配置任務步驟的配置資料來源與去向地區，根據實際情況配置資料來源和資料去向。
資料來源
參數
說明
資料來源
預設顯示上一步選擇的MaxCompute資料來源。
Tunnel資源群組
即Tunnel Quota，預設選擇“公用傳輸資源”，即MC的免費quota。
MaxCompute的資料轉送資源選擇，具體請參見購買與使用獨享Data Transmission Service資源群組。
說明如果獨享tunnel quota因欠費或到期不可用，任務在運行中將會自動切換為“公用傳輸資源”。
表
源表。
過濾方式
同步資料的過濾邏輯，支援以下兩種方式 ：
分區過濾：通過分區運算式過濾指定來來源資料的同步範圍，選擇此方式時還需配置分區資訊和分區不存在時參數。
資料過濾：通過SQL的WHERE過濾語句指定來來源資料的同步範圍（不需要填寫WHERE關鍵字）。
分區資訊
說明過濾方式選擇為分區過濾時需要配置。
指定分區列的取值。
取值可以是固定值，如
ds=20220101。取值可以是調度系統參數，如
ds=${bizdate}，當任務運行時，會自動替換調度系統參數。
分區不存在
說明過濾方式選擇為分區過濾時需要配置。
分區不存在時，同步任務的處理策略。
出錯。
忽略不存在分區，任務正常執行。
資料去向
參數
說明
資料來源
預設顯示上一步選擇的Tablestore資料來源。
表
目標資料表。
主鍵資訊
目標資料表的主鍵資訊。
寫入模式
資料寫入Table Store的模式，支援以下兩種模式：
PutRow：對應於Tablestore API PutRow，插入資料到指定的行。如果該行不存在，則新增一行。如果該行存在，則覆蓋原有行。
UpdateRow：對應於Tablestore API UpdateRow，更新指定行的資料。如果該行不存在，則新增一行。如果該行存在，則根據請求的內容在這一行中新增、修改或者刪除指定列的值。
配置欄位對應。
配置資料來源與資料去向後，需要指定來源欄位和目標欄位的映射關係。配置欄位對應關係後，任務將根據欄位對應關係，將源表欄位寫入目標表對應類型的欄位中。更多資訊，請參見步驟四：配置欄位對應關係。
重要在來源欄位中必須指定主鍵資訊，以便讀取主鍵資料。
由於在上一步的資料去向下已配置了目標表的主鍵資訊，因此在目標欄位中不可再配置主鍵資訊。
當欄位的資料類型為INTEGER時，您需要將其配置為INT，DataWorks會自動將其轉換為INTEGER類型。如果直接配置為INTEGER類型，日誌將會出現錯誤，導致任務無法順利完成。
配置通道控制。
您可以通過通道配置，控制資料同步過程相關屬性。相關參數說明詳情可參見離線同步並發和限流之間的關係。
單擊儲存，儲存配置。
三、運行同步任務
單擊任務右側的調試配置，選擇啟動並執行資源群組。
單擊運行。
步驟三：查看同步結果
資料匯出
通過DataWorksData Integration，您可以將Table Store資料匯出到MaxCompute或OSS中。
同步Table Store資料到OSS
計費說明
其他方案
您可以根據需要將Table Store資料下載到本地檔案。
您也可以通過DataX、通道服務等遷移工具完成資料匯入。
遷移工具 | 說明 |
DataX將不同資料來源的同步抽象為從源頭資料來源讀取資料的Reader外掛程式，以及向目標端寫入資料的Writer外掛程式。 | |
通道服務（Tunnel Service）是基於Table Store資料介面之上的全增量一體化服務。通過為資料表建立資料通道，可以簡單地實現對錶中歷史存量和新增資料的消費處理，適用於源表為Table Store資料表的資料移轉與同步。具體操作，請參見資料表同步到資料表。 | |
Data Transmission Service是阿里雲提供的即時資料流服務，支援關係型資料庫（RDBMS）、非關係型資料庫（NoSQL）、資料多維分析（OLAP）等資料來源間的資料互動，集資料同步、遷移、訂閱、整合、加工於一體，助您構建安全、可擴充、高可用的資料架構。具體操作，請參考同步PolarDB-X 2.0資料到Table Store和遷移PolarDB-X 2.0資料到Table Store。 |
附錄：欄位類型映射
以下列出了常用產品與Table Store的欄位類型映射關係，實際使用時請按照相應欄位類型映射資訊進列欄位映射配置。
MaxCompute和Tablestore欄位類型映射
MaxCompute欄位類型 | Tablestore欄位類型 |
STRING | STRING |
BIGINT | INTEGER |
DOUBLE | DOUBLE |
BOOLEAN | BOOLEAN |
BINARY | BINARY |
MySQL和Tablestore欄位類型映射
MySQL欄位類型 | Tablestore欄位類型 |
STRING | STRING |
INT、INTEGER | INTEGER |
DOUBLE、FLOAT、DECIMAL | DOUBLE |
BOOL、BOOLEAN | BOOLEAN |
BINARY | BINARY |
Kafka和Tablestore欄位類型映射
Kafka Schema Type | Tablestore欄位類型 |
STRING | STRING |
INT8、INT16、INT32、INT64 | INTEGER |
FLOAT32、FLOAT64 | DOUBLE |
BOOLEAN | BOOLEAN |
BYTES | BINARY |