ApsaraDB for OceanBase：遷移 PolarDB-X 1.0 資料庫的資料至 OceanBase 資料庫 MySQL 租戶

背景資訊

PolarDB-X 1.0 是由阿里巴巴自主研發的雲原生分散式資料庫，融合分布式 SQL 引擎和分布式自研儲存 X-DB，雲端式原生一體化架構設計。PolarDB-X 1.0 可以支撐千萬級並發規模，以及百 PB 級海量儲存。詳情請參見 產品概述。

PolarDB-X 1.0 資料庫至 OceanBase 資料庫 MySQL 租戶的資料移轉專案啟動成功後，該專案會自動刪除。資料轉送會自動建立 PolarDB-X 1.0 資料庫下掛載的 MySQL 資料庫至 OceanBase 資料庫 MySQL 租戶的資料移轉專案，其專案個數取決於 PolarDB-X 1.0 資料庫底層的 MySQL 執行個體個數。

建議您使用標籤或專案名稱作為過濾條件對這些專案進行大量啟動、大量暫停、批量正向切換等操作。大量操作的詳情請參見 大量操作資料移轉專案。

前提條件

• 資料轉送已具備雲資源存取權限。詳情請參見 資料轉送遷移角色授權。

• 已為源端 PolarDB-X 1.0 資料庫和目標端 OceanBase 資料庫 MySQL 租戶建立專用於資料移轉的資料庫使用者，並賦予其相關許可權。

使用限制

• 源端資料庫的操作限制

  請勿在全量遷移階段執行庫或表結構變更的 DDL 操作，否則可能造成資料移轉專案中斷。

• 資料轉送支援 PolarDB-X 1.0 資料庫 V5.2.8、V5.4.2、V5.4.9 和 V5.4.12。

• 資料轉送支援 PolarDB-X 1.0 資料庫下掛載的 RDS MySQL 相容的 MySQL 資料庫 V5.5、V5.6、V5.7 和 V8.0，以及標準 RDS 和 PolarDB MySQL 執行個體。

• 資料轉送僅支援遷移庫名、表名和列名為 ASCII 碼且不包含特殊字元（包括換行、空格，以及 .|"'`()=;/&\）的對象。

• 遷移 PolarDB-X 1.0 資料庫的資料至 OceanBase 資料庫 MySQL 租戶時，資料轉送不支援以下內容：

  • 不支援結構遷移和反向增量。

  • 不支援源端和目標端資料庫跨阿里雲帳號。

  • 不支援遷移視圖。

  • 不支援 PolarDB-X 1.0 資料庫下掛載的 RDS MySQL 執行個體的帳號、密碼不一致。

• OceanBase 資料庫支援的字元集為 utf8mb4、gbk、gb18030、binary 和 utf16。

注意事項

• 對於無唯一鍵表（指具有主鍵或者 Not Null UK 的表）的遷移，在重啟或恢複全量遷移步驟時，通常資料轉送會自動清空（TRUNCATE）重啟或恢複前已完成同步的目標表。但在 PolarDB-X 1.0 情境下，RDS MySQL 資料庫無唯一鍵表至 OceanBase 資料庫 MySQL 租戶的資料移轉專案的全量遷移步驟在重啟或恢複時，資料轉送不會自動清空目標表。

• 如果您未配置 PolarDB-X 1.0 資料庫物件的映射關係，則物理表的資料會全部同步至目標端相同名稱的物理表中，即源端物理表的數量和目標端一致。

• 如果源端和目標端的表結構不完全一致，可能會出現資料不一致的情況。目前已知情境如下：

  • 使用者手動建立表結構時，因超出資料轉送的支援範圍，可能會產生隱式的轉換問題，導致源端和目標端列的類型不一致。

  • 目標端的資料長度小於源端的資料長度時，可能出現資料截斷的情況，導致源端和目標端的資料不一致。

• 如果建立資料移轉專案時，您僅配置了 增量同步處理，資料轉送要求源端資料庫的本地增量日誌儲存 48 小時以上。

  如果建立資料移轉專案時，您配置了 全量遷移+增量同步處理，資料轉送要求源端資料庫的本地增量日誌至少保留 7 天以上。否則資料轉送可能因為無法擷取增量日誌導致資料移轉專案失敗，甚至導致源端和目標端資料不一致。

支援的源端和目標端執行個體類型

下表中，OceanBase 資料庫 MySQL 租戶簡稱為 OB_MySQL。

操作步驟

1. 登入 OceanBase 管理主控台，購買資料移轉專案。

   詳情請參見 購買資料移轉專案。

2. 在 資料轉送 > 資料移轉 頁面，單擊新購買的資料移轉專案後的 配置。

   

   如果您需要引用已有的專案配置資訊，可以單擊 引用配置。詳情請參見 引用和清空資料移轉專案配置。

3. 在 選擇源和目標 頁面，配置各項參數。

   

   參數	描述
   遷移專案名稱	建議使用中文、數字和字母的組合。名稱中不能包含空格，長度不得超過 64 個字元。
   標籤	單擊文字框，在下拉式清單中選擇目標標籤。您也可以單擊 管理標籤，進行建立、修改和刪除。詳情請參見 通過標籤管理資料移轉專案。 說明 PolarDB-X 1.0 資料庫至 OceanBase 資料庫 MySQL 租戶的資料移轉專案啟動成功後，該專案會自動刪除，請選擇合適的標籤進行標記。
   源端	如果您已建立 PolarDB-X 1.0 資料來源，請從下拉式清單中進行選擇。如果未建立，請單擊下拉式清單中的 建立資料來源，在右側對話方塊進行建立。參數詳情請參見 建立 PolarDB-X 1.0 資料來源。
   目標端	如果您已建立 OceanBase 資料庫 MySQL 租戶資料來源，請從下拉式清單中進行選擇。如果未建立，請單擊下拉式清單中的 建立資料來源，在右側對話方塊進行建立。參數詳情請參見 建立 OceanBase 資料來源。 重要 目標端僅支援執行個體類型為 OceanBase 叢集執行個體 的 OceanBase 資料來源。

4. 單擊 下一步 後，再單擊彈出框中的 我知道了。

   請注意目前本專案僅支援具有主鍵或者非空唯一索引的表和視圖，其他表和視圖會自動過濾。

   

5. 在 選擇遷移類型 頁面，選擇當前資料移轉專案的遷移類型。

   遷移類型支援 全量遷移、增量同步處理 和 全量校正。

   遷移類型	描述
   全量遷移	全量遷移任務開始後，資料轉送會遷移源端庫表的存量資料至目標端資料庫對應的表中。 執行資料移轉前，請評估源端和目標端的效能，建議在業務低峰期執行資料移轉。否則全量遷移期間，資料轉送佔用源端和目標端一定的讀寫資源，可能會導致資料庫的負載上升。效能評估詳情請參見 遷移評估的效能評估。
   增量同步處理	增量同步處理任務開始後，資料轉送會同步源端資料庫發生變化的資料（新增、修改或刪除）至目標端資料庫對應的表中。 增量同步處理 支援的同步 DML 包括 Insert、Delete 和 Update，您可以根據需求進行選擇。詳情請參見 自訂配置 DDL/DML。
   全量校正	在全量遷移完成、增量資料同步至目標端並與源端基本追平後，資料轉送會自動發起一輪針對源端庫配置的資料表和目標表的全量資料校正任務。 如果您選擇了 增量同步處理，且 同步 DML 選項中未選擇所有的 DML，則資料轉送不支援本情境下的全量資料校正。 執行資料移轉前，請評估源端和目標端的效能，建議業務低峰期執行資料移轉。否則全量校正期間，資料轉送佔用源端和目標端部分讀資源，可能會導致資料庫的負載上升。

6. 單擊 下一步。在 選擇遷移對象 頁面，選擇當前資料移轉專案的遷移對象。

   目前僅支援通過 指定對象 的方式選擇遷移對象。在左側選中需要遷移的對象，單擊 >，將其添加至右側列表中。您可以選擇一個或多個庫的表作為遷移對象。

   資料轉送支援通過文本匯入對象，並支援對目標端對象進行重新命名、設定行過濾、查看列資訊，以及移除單個或全部遷移對象等操作。

   

   操作	步驟
   匯入對象	在選擇地區的右側列表中，單擊右上方的 匯入對象。 在對話方塊中，單擊 確定。 重要 匯入會覆蓋之前的操作選擇，請謹慎操作。 在 匯入遷移對象 對話方塊中，匯入需要遷移的對象。 您可以通過匯入 CSV 檔案的方式進行庫表重新命名、設定行過濾條件等操作。詳情請參見 下載和匯入遷移對象配置。 單擊 檢驗合法性。 完成遷移對象匯入後，請先檢驗合法性。目前暫不支援欄欄位映射。 通過檢驗後，單擊 確定。
   重新命名	資料轉送支援重新命名遷移對象的名稱，詳情請參見 資料庫庫表重新命名。
   設定	資料轉送支援 WHERE 條件實現行過濾，詳情請參見 SQL 條件過濾資料。 您還可以在 查看列 地區，查看遷移對象的列資訊。
   移除/全部移除	資料轉送支援在資料對應時，對暫時選中到目標端的單個或多個對象進行移除操作。 移除單個遷移對象 在選擇地區的右側列表中，滑鼠移至上方至目標對象，單擊顯示的 移除，即可移除該遷移對象。 移除全部遷移對象 在選擇地區的右側列表中，單擊右上方的 全部移除。在對話方塊中，單擊 確定，即可移除全部遷移對象。

7. 單擊 下一步。在 遷移選項 頁面，配置各項參數。

   • 全量遷移

     在 選擇遷移類型 頁面，選中 全量遷移，才會顯示下述參數。

     參數	描述
     讀取並發配置	該參數用於配置全量遷移階段從源端讀取資料的並發數，最大限制為 512.並發數過高可能會造成源端壓力過大，影響業務。
     寫入並發配置	該參數用於配置全量遷移階段往目標端寫入資料的並發數，最大限制為 512。並發數過高可能會造成目標端壓力過大，影響業務。
     全量遷移速率限制	您可以根據實際需求決定是否開啟全量遷移速率限制。如果開啟，請設定 RPS（全量遷移階段每秒最多可以遷移至目標端的資料行數的最大值限制）和 BPS（全量遷移階段每秒最多可以遷移至目標端的資料量的最大值限制）。 說明 此處設定的 RPS 和 BPS 僅作為限速限流能力，全量遷移實際可以達到的效能受限於源端、目標端、執行個體規格配置等因素的影響。
     目標端表對象存在記錄時處理策略	處理策略包括 忽略 和 停止遷移： 選擇 忽略：當目標端表對象存在資料時，如果原資料與寫入資料衝突，資料轉送採用將衝突資料記錄日誌，保留原資料不變的策略進行資料寫入。 重要 選擇 忽略，全量校正將使用 IN 模式拉取資料，無法校正目標端存在源端沒有的資料的情境，並且校正效能會有一定程度降級。 選擇預設值 停止遷移：當目標端表對象存在資料時，全量遷移會報錯不允許遷移，請處理好目標端資料後再繼續遷移。 重要 如果出錯後單擊恢複，資料轉送將忽略該配置選項，繼續遷移表資料，請謹慎操作。

   • 增量同步處理

     在 選擇遷移類型 頁面，選中 增量同步處理，才會顯示下述參數。

     參數	描述
     寫入並發配置	該參數用於配置增量同步處理階段往目標端寫入資料的並發數，最大限制為 512。並發數過高可能會造成目標端壓力過大，影響業務。
     增量同步處理速率限制	您可以根據實際需求決定是否開啟增量同步處理速率限制。如果開啟，請設定 RPS（增量同步處理階段每秒最多可以同步至目標端的資料行數的最大值限制）和 BPS（增量同步處理階段每秒最多可以同步至目標端的資料量的最大值限制）。 說明 此處設定的 RPS 和 BPS 僅作為限速限流能力，增量同步處理實際可以達到的效能受限於源端、目標端、執行個體規格配置等因素的影響。
     增量同步處理起始位點	如果選擇遷移類型時已選擇 全量遷移，該參數不顯示。 如果選擇遷移類型時未選擇 全量遷移，但選擇了 增量同步處理，請在此處指定遷移某個時間節點之後的資料，預設為當前系統時間。詳情請參見 設定增量同步處理位點。

8. 單擊 預檢查，系統會對資料移轉專案進行預檢查。

   在 預檢查 環節，資料轉送會檢查資料庫使用者的讀寫權限、資料庫的網路連接等是否符合要求。全部檢查專案均通過後才能啟動資料移轉專案。如果預檢查報錯：

   • 您可以在排查並處理問題後，重新執行預檢查，直至預檢查成功。

   • 您也可以單擊錯誤預檢查項操作列中的 跳過，會彈出對話方塊提示您跳過本操作的具體影響，確認可以跳過後，請單擊對話方塊中的 確定。

9. 預檢查成功後，單擊 啟動專案。

   如果您暫時無需啟動專案，請單擊 儲存。後續您只能在 遷移專案列表 頁面手動啟動專案或通過大量操作啟動專案。大量操作的詳情請參見 大量操作資料移轉專案。

   專案啟動成功後，PolarDB-X 1.0 資料庫至 OceanBase 資料庫 MySQL 租戶的資料移轉專案會自動刪除，資料轉送會儲存 PolarDB-X 1.0 資料庫下掛載的資料庫至 OceanBase 資料庫 MySQL 租戶的資料移轉專案，並自動建立相應的資料來源。您可以在彈出對話方塊中單擊 下載為檔案，將相關資訊儲存為 CSV 檔案。

10. 單擊對話方塊中的 確定，進入 遷移專案列表 頁面，單個或大量啟動 MySQL 資料庫至 OceanBase 資料庫 MySQL 租戶的資料移轉專案。

    資料轉送支援在資料移轉專案運行過程中修改遷移對象，詳情請參見 查看和修改遷移對象。資料移轉專案啟動後，會根據選擇的遷移類型依次執行，詳情請參見 查看遷移詳情。

相關文檔

• 建立 PolarDB-X 1.0 資料來源

• 建立 OceanBase 資料來源

• 大量操作資料移轉專案

• 查看資料移轉專案的詳情