全部產品
Search
文件中心

ApsaraDB for OceanBase:查看資料移轉任務的詳情

更新時間:Dec 13, 2024

啟動資料移轉任務後,您可以在資料移轉任務的詳情頁面查看相應任務的基本資料、任務執行的進度和狀態等資訊。

進入詳情頁面

您可以在資料移轉任務的詳情頁面查看計劃的遷移環節、各個環節的進度和狀態,協助您瞭解資料庫遷移的整體進度,以及每張表、每個對象的遷移狀態。

  1. 登入 OceanBase 管理主控台

  2. 在左側導覽列,單擊 資料轉送 > 資料移轉

  3. 遷移工作清單 頁面,單擊目標任務的名稱,進入詳情頁面查看其 基本資料遷移詳情

    image.png

    您可以在 資料移轉 頁面,根據 狀態關鍵字 搜尋目標資料移轉任務。資料移轉任務的狀態包括:

    • 未配置:表示資料移轉任務尚未配置,您可以在對應的操作列中單擊 配置。

    • 變更配置中:表示資料移轉任務正在升配執行個體規格。

      如果當前購買的執行個體規格無法滿足業務需要,您可以對資料移轉任務的執行個體規格進行升配。詳情請參見 資料轉送規格說明

    • 未啟動:表示資料移轉任務尚未啟動,您可以在對應的操作列中單擊 啟動

    • 運行中:表示資料移轉任務在運行中,您可以查看資料移轉的運行計劃和當前進度,並在操作列進行相應操作。

    • 修改中:表示資料移轉任務正在修改遷移對象。

    • 合并中:表示被修改遷移對象的資料移轉任務與修改遷移對象任務進行合并的過程。

    • 已暫停:表示資料移轉任務已被手動中止,您可以在對應的操作列中單擊 恢複,從中止的子任務開始繼續執行遷移。

      說明

      如果資料移轉任務長期處於 已暫停 狀態,受增量日誌保留時間長度等影響,任務可能無法恢複。

    • 失敗:表示資料移轉任務執行失敗,狀態右側展示該任務失敗的具體環節。單擊資料移轉任務的名稱,您可以在詳情頁面查看具體的報錯資訊。

    • 已完成:表示資料移轉任務已成功執行完畢,資料轉送已按照您預設的移轉模式將指定的資料內容遷移至目標庫中。

    • 結束中:表示資料移轉任務正在被結束運行。結束中的資料移轉任務不能進行任何操作。

    • 已結束:表示資料移轉任務已經成功結束運行。

    您可以對處於 未啟動運行中已暫停失敗 狀態的任務進行修改任務名稱操作,詳情請參見 修改資料移轉任務的名稱

查看基本資料

基本資料 地區為您展示當前資料移轉任務相關的基本資料。

image.png

參數

描述

ID

資料移轉任務的唯一 ID 標識。

遷移類型

配置資料移轉任務時,選擇的遷移類型。

警示狀態

顯示當前任務的警示狀態。建議您開啟警示監控,以便隨時掌握任務運行狀態。詳情請參見 設定警示

重要

處於 未配置已完成結束中已結束 狀態的資料移轉任務,不支援設定或修改警示監控。

建立時間

當前資料移轉任務的建立時間。

串連詳情

單擊 串連詳情,您可以查看資料移轉任務源端和目標端的資料來源資訊,並可以複製資料來源標識。

計費方式

顯示當前資料移轉任務的計費方式。

執行個體規格

購買當前資料移轉任務時,選擇的執行個體規格。規格詳情請參見 資料轉送規格說明

您可以進行以下操作:

  • 查看遷移對象

    單擊頁面右上方的 查看對象,查看當前資料移轉任務的遷移對象列表。您還可以在資料移轉任務運行過程中修改遷移對象,詳情請參見 查看和修改遷移對象及其過濾條件

  • 升配執行個體規格

    如果當前購買的執行個體規格無法滿足業務需要,您可以對資料移轉任務的執行個體規格進行升配。詳情請參見 升配執行個體規格

  • 查看或修改參數配置

    處於 變更配置中運行中修改中合并中已完成結束中已結束 狀態的資料移轉任務,支援查看參數配置。處於 未啟動已暫停失敗 狀態的資料移轉任務,支援修改參數配置。詳情請參見 查看和修改遷移參數配置

    此處支援修改的具體參數和資料移轉任務的類型,以及任務啟動並執行階段有關,不同的運行階段支援修改的參數不同。

  • 下載對象配置資訊

    資料轉送支援下載以 指定對象 方式選擇遷移對象的資料移轉任務的配置資訊,以大量匯入的格式輸出。詳情請參見 下載和匯入遷移對象配置

  • 下載衝突資料

    雙向同步任務中,如果您已配置正向任務和反向任務,並且存在衝突資料時,支援下載衝突資料。詳情請參見 下載衝突資料

查看遷移詳情

遷移詳情 地區為您展示當前任務中,所有環節子任務的執行狀態、進度、啟動時間、完成時間和總計耗時等資訊。

結構遷移

負責遷移源庫中的資料對象定義(表、索引、約束、注釋和視圖等)至目標庫中,會自動過濾暫存資料表。當源端資料庫非 OceanBase 資料庫時,會依據目標 OceanBase 租戶類型的文法定義標準進行資料類型和 SQL 文法的自動轉換和拼裝,然後複製至目標庫中。當目標端已存在同名的遷移對象時,資料轉送將採取預設跳過的邏輯,您需要自行確保源端和目標端表結構的一致性。

如果您在運行資料移轉任務時,進入了正向切換步驟,資料轉送會根據資料移轉任務的類型,自動刪除隱藏列和唯一索引。詳情請參見 資料移轉服務隱藏列機制說明

您可以在 結構遷移 頁面,查看結構遷移的狀態、啟動時間、結束時間、總計耗時,以及庫、表和視圖的遷移進度。

image.png

同時,您可以對目標對象進行以下操作:

  • 查看建立文法:在 頁簽下,單擊目標對象後的 查看,即可查看庫或表的建立文法。

    如果表建立文法完全相容,為您展示在 OBServer 執行的 DDL 文法。不完全相容,則展示轉換後的建立文法。

  • 修改建立文法並重試:運行失敗的 DDL 和報錯,您可以檢查並修改該條 DDL 轉換結果的定義,再次遷移至目標端。

  • 重試/重試全部失敗對象:失敗的結構遷移任務,您可以依次進行重試,也可以單擊頁簽右上方的 重試全部失敗對象

  • 跳過/批量跳過:失敗的結構遷移任務,您可以依次跳過。您也可以批量選擇需要跳過的對象,單擊右上方的 批量跳過

  • 移除/大量移除:失敗的結構遷移任務,您可以依次進行移除。您也可以批量選擇需要移除的對象,單擊右上方的 大量移除

  • 查看資料庫返回碼:失敗的結構遷移任務,展示 DDL 語句和 OBServer 上執行的錯誤資訊。

全量遷移

遷移源庫表的存量資料至目標庫對應的表中。您可以在 全量遷移 頁面,根據源庫和目標庫進行篩選,或勾選 查看有問題的對象,篩選阻礙整體遷移進度的對象。您還可以查看 表對象表索引全量遷移效能。只有表對象和表索引均遷移完成,全量遷移的狀態才會顯示已完成。

image.png

  • 表對象 頁簽,您可以查看對象名稱、源庫、目標庫、預估資料量、已完成資料量和對應的狀態。

  • 表索引 頁簽,您可以查看錶對象、源庫、目標庫、建立時間、結束時間、耗時及其對應的狀態。同時,您可以查看索引的建立文法、重試單個或全部失敗對象,以及跳過、移除單個或多個失敗索引。

  • 全量遷移效能 頁簽,您可以圖形化查看 源端 RPS目標端 RPS源端遷移流量目標端遷移流量源端平均讀取時間源端平均切片時間目標端平均寫入時間,以及效能基準等效能資料,協助您有效識別效能相關問題。

    image.png

    全量遷移加上增量同步處理,可以確保目標端資料庫與源端資料庫的最終一致性。如果全量遷移過程中有失敗的對象,會為您展示具體的失敗原因。

    重要

    如果您在選擇 遷移類型 時未配置 結構遷移,則全量遷移時,資料轉送會以源端和目標端匹配的欄位進行遷移,不會檢查表結構是否一致。

增量同步處理

增量同步處理任務開始後,會同步源庫發生變化的資料(新增、修改或刪除)至目標端資料庫對應的表中。當源庫不斷有業務寫入時,資料轉送會在全量資料移轉啟動前,啟動增量拉模數塊,以拉取源執行個體中的累加式更新資料,對其進行解析、封裝,並儲存至資料轉送中。

當全量資料移轉完成後,資料轉送會啟動增量資料回放模組,從增量資料拉模數塊中擷取增量資料。增量資料經過過濾、映射和轉換後,再同步至目標執行個體中。如果您在源端執行 DDL 後,造成 JDBCWriter 異常,從而造成資料移轉任務運行失敗,頁面會展示造成任務失敗的 DDL 語句以及跳過操作按鈕。此時,您可以單擊彈出框中的 跳過,並進行二次確認。

重要

本操作可能造成源端和目標端資料結構不一致,請謹慎操作。

建立資料移轉任務時,建議您開啟警示監控,以便隨時掌握任務運行狀態,詳情請參見 設定警示。未開啟監控警示的情況下,預設增量同步處理延時小於等於 1 分鐘時,增量同步處理步驟的狀態由運行中切換為監控中。

image.png

開啟監控警示的情況下:

  • 如果資料移轉任務的增量同步處理延時大於配置的警示時間,增量同步處理步驟始終處於運行中,系統不會觸發警示資訊。

  • 如果資料移轉任務的增量同步處理延時小於等於配置的警示時間,增量同步處理步驟的狀態將從運行中切換為監控中。增量同步處理的狀態一旦變為監控中,即使延時大於配置的警示時間,也不會再切換為運行中狀態。

對於 運行中 狀態的資料移轉任務,您可以在增量同步處理地區查看其延遲時間、當前位點時間,以及增量同步處理效能資訊。延遲時間的顯示邏輯為:X 秒(Y 秒前更新),Y 小於 20 秒屬於正常情況。

說明

增量同步處理 步驟處於 失敗已暫停 狀態時,您可以單擊當前位點時間右側的編輯表徵圖進行修改。

對於 已暫停失敗 狀態的資料移轉任務,您可以開啟 DDL/DML 統計功能,統計開啟該功能時間點之後的資料庫操作。同時,您可以查看增量同步處理對象的具體資訊,以及增量同步處理效能資訊。

  • 同步對象統計 頁簽為您展示表層級的統計 DML 數量,在該頁簽上方的變更總和、Delete、Insert 和 Update 顯示的資料為當前資料移轉任務中所有的 DML 數量,即增量同步處理對象頁簽統計的數量之和。

    統計數量

    如果您開啟 DDL/DML 統計功能之後又關閉了該功能,則資料轉送會保留歷史統計資料。

  • 增量同步處理效能 頁簽為您展示以下內容:

    • 延遲:源端增量變更被同步至目標端的延隔時間,單位為秒。

    • 遷移流量:源端增量變更資料被同步到目標端的流量吞吐,單位為 KB/s。

    • 平均執行時間:每條 SQL 執行時間的均值,單位為毫秒。

    • 平均提交時間:事務提交時間的均值,單位為毫秒。

    • RPS:每秒處理記錄數。

全量校正

在全量資料移轉完成、增量資料移轉至目標端並與源端基本追平後,資料轉送會自動發起一輪針對源庫配置的資料表和目標表的全量資料校正任務。

增量資料同步過程中,您也可以發起自訂的資料檢驗,資料轉送會提供相應的介面。

您可以在 全量校正 頁面查看全量校正的整體狀態、啟動時間、結束時間、總計耗時、預估總行數、已完成校正行數、RPS 和即時資料流量等資訊。

image.png

全量校正 頁麵包括 校正對象全量校正效能 頁簽。

  • 校正對象 頁簽,您可以查看校正的進度和校正對象列表。

    image

    • 對於全部遷移對象,均可以查看指定對象的名稱、對應源庫和目標庫、全量校正進度、結果和結果摘要。

    • 支援根據源庫、目標庫或校正結果進行篩選。

    • 支援勾選 只查看已完成對象,查看目前時間點已完成結構遷移的對象名稱等基本資料。

    • 如果您需要對全部遷移對象再次進行全量校正,請單擊 再次校正 > 重啟全量校正

    • 存在校正結果不一致的表時:

      如果您需要擷取原始的不一致資料進行校正結果的檢查或分析,請單擊 下載不一致結果,將不一致結果下載至本地。

      重要

      全量校正 步驟處於 已完成 狀態,且存在結果為 不一致 的資料時,支援下載不一致結果。

      如果您需要重新校正表中的全部資料,請單擊 再次校正 > 重新校正異常的表

      如果您僅需要重新校正表中不一致的資料,請單擊 再次校正 > 僅校正不一致的表記錄

      重要

      如果源端為空白,則不支援訂正操作。

  • 全量校正效能 頁簽,您可以圖形化查看 源端 RPS目標端 RPS源端遷移流量目標端遷移流量,以及效能基準等效能資料,協助您有效識別與效能相關的問題。

資料轉送支援校正中或校正失敗的任務跳過全量校正。在 全量校正 頁面,單擊 跳過全量校正,並在彈出對話方塊中,單擊 確定

重要

跳過全量校正後,您將無法恢複該校正任務進行資料比對和資料訂正,您需要通過複製當前任務再次發起全量校正,請謹慎操作。

全量校正完成後,您可以單擊 進入下一階段,啟動正向切換。進入切換流程後,您將無法複檢當前校正任務,以進行資料比對和資料訂正。

image.png

正向切換

正向切換(傳統意義上的系統割接流程的抽象化、標準化)不會操作業務應用串連的切換,是資料移轉任務配合應用程式切換需要執行的任務流。您需要保證在應用串連切換至目標端之前完成正向切換的全部流程。

正向切換是資料移轉必不可少的一個步驟。通過正向切換,資料轉送可以確保完成了資料正向遷移的相關工作,並且您可以根據業務需求啟動反向增量組件。正向切換主要涉及的工作如下:

  1. 您需要自行確認已完成資料移轉,並等待正向同步延遲被追平。

  2. 資料轉送將會自動補充目標端為 Oracle 資料庫和 OceanBase 資料庫 Oracle 租戶時,結構遷移階段忽略的檢查類約束、外鍵約束等對象。

  3. 資料轉送將會自動刪除遷移依賴的附加隱藏列及唯一索引。

    該操作僅在 Oracle 資料庫和 OceanBase 資料庫之間,以及 OceanBase 資料庫之間的資料移轉任務存在,詳情請參見 資料移轉服務隱藏列機制說明

  4. 您需要自行補充遷移源端觸發器、函數、預存程序等其它資料轉送不支援的資料庫物件至目標端。

  5. 您需要自行禁用源端的觸發器和外鍵約束(僅針對資料移轉任務存在反向增量時需要)。

正向切換的步驟如下:

image.png

  1. 啟動正向切換

    該步驟為確認開始正向操作,實際後台不會執行任何相關的操作。如果您已確認完成資料移轉,需要進行業務割接,請單擊 啟動正向切換,開始資料轉送正向切換流程。

    重要

    啟動正向切換前,請確保源端為已經停寫狀態。

  2. 切換預檢查

    該步驟為正向切換之前的預檢查,主要檢查以下內容:

    • 源端和目標端延遲檢查。如果延遲在 15 秒以內,則檢查通過。

    • 源端-帳號寫入權限檢查。如果資料移轉任務涉及反向增量,則需要額外檢查源端配置的帳號是否具備寫資料的許可權,確保反向增量可以正常寫入資料。

    • 目標端-帳號增量讀許可權檢查。如果資料移轉任務涉及反向增量,則需要額外檢查目標端配置的帳號是否具備讀取資料的許可權,確保反向增量可以正常從目標端讀取資料。

    • 目標端-增量日誌檢查。如果資料移轉任務涉及反向增量,則需要額外檢查目標端增量日誌配置是否滿足反向增量日誌抽取要求。

    如果切換預檢查通過,資料轉送將自動執行下一步操作。如果切換預檢查未通過,資料轉送提供 重試 跳過 操作。

    重要

    如果您選擇跳過,可能會造成目標端資料缺失或反向增量失敗等問題,請謹慎操作。

  3. 啟動目標端 Store

    說明

    該步驟僅在資料移轉任務存在反向增量階段時顯示。

    如果正向切換預檢查通過,資料轉送將自動為目標端啟動增量日誌拉取服務,以擷取目標端的 DML、DDL 等操作、解析並儲存相關的日誌資料,為反向增量階段進行準備。該步驟預計持續 3~5 分鐘左右。

  4. 確認源端停寫

    該步驟為確認源端無持續業務寫入。如果您確認源端無新增資料,請單擊 確定,進入下一步流程。

  5. 確認同步追平停寫位點

    該步驟將檢查目標端的同步位點是否已經追平至確認源端停寫時的位點。如果該步驟處於運行中或失敗狀態,長時間未追平位點,您可以單擊 跳過

    重要

    如果您選擇跳過,可能導致源端和目標端的資料不一致,請謹慎操作。

  6. 停止正向同步

    該步驟將停止正向同步服務。停止服務後,該任務中源端產生的任何資料庫變更將不再同步至目標端。如果停止服務失敗,資料轉送提供 重試 跳過 操作。

    重要

    跳過操作僅適用於確認正向同步服務後台已經完成處理時操作,否則可能出現源端資料非預期寫入目標端的問題,請謹慎操作。

  7. 執行資料庫物件處理

    該步驟用於處理資料移轉階段忽略或者資料轉送暫不支援的對象,以確認業務割接切換至目標端後可以正常工作。

    • 遷移資料庫物件至目標端:該操作需要您自行遷移源端觸發器、函數、預存程序等其它資料轉送不支援的資料庫物件至目標端。如果您確認已自行完成遷移,請單擊 標記完成

    • 禁用源端觸發器外鍵約束:該操作僅在資料移轉任務中存在反向增量階段時需要,用於確認反向增量時資料不會受觸發器或外鍵約束影響,從而導致反向增量同步處理失敗。該操作需要您自行完成,如果您確認已自行完成,請單擊 標記完成

    • 補充結構遷移階段忽略的對象至目標端:該操作僅適用於目標端為 Oracle 資料庫和 OceanBase 資料庫 Oracle 租戶,用於在目標端自動補充結構遷移階段忽略的檢查類約束、外鍵約束等對象。其他目標端的結構遷移預設遷移上述對象,無需額外操作。

    • 刪除資料轉送附加隱藏列和唯一索引:該操作僅在 Oracle 資料庫和 OceanBase 資料庫之間,以及 OceanBase 資料庫之間的資料移轉任務存在,用於自動刪除資料轉送為保證資料移轉一致性在目標端附加的隱藏列及唯一索引。該操作會自動運行,執行時間受目標端資料量影響。資料轉送在該步驟運行時提供 跳過 操作,但跳過後,您需要自行刪除,請謹慎操作。詳情請參見 資料移轉服務隱藏列機制說明

  8. 啟動反向增量

    說明

    該步驟僅在資料移轉任務存在反向增量階段時顯示。

    該步驟為啟動目標端的增量同步處理服務,用於將目標端的增量 DML 或 DDL 變更即時同步至源端。增量同步處理的配置和任務建立時的配置保持一致,其中增量 DDL 功能請參見具體資料庫的 增量 DDL 說明文檔

反向增量

說明

遷移 Oracle 資料庫的資料至 OceanBase 資料庫 Oracle 租戶時,不支援反向增量。

對於 運行中 狀態的資料移轉任務,您可以在反向增量地區查看其延遲時間、當前位點時間,以及反向增量效能資訊。延遲時間的顯示邏輯為:X 秒(Y 秒前更新),Y 小於 20 秒屬於正常情況。

說明

反向增量 步驟處於 失敗已暫停 狀態時,您可以單擊當前位點時間右側的編輯表徵圖進行修改。

對於 已暫停失敗 狀態的資料移轉任務,您可以開啟 DDL/DML 統計功能,統計開啟該功能時間點之後的資料庫操作。同時,您可以查看反向增量同步處理對象的具體資訊,以及反向增量效能資訊。

image.png

  • 同步對象統計 頁簽為您展示表層級的統計 DML 數量,在該頁簽上方的變更總和、Delete、Insert 和 Update 顯示的資料為當前資料移轉任務中所有的 DML 數量,即 同步對象統計 頁簽統計的數量之和。

  • 反向增量效能 頁簽為您展示以下內容:

    • 延遲:目標端增量變更被同步至源端的延隔時間,單位為秒。

    • 遷移流量:目標端增量變更資料被同步至源端的流量吞吐,單位為 KB/s。

    • 平均執行時間:每條 SQL 執行時間的均值,單位為毫秒。

    • 平均提交時間:事務提交時間的均值,單位為毫秒。

    • RPS:每秒處理記錄數。