全部產品
Search
文件中心

Data Transmission Service:RDS執行個體間的資料移轉

更新時間:Jul 06, 2024

本文介紹如何使用Data Transmission Service (简称DTS),實現RDS執行個體間的資料移轉。DTS支援結構遷移、全量資料移轉以及增量資料移轉,同時使用這三種遷移類型可以實現在自建應用不停服的情況下,平滑地完成資料庫的遷移。

前提條件

遷移情境中RDS執行個體的資料庫類型必須滿足如下條件:

來源資料庫

目標資料庫

RDS MySQL

RDS MariaDB

RDS MySQL

RDS MariaDB

RDS SQL Server

RDS SQL Server

RDS PostgreSQL

RDS PostgreSQL

重要

本文介紹了DTS舊版控制台的操作方法,新版控制台的操作方法請參見RDS MySQL執行個體間的遷移RDS MariaDB執行個體間的遷移RDS PostgreSQL間的資料移轉RDS SQL Server執行個體間的遷移

注意事項

  • 資料移轉不會影響來源資料庫的資料。資料移轉的實現原理是讀取源庫資料,並將資料複製至目標庫,不會刪除源庫資料。更多遷移功能原理,請參見資料移轉的工作原理

  • DTS在執行全量資料移轉時將佔用源庫和目標庫一定的讀寫資源,可能會導致資料庫的負載上升,在資料庫效能較差、規格較低或業務量較大的情況下(例如源庫有大量慢SQL、存在無主鍵表或目標庫存在死結等),可能會加重資料庫壓力,甚至導致資料庫服務不可用。因此您需要在執行資料移轉前評估源庫和目標庫的效能,同時建議您在業務低峰期執行資料移轉(例如源庫和目標庫的CPU負載在30%以下)。

  • 如果源庫中待遷移的表沒有主鍵或唯一約束,且所有欄位沒有唯一性,可能會導致目標資料庫中出現重複資料。

  • 當選擇的遷移類型為全量資料移轉,那麼為保障資料一致性,在遷移期間請勿在源RDS執行個體中寫入新的資料。

  • 對於遷移失敗的任務,DTS會觸發自動回復。當您需要將業務切換至目標執行個體,請務必先結束或釋放遷移任務,避免該任務被自動回復後,使用源端資料覆蓋目標執行個體的資料。

  • DTS會自動地在目標阿里雲RDS執行個體中建立資料庫,如果待遷移的資料庫名稱不符合阿里雲RDS執行個體的定義規範,您需要在配置遷移任務之前在目標阿里雲RDS執行個體中建立資料庫。

    說明

    關於阿里雲RDS的定義規範和建立資料庫的操作方法,請參見建立資料庫和帳號

  • 如您需進行RDS PostgreSQL執行個體間遷移,由於業務切換到目標端後,新寫入的Sequence不會按照源庫的Sequence最大值作為初始值去遞增,您需要在業務切換前,在源庫中查詢對應Sequence的最大值,然後在目標庫中將其作為對應Sequence的初始值。查詢源庫Sequence值的相關命令如下:

    do language plpgsql $$
    declare
      nsp name;
      rel name;
      val int8;
    begin
      for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S'
      loop
        execute format($_$select last_value from %I.%I$_$, nsp, rel) into val;
        raise notice '%',
        format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1);
      end loop;
    end;
    $$;

費用說明

遷移類型

鏈路配置費用

公網流量費用

結構遷移和全量資料移轉

不收費。

通過公網將資料移轉出阿里雲時將收費,詳情請參見計費概述

增量資料移轉

收費,詳情請參見計費概述

遷移類型說明

  • 結構遷移

    DTS將遷移對象的結構定義遷移到目標執行個體。

  • 全量資料移轉

    DTS將源RDS執行個體遷移對象的存量資料,全部遷移到目標RDS執行個體中。

  • 增量資料移轉

    DTS在全量遷移的基礎上,將源RDS執行個體的累加式更新資料同步到目標RDS執行個體中。通過增量資料移轉可以實現在自建應用不停服的情況下,平滑地完成資料移轉。

增量資料移轉階段支援同步的SQL操作

遷移情境

操作類型

SQL動作陳述式

  • RDS MySQL間遷移

  • RDS MariaDB間遷移

  • RDS MariaDB與RDS MySQL間的遷移

DML

INSERT、UPDATE、DELETE、REPLACE

DDL

  • ALTER TABLE、ALTER VIEW

  • CREATE FUNCTION、CREATE INDEX、CREATE PROCEDURE、CREATE TABLE、CREATE VIEW

  • DROP INDEX、DROP TABLE

  • RENAME TABLE

  • TRUNCATE TABLE

RDS SQL Server間遷移

DML

INSERT、UPDATE、DELETE

說明

不支援同步只更新大欄位的UPDATE語句。

DDL

  • ALTER TABLE,僅包含ADD COLUMN、DROP COLUMN、RENAME COLUMN

  • CREATE TABLE、CREATE INDEX

    說明

    CREATE TABLE不支援分區、表定義內部包含函數。

  • DROP TABLE

  • RENAME TABLE

  • TRUNCATE TABLE

RDS PostgreSQL間遷移

DML

INSERT、UPDATE、DELETE

DDL

  • ALTER TABLE、ADD INDEX

  • CREATE TABLE、CREATE INDEX

    說明

    CREATE TABLE不支援分區表、表內定義包含函數的表。

  • DROP TABLE

  • RENAME TABLE

資料庫帳號的許可權要求

遷移情境

資料庫

結構遷移

全量遷移

增量遷移

  • RDS MySQL間遷移

  • RDS MariaDB間遷移

  • RDS MariaDB與RDS MySQL間的遷移

源執行個體

SELECT許可權

SELECT許可權

REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW和SELECT許可權

目標執行個體

讀寫權限

讀寫權限

讀寫權限

RDS SQL Server間遷移

源執行個體

select許可權

select許可權

待遷移對象的所有者許可權。

說明

高許可權帳號滿足要求。

目標執行個體

讀寫權限

讀寫權限

讀寫權限

RDS PostgreSQL間遷移

源執行個體

pg_catalog的usage許可權

遷移對象的select許可權

rds_superuser

說明
  • RDS PostgreSQL的高許可權帳號滿足許可權要求。

  • 如運行時DTS報錯提示帳號缺乏superuser許可權,您需要升級該RDS執行個體的小版本。

目標執行個體

遷移對象的create、usage許可權

擁有授權資料庫(owner)的操作許可權,包括INSERT、UPDATE、DELETE。

說明

RDS PostgreSQL的普通帳號滿足許可權要求。

擁有授權資料庫(owner)的操作許可權,包括INSERT、UPDATE、DELETE。

說明

RDS PostgreSQL的普通帳號滿足許可權要求。

操作步驟

  1. 登入資料轉送控制台

    說明

    若資料轉送控制台自動跳轉至Data Management控制台,您可以在右下角的jiqiren中單擊返回舊版,返回至舊版資料轉送控制台。

  2. 在左側導覽列,單擊資料移轉

  3. 遷移工作清單頁面頂部,選擇遷移的目標執行個體所屬地區。

  4. 單擊頁面右上方的建立遷移任務

  5. 配置遷移任務的源庫及目標庫資訊。 RDS執行個體間遷移

    類別

    配置

    說明

    任務名稱

    DTS會自動產生一個任務名稱,建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。

    源庫資訊

    執行個體類型

    選擇RDS執行個體

    執行個體地區

    選擇源RDS執行個體所屬地區。

    RDS執行個體ID

    選擇源RDS執行個體ID。

    說明

    源RDS和目標RDS執行個體可以不同或相同,即您可以使用DTS實現兩個RDS執行個體間的資料移轉或同一RDS執行個體內的資料移轉。

    資料庫名稱

    填入RDS PostgreSQL執行個體中待遷移的資料庫名。

    說明

    當RDS執行個體的引擎為PostgreSQL時,該參數才會出現並需要配置。

    資料庫帳號

    填入源RDS執行個體的資料庫帳號,許可權要求請參見資料庫帳號的許可權要求

    資料庫密碼

    填入該資料庫帳號對應的密碼。

    說明

    源庫資訊填寫完畢後,您可以單擊資料庫密碼後的測試連接來驗證填入的源庫資訊是否正確。源庫資訊填寫正確則提示測試通過;如果提示測試失敗,單擊測試失敗後的診斷,根據提示調整填寫的源庫資訊。

    串連方式

    根據需求選擇非加密串連SSL安全連線。如果設定為SSL安全連線,您需要提前開啟RDS執行個體的SSL加密功能,詳情請參見設定SSL加密

    說明

    當RDS執行個體的引擎為MySQL時,該參數才會出現並需要配置。

    目前僅中國內地及中國香港地區支援設定串連方式

    目標庫資訊

    執行個體類型

    選擇RDS執行個體

    執行個體地區

    選擇目標RDS執行個體所屬地區。

    RDS執行個體ID

    選擇目標RDS執行個體ID。

    說明

    目標RDS執行個體和源RDS執行個體可以不同也可以相同,即您可以使用DTS實現兩個RDS執行個體間的資料移轉或同一RDS執行個體內的資料移轉。

    資料庫名稱

    填入RDS PostgreSQL執行個體中待遷入資料的目標資料庫名,可以和源執行個體中待遷移的資料庫名不同。

    說明

    當RDS執行個體的引擎為PostgreSQL時,該參數才會出現並需要配置。

    資料庫帳號

    填入目標RDS執行個體的資料庫帳號,許可權要求請參見資料庫帳號的許可權要求

    資料庫密碼

    填入該資料庫帳號對應的密碼。

    說明

    目標庫資訊填寫完畢後,您可以單擊資料庫密碼後的測試連接來驗證填入的目標庫資訊是否正確。目標庫資訊填寫正確則提示測試通過;如果提示測試失敗,單擊測試失敗後的診斷,根據提示調整填寫的目標庫資訊。

    串連方式

    根據需求選擇非加密串連SSL安全連線。如果設定為SSL安全連線,您需要提前開啟RDS執行個體的SSL加密功能,詳情請參見設定SSL加密

    說明

    當RDS執行個體的引擎為MySQL時,該參數才會出現並需要配置。

    目前僅中國內地及中國香港地區支援設定串連方式

  6. 配置完成後,單擊頁面右下角的授權白名單並進入下一步

    DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單中。DTS服務的IP地址,請參見DTS伺服器的IP位址區段

    警告

    DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險,一旦使用本產品代表您已理解和確認其中可能存在的安全風險,並且需要您做好基本的安全防護,包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段,或者使用通過內網(專線/VPN網關/智能網關)的方式接入。

  7. 選擇遷移對象及遷移類型。 選擇遷移類型和遷移對象

    配置

    說明

    遷移類型

    根據需求及各引擎對遷移類型的支援情況,選擇遷移類型。

    • 如果只需要進行全量遷移,請同時勾選結構遷移全量資料移轉

    • 如果需要進行不停機遷移,請同時勾選結構遷移全量資料移轉增量資料移轉

    說明

    如果未選擇增量資料移轉,為保障資料一致性,資料移轉期間請勿在源RDS執行個體中寫入新的資料。

    遷移對象

    遷移對象框中單擊待遷移的對象,然後單擊向右小箭頭將其移動到已選擇對象框。

    說明
    • 遷移對象選擇的粒度為庫、表、列。若選擇的遷移對象為表或列,其他對象(如視圖、觸發器、預存程序)不會被遷移至目標庫。

    • 預設情況下,遷移對象在目標庫中的名稱與源庫保持一致。如果您需要改變遷移對象在目標庫中的名稱,需要使用對象名映射功能,詳情請參見庫表列映射

    • 如果使用了對象名映射功能,可能會導致依賴這個對象的其他對象遷移失敗。

    映射名稱更改

    如需更改遷移對象在目標執行個體中的名稱,請使用對象名映射功能,詳情請參見庫表列映射

    源、目標庫無法串連重試時間

    當源、目標庫無法串連時,DTS預設重試720分鐘(即12小時),您也可以自訂重試時間。如果DTS在設定的時間內重新串連上源、目標庫,遷移任務將自動回復。否則,遷移任務將失敗。

    說明

    由於串連重試期間,DTS將收取任務運行費用,建議您根據業務需要自訂重試時間,或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。

  8. 上述配置完成後,單擊頁面右下角的預檢查並啟動

    說明
    • 在遷移任務正式啟動之前,會先進行預檢查。只有預檢查通過後,才能成功啟動遷移任務。

    • 如果預檢查失敗,單擊具體檢查項後的提示,查看失敗詳情。

      • 您可以根據提示修複後重新進行預檢查。

      • 如無需修複警示檢測項,您也可以選擇確認屏蔽忽略警示項並重新進行預檢查,跳過警示檢測項重新進行預檢查。

  9. 預檢查通過後,單擊下一步

  10. 購買配置確認頁面,選擇鏈路規格並選中資料轉送(隨用隨付)服務條款

  11. 單擊購買並啟動,遷移任務正式開始。

    • 全量資料移轉

      請勿手動結束遷移任務,否則可能導致資料不完整。您只需等待遷移任務完成即可,遷移任務會自動結束。

    • 增量資料移轉

      遷移任務不會自動結束,您需要手動結束遷移任務。

      說明

      請選擇合適的時間手動結束遷移任務,例如業務低峰期或準備將業務切換至目標執行個體時。

      1. 觀察遷移任務的進度變更為增量遷移,並顯示為無延遲時,將源庫停寫幾分鐘,此時增量遷移可能會顯示延遲的時間。

      2. 等待遷移任務的增量遷移再次進入無延遲後,手動結束遷移任務。無延遲