全部產品
Search
文件中心

Data Transmission Service:配置RDS MySQL間的Data Integration任務

更新時間:Jul 06, 2024

本文以配置RDS MySQL間的Data Integration任務為例,介紹Data Integration任務的配置流程和注意事項。

說明
  • 新版DTS控制台暫不支援Data Integration功能,您可以在Data Management控制台配置離線整合任務,詳情請參見離線整合概述
  • 支援全量資料移轉的資料來源均支援Data Integration功能,詳情請參見遷移方案概覽

前提條件

已建立源和目標執行個體,請參見快速建立RDS MySQL執行個體

背景資訊

DTS的Data Integration功能可根據調度策略,定期地將源庫中的結構和存量資料移轉至目標庫中,通過該功能可以協助您構建更加靈活的資料倉儲。更多詳情,請參見Data Integration調度策略說明

注意事項

如果來源資料庫沒有主鍵或唯一約束,且所有欄位沒有唯一性,可能會導致目標資料庫中出現重複資料。

功能限制

  • DTS支援結構遷移的對象為表、視圖、觸發器、預存程序、儲存函數。
    說明 在結構遷移時,DTS會將視圖、預存程序或函數中的DEFINER轉換為INVOKER
  • 不支援遷移源庫的user資訊。遷移完成後,如果您需要調用目標庫的視圖、預存程序或函數,則需對調用者授予讀寫權限。

費用說明

遷移類型

鏈路配置費用

公網流量費用

結構遷移和全量資料移轉

不收費。

通過公網將資料移轉出阿里雲時將收費,詳情請參見計費概述

操作步驟

本文以華北1(青島)地區的RDS MySQL執行個體為例,介紹配置流程。

  1. 登入資料轉送控制台
    說明
    • 若資料轉送控制台自動跳轉至Data Management控制台,您可以單擊右下角的jiqiren中單擊返回舊版,返回至舊版資料轉送控制台。
    • 若您登入的是新版資料轉送控制台,您可以單擊右下角的返回舊版,返回至舊版資料轉送控制台。
  2. 在左側導覽列,單擊Data Integration
  3. 在Data Integration工作清單的頂部,選擇遷移的目標執行個體所屬地區,本案例選擇為華北1(青島)地區。
  4. 單擊頁面右上方的建立Data Integration任務
  5. 配置Data Integration任務的源庫和目標庫串連資訊。
    RDS MySQL間遷移
    類別配置說明
    任務名稱DTS會自動產生一個任務名稱,建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
    源庫資訊執行個體類型選擇RDS執行個體
    執行個體地區選擇源RDS執行個體所屬的地區,本案例選擇為華北1(青島)地區。
    資料庫帳號填入源RDS執行個體的資料庫帳號,該資料庫帳號需具備讀寫權限。
    說明 關於資料庫帳號的建立和授權方法,請參見建立RDS MySQL資料庫帳號
    資料庫密碼填入該資料庫帳號的密碼。
    說明 源庫資訊填寫完畢後,您可以單擊資料庫密碼後的測試連接來驗證填入的資訊是否正確。如果填寫正確則提示測試通過;如果提示測試失敗,單擊測試失敗後的診斷,根據提示調整填寫的源庫資訊。
    串連方式根據需求選擇非加密串連SSL安全連線。如果設定為SSL安全連線,您需要提前開啟RDS執行個體的SSL加密功能,詳情請參見設定SSL加密
    說明 目前僅中國內地及中國香港地區支援設定串連方式
    目標庫資訊執行個體類型選擇RDS執行個體
    執行個體地區選擇目標RDS執行個體所屬的地區,本案例選擇為華北1(青島)地區。
    資料庫帳號填入目標RDS執行個體的資料庫帳號,該資料庫帳號需具備讀寫權限。
    說明 關於資料庫帳號的建立和授權方法,請參見建立RDS MySQL資料庫帳號
    資料庫密碼填入該資料庫帳號的密碼。
    說明 目標庫資訊填寫完畢後,您可以單擊資料庫密碼後的測試連接來驗證填入的資訊是否正確。如果填寫正確則提示測試通過;如果提示測試失敗,單擊測試失敗後的診斷,根據提示調整填寫的目標庫資訊。
    串連方式根據需求選擇非加密串連SSL安全連線。如果設定為SSL安全連線,您需要提前開啟RDS執行個體的SSL加密功能,詳情請參見設定SSL加密
    說明 目前僅中國內地及中國香港地區支援設定串連方式
  6. 配置完成後,單擊頁面右下角的授權白名單並進入下一步
  7. 配置周期性調度策略並選擇遷移對象。
    1. 配置周期性調度策略。
      配置Data Integration策略
      配置說明
      遷移類型選中結構遷移全量資料移轉,DTS將在首次遷移時,遷移源庫待遷移對象的結構和存量資料。
      調度策略
      • 多副本模式
      • 重新同步模式
      • 基於時間戳記的增量模式
      說明 關於調度策略的說明、限制及使用情境請參見調度策略說明
      調度生效日期單擊表徵圖,然後選擇調度生效的起止日期,最大範圍為365天。
      調度周期選擇調度周期為,然後根據提示設定具體的調度時間點。
      說明
      • DTS在執行全量資料移轉時將佔用源庫和目標庫一定的讀寫資源,可能會導致資料庫的負載上升,因此建議您充分評估源庫和目標庫的效能,同時將調度時間點設定在業務低峰期。
      • 設定完成後,可單擊任務失敗策略右側的查看計劃調度時間來查看設定的調度時間是否符合預期。
      任務失敗策略根據業務需求,選擇:
      • 單次任務失敗後,不再執行後續的調度任務
      • 單次任務失敗後,忽略失敗,並執行下一次調度任務
    2. 選擇遷移對象。
      選擇遷移對象
      配置說明
      遷移對象

      遷移對象框中單擊待遷移的對象(庫、表或列),然後單擊向右小箭頭表徵圖將其移動至已選擇對象框。

      說明
      • 如果調度策略選擇為基於時間戳記的增量模式,遷移對象不能選擇為整庫(需為表或列),否則無法在下一步指定時間戳記欄位。
      • 預設情況下,遷移完成後,遷移對象的名稱保持不變。如果您需要變更遷移對象在目標執行個體中的名稱,需要使用對象名映射功能,詳情請參見庫表列映射
      • 如果使用了對象名映射功能,可能會導致依賴這個對象的其他對象遷移失敗。
    3. 單擊頁面右下角的下一步,指定時間戳記欄位。
      說明 當選擇調度策略基於時間戳記的增量模式時,才需要執行本步驟。
      指定時間戳記欄位
  8. 上述配置完成後,單擊頁面右下角的預檢查並啟動

    說明
    • 在遷移任務正式啟動之前,會先進行預檢查。只有預檢查通過後,才能成功啟動遷移任務。

    • 如果預檢查失敗,單擊具體檢查項後的提示,查看失敗詳情。

      • 您可以根據提示修複後重新進行預檢查。

      • 如無需修複警示檢測項,您也可以選擇確認屏蔽忽略警示項並重新進行預檢查,跳過警示檢測項重新進行預檢查。

  9. 預檢查通過後,單擊下一步

  10. 在彈出的購買配置確認對話方塊,選擇鏈路規格並選中資料轉送(隨用隨付)服務條款

  11. 單擊立即購買並啟動,Data Integration任務將在最近的調度周期(即下次調度時間)正式開始。
    Data Integration任務狀態
    說明 該任務將在調度生效時間的截止時間自動結束。如果需要在調度生效的時間內停止該任務,請單擊停止Data Integration任務

執行結果

本次任務調度完成後,Data Integration任務的狀態變更為已完成,DTS將等待下次調度時間並再次執行全量資料移轉。

Data Integration運行中狀態