全部產品
Search
文件中心

Data Online Migration:遷移實施

更新時間:Jul 16, 2024

本文介紹資料移轉的注意事項和操作步驟。

注意事項

使用線上遷移服務遷移資料時需要注意以下事項:

  • 線上遷移服務使用來源站點儲存服務提供者公開的標準介面來訪問來源資料,其行為依賴於來源站點儲存服務提供者的具體實現。

  • 線上遷移會佔用源地址和目的地址的資源,可能會影響業務正常運行。若您的業務比較重要,請提前做好評估後對遷移任務設定限速,或在空閑時間啟動遷移任務。

  • 線上遷移前會檢查源地址和目的地址的檔案,但是若您源和目的地址有相同檔案名稱的檔案,且在遷移任務中配置了覆蓋方式為覆蓋,遷移時會直接覆蓋目的地址的檔案。若兩個檔案內容不同,必須變更檔名或做好備份。

  • 線上遷移會保留源檔案的最後修改時間屬性,如果目的Bucket設定了生命週期規則,且遷移後檔案處於該生命週期規則生效的時間範圍內,則該檔案可能會在規則生效時被刪除或轉為指定的歸檔類型。

步驟一:建立源地址

  1. 使用建立的RAM使用者登入阿里雲資料線上遷移控制台

  2. 在左側導覽列,選擇線上遷移服務 > 資料地址,單擊建立資料地址

  3. 建立資料地址頁面,配置如下參數,然後單擊確認

    參數

    是否必選

    說明

    資料類型

    選擇Http/Https

    資料名稱

    輸入3~63位字元。不支援短劃線(-)和底線(_)之外的特殊字元。

    列表地址

    填寫oss://{bucket}/{列表檔案}。具體資訊,請參見步驟二:上傳列表檔案

    列表訪問 Endpoint

    根據Region與Endpoint對照表,填寫正確的Endpoint。更多資訊,請參見訪問網域名稱

    列表訪問AK

    輸入建立的RAM使用者的AccessKey,用於OSS進行身份識別,確認該使用者是否有讀取來源資料的許可權。

    列表訪問SK

步驟二:建立目的地址

  1. 在左側導覽列,選擇線上遷移服務 > 資料地址,單擊建立資料地址

  2. 建立資料地址頁面,配置如下參數,然後單擊確認

    參數

    是否必選

    說明

    資料類型

    選擇OSS

    資料名稱

    輸入3~63位字元。不支援短劃線(-)和底線(_)之外的特殊字元。

    資料所在地區

    選擇目的地址所在的地區。

    開通並使用傳輸加速

    線上遷移服務使用OSS的傳輸加速服務,需要開通Bucket的傳輸加速服務。開啟傳輸加速後,會在30分鐘內生效,請在30分鐘後再建立遷移任務。

    重要

    開啟了傳輸加速的Bucket會收取傳輸加速費用。關於傳輸加速的更多資訊,請參見傳輸加速

    OSS Endpoint

    根據您目的資料所在地區,選擇一個Endpoint。關於Endpoint的具體資訊,請參見訪問網域名稱

    AccessKey Id

    輸入建立的RAM使用者的AccessKey,用於OSS進行身份識別,確認該使用者是否有寫入遷移資料的許可權。

    AccessKey Secret

    OSS Bucket

    選擇或輸入遷移目的所在的儲存桶(Bucket)名稱。

    OSS Prefix

    資料路徑首碼。

    • 指定首碼:您可以設定資料路徑首碼將來源資料遷移至指定目錄下。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結尾,例如data/to/oss/

    • 不指定首碼:不設定資料路徑首碼時,會將來源資料遷移至目的Bucket的根目錄。

步驟三:建立遷移任務

  1. 在左側導覽列,選擇線上遷移服務 > 遷移任務,單擊建立遷移任務

  2. 建立遷移任務面板,閱讀遷移服務條款協議,選中我理解如上條款,並開通資料移轉服務,單擊下一步

  3. 在彈出的費用提示對話方塊,單擊確認,繼續建立

  4. 配置任務頁簽,設定如下參數,然後單擊下一步

    參數

    是否必選

    說明

    任務名稱

    輸入3~63位字元。不支援短劃線(-)和底線(_)之外的特殊字元。

    源地址

    選擇已建立的源地址。

    目的地址

    選擇已建立的目的地址。

    遷移方式

    全量遷移:遷移一次全量資料,資料移轉完成後任務結束。如果之後來源資料有變化,您可以再次提交全量遷移任務,系統將僅遷移變化的資料。

    重要

    全量遷移在每次遷移開始前,對源地址和目的地址的檔案進行對比。如果遷移同名檔案,則以下三種情況的目標地址檔案會被覆蓋。

    • 源地址檔案與目標地址檔案的Content-Type不一致,目標地址檔案會被覆蓋;

    • 源地址檔案的更新時間晚於目標地址,目標地址檔案會被覆蓋;

    • 源地址檔案與目標地址檔案的大小不一致,目標地址檔案會被覆蓋。

    檔案覆蓋方式

    源地址中檔案和目的地址中檔案同名時,遷移過程中執行的覆蓋方式。包括如下選項:

    • 最後修改時間優先:對於同名檔案,判斷兩個檔案的LastModified,即最後修改時間。

      • 如果源地址中檔案的LastModified晚於目的地址中檔案的LastModified,則執行覆蓋。

      • 如果源地址中檔案的LastModified早於目的地址中檔案的LastModified,則執行跳過。

      • 如果兩個檔案的LastModified相同,則繼續判斷兩個檔案的Size和Content-Type是否均相同。

        如果兩個檔案的Size和Content-Type均相同,則執行跳過;如果兩個檔案的Size或者Content-Type中存在至少一個不同,則執行覆蓋。

    • 條件覆蓋:對於同名檔案,判斷兩個檔案的LastModified、Size和Content-Type是否相同。

      • 如果兩個檔案的LastModified、Size和Content-Type均相同,則執行跳過。

      • 如果兩個檔案的LastModified、Size和Content-Type中存在至少一個不同,則執行覆蓋。

    • 全覆蓋:對於同名檔案,不進行任何判斷,直接執行覆蓋。

    • 不覆蓋:對於同名檔案,不進行任何判斷,直接執行跳過。

      警告
      • 條件覆蓋最後修改時間優先無法嚴格保證一定不會覆蓋更新的檔案,存在舊檔案覆蓋新檔案的風險。

      • 若您選擇條件覆蓋最後修改時間優先覆蓋策略時,請務必確保源端檔案能返回LastModifiedSizeContent-Type等資訊,否則覆蓋策略可能失效,產生非預期的遷移結果。

  5. 效能調優頁簽的資料預估地區,填寫待遷移儲存量待遷移檔案個數

    說明

    為了遷移任務的順利進行,請盡量準確進行資料預估。更多資訊,請參見預估遷移資料

  6. 可選:效能調優頁簽的流量控制地區,設定限流時間段最大流量,然後單擊添加

    說明

    為了不影響您線上業務的訪問,建議您根據業務訪問的波峰和波穀來設定遷移時的限流時間段最大流量

  7. 單擊建立,等待遷移任務完成。

步驟四:校正資料

遷移服務僅負責資料的遷移,無法保證資料的一致性和完整性。遷移任務完成後,請您全量校正遷移的資料,務必自行做好源端和目的端資料一致性校正。

警告

請您務必在遷移任務完成後,校正目的端遷移資料。您在刪除來源資料前,未校正目的端遷移資料無誤,導致資料丟失所引起的一切損失和後果均由您自行承擔。