全部產品
Search
文件中心

Data Online Migration:遷移實施

更新時間:Jul 01, 2024

本文介紹資料移轉的注意事項和操作步驟。

注意事項

使用線上遷移服務遷移資料時需要注意以下事項:

  • 線上遷移服務使用來源站點儲存服務提供者公開的標準介面來訪問來源資料,其行為依賴於來源站點儲存服務提供者的具體實現。

  • 線上遷移會佔用源地址和目的地址的資源,可能會影響業務正常運行。若您的業務比較重要,請提前做好評估後對遷移任務設定限速,或在空閑時間啟動遷移任務。

  • 線上遷移前會檢查源地址和目的地址的檔案,但是若您源和目的地址有相同檔案名稱的檔案,且在遷移任務中配置了覆蓋方式為覆蓋,遷移時會直接覆蓋目的地址的檔案。若兩個檔案內容不同,必須變更檔名或做好備份。

  • 線上遷移會保留源檔案的最後修改時間屬性,如果目的Bucket設定了生命週期規則,且遷移後檔案處於該生命週期規則生效的時間範圍內,則該檔案可能會在規則生效時被刪除或轉為指定的歸檔類型。

遷移限制

線上遷移目前僅支援單次遷移單個Bucket資料,無法將整個帳號的資料一次性遷移。

步驟一:建立源地址

  1. 使用建立的RAM使用者登入阿里雲資料線上遷移控制台

  2. 在左側導覽列,選擇線上遷移服務 > 資料地址,單擊建立資料地址

  3. 建立資料地址頁面,配置如下參數,然後單擊確認

    參數

    是否必選

    說明

    資料類型

    選擇AWS S3

    資料名稱

    輸入3~63位字元。不支援短劃線(-)和底線(_)之外的特殊字元。

    Endpoint

    輸入AWS S3的訪問網域名稱。更多資訊,請參見管理存取點

    重要

    連結文檔僅供參考,由於來源站點變更,文檔可能已經過時。

    Bucket

    輸入待遷移資料所在的AWS S3儲存桶名稱。

    說明

    儲存桶名稱要求開頭和結尾不帶空格、換行、定位字元等非法字元。

    Prefix

    您可以指定資料路徑首碼遷移部分資料。

    • 指定首碼:遷移指定目錄(首碼)下的資料。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結尾。

    • 不指定首碼:遷移整個Bucket中的資料。

    AccessKey IdSecretAccess Key

    輸入建立的IAM使用者的存取金鑰,用於AWS S3進行身份識別,確認該使用者是否有讀取來源資料的許可權。

步驟二:建立目的地址

  1. 選擇線上遷移服務 > 資料地址,然後單擊建立資料地址

  2. 建立資料地址頁面,配置相關參數,然後單擊確定

    參數

    是否必選

    說明

    資料類型

    選擇OSS

    資料名稱

    輸入3~63位字元。不支援短劃線(-)和底線(_)之外的特殊字元。

    資料所在地區

    選擇目的地址所在的地區。

    開通並使用傳輸加速

    線上遷移服務使用OSS的傳輸加速服務,需要開通Bucket的傳輸加速服務。開啟傳輸加速後,會在30分鐘內生效,請在30分鐘後再建立遷移任務。

    重要

    開啟了傳輸加速的Bucket會收取傳輸加速費用。關於傳輸加速的更多資訊,請參見傳輸加速

    OSS Endpoint

    根據您目的資料所在地區,選擇一個Endpoint。關於Endpoint的具體資訊,請參見訪問網域名稱

    說明

    將第三方資料移轉到OSS時,只能選擇外網Endpoint訪問OSS。

    AccessKey Id和AccessKey Secret

    輸入建立的RAM使用者的AccessKey,用於OSS進行身份識別,確認該使用者是否有寫入遷移資料的許可權。

    OSS Bucket

    選擇或輸入遷移目的所在的儲存桶(Bucket)名稱。

    OSS Prefix

    資料路徑首碼。

    • 指定首碼:您可以設定資料路徑首碼將來源資料遷移至指定目錄下。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結尾,例如data/to/oss/

    • 不指定首碼:不設定資料路徑首碼時,會將來源資料遷移至目的Bucket的根目錄。

    重要

    若您遷移的源地址檔案中有以正斜線(/)開頭的檔案名稱,配置目的地址的時候需要添加一個OSS Prefix,否則會導致遷移失敗。例如:需要遷移的檔案中包含/test/test.png這個檔案,您需要添加一個OSS Prefix,如:oss/。當遷移完成後,/test/test.png的OSS檔案名稱變為oss//test/test.png。

步驟三:建立遷移任務

  1. 在左側導覽列,選擇線上遷移服務 > 遷移任務,單擊建立遷移任務

  2. 建立遷移任務面板,閱讀遷移服務條款協議,選中我理解如上條款,並開通資料移轉服務,單擊下一步

  3. 在彈出的費用提示對話方塊,單擊確認,繼續建立

  4. 配置任務頁簽,配置如下參數,單擊下一步

    參數

    是否必選

    說明

    任務名稱

    輸入3~63位字元。不支援短劃線(-)和底線(_)之外的特殊字元。

    源地址

    選擇已建立的源地址。

    目的地址

    選擇已建立的目的地址。

    指定目錄

    設定遷移時包含或排除指定目錄下的檔案和子目錄。

    • 不過濾:不過濾遷移目錄。

    • 排除:遷移時,不遷移排除目錄下的檔案和子目錄。

      例如,當您只想遷移root_dir/下除了root_dir/bad_sub1/root_dir/bad_sub2/之外的所有目錄時,您可以選擇排除模式,然後添加兩項bad_sub1/bad_sub2/

    • 包含:遷移時,只遷移包含目錄下的檔案和子目錄。

      例如,當您只想遷移root_dir/下的root_dir/good_sub1/root_dir/good_sub2/這兩個目錄時,您可以選擇包含模式,然後添加兩項good_sub1/good_sub2/

    說明
    • 目錄中僅支援數字和大小寫字母,除此之外的特殊字元可能會導致遷移失敗。

    • 目錄不能以正斜線(/)或者反斜線(\)開頭,並且目錄中不能出現兩個正斜線(//),兩個半形句號(..)和半形雙引號("),提交的所有目錄總字元長度不能超過10 KB。

    • 目錄要以正斜線(/)結尾,例如docs/

    • 最多可設定20個排除目錄或者包含目錄。

    遷移方式

    選擇遷移資料的方式。

    • 全量遷移:根據遷移起點時間遷移一次指定遷移起點時間之後的全量資料,資料移轉完成後任務結束。

      如果遷移完成後來源資料有變化,您可以再次提交全量遷移任務,系統將僅遷移變化的資料。

    • 增量遷移:按設定的增量遷移間隔增量遷移次數執行遷移任務。

      • 首次根據遷移起點時間遷移指定遷移起點時間之後的全量資料。首次遷移完成後,按照增量遷移時間間隔執行增量遷移任務,將源地址從前次遷移任務開始後到下次遷移開始前新增或修改的增量資料移轉至目的地址。

      • 如果配置的增量遷移次數是N,則執行1次全量遷移,之後執行N-1次增量遷移。

        例如:設定遷移間隔1小時,遷移次數5次,遷移起點時間為2019-03-05 08:00,目前時間為2019-03-10 08:00。則首次遷移最後修改時間在2019-03-05 08:00~2019-03-10 08:00之間的檔案。假設遷移任務1小時完成,第二次遷移則從2019-03-10 10:00(遷移1小時,遷移間隔1小時)開始,遷移最後修改時間在2019-03-10 08:00~2019-03-10 10:00之間的檔案,共進行1次全量遷移和4次增量遷移。

    重要

    全量遷移和增量遷移均會在每次遷移開始前,對源地址和目的地址的檔案進行對比。如果遷移同名檔案,則以下三種情況的目標地址檔案會被覆蓋。

    • 源地址檔案與目標地址檔案的Content-Type不一致,目標地址檔案會被覆蓋。

    • 源地址檔案的最後修改時間晚於目標地址檔案的最後修改時間,目標地址檔案會被覆蓋。

    • 源地址檔案與目標地址檔案的大小不一致,目標地址檔案會被覆蓋。

    遷移檔案起點時間

    選擇遷移檔案的起點時間。

    • 遷移全部:遷移所有時間的檔案。

    • 指定時間:只遷移指定時間之後建立或修改的檔案。

      例如指定時間設定為2018-11-01 08:00:00,則只遷移2018年11月01日8點之後建立或修改的檔案,在這個時間之前建立或修改的檔案被忽略。

    增量遷移間隔

    是(針對增量遷移)

    預設值1小時,最大值24小時。

    增量遷移次數

    是(針對增量遷移)

    預設值1次,最大值30次。

    檔案覆蓋方式

    源地址中檔案和目的地址中檔案同名時,遷移過程中執行的覆蓋方式。包括如下選項:

    • 最後修改時間優先:對於同名檔案,判斷兩個檔案的LastModified,即最後修改時間。

      • 如果源地址中檔案的LastModified晚於目的地址中檔案的LastModified,則執行覆蓋。

      • 如果源地址中檔案的LastModified早於目的地址中檔案的LastModified,則執行跳過。

      • 如果兩個檔案的LastModified相同,則繼續判斷兩個檔案的Size和Content-Type是否均相同。

        如果兩個檔案的Size和Content-Type均相同,則執行跳過;如果兩個檔案的Size或者Content-Type中存在至少一個不同,則執行覆蓋。

    • 條件覆蓋:對於同名檔案,判斷兩個檔案的LastModified、Size和Content-Type是否相同。

      • 如果兩個檔案的LastModified、Size和Content-Type均相同,則執行跳過。

      • 如果兩個檔案的LastModified、Size和Content-Type中存在至少一個不同,則執行覆蓋。

    • 全覆蓋:對於同名檔案,不進行任何判斷,直接執行覆蓋。

    • 不覆蓋:對於同名檔案,不進行任何判斷,直接執行跳過。

      警告
      • 條件覆蓋最後修改時間優先無法嚴格保證一定不會覆蓋更新的檔案,存在舊檔案覆蓋新檔案的風險。

      • 若您選擇條件覆蓋最後修改時間優先覆蓋策略時,請務必確保源端檔案能返回LastModifiedSizeContent-Type等資訊,否則覆蓋策略可能失效,產生非預期的遷移結果。

  5. 效能調優頁簽的資料預估地區,填寫待遷移儲存量待遷移檔案個數

    說明

    為了遷移任務的順利進行,請盡量準確進行資料預估。更多資訊,請參見預估遷移資料

  6. 可選:效能調優頁簽的流量控制地區,設定限流時間段最大流量,然後單擊添加

    說明

    為了不影響您線上業務的訪問,建議您根據業務訪問的波峰和波穀來設定遷移時的限流時間段最大流量

  7. 單擊建立,等待遷移任務完成。

步驟四:校正資料

遷移服務僅負責資料的遷移,無法保證資料的一致性和完整性。遷移任務完成後,請您全量校正遷移的資料,務必自行做好源端和目的端資料一致性校正。

警告

請您務必在遷移任務完成後,校正目的端遷移資料。您在刪除來源資料前,未校正目的端遷移資料無誤,導致資料丟失所引起的一切損失和後果均由您自行承擔。