什麼是線上遷移服務 - Data Online Migration

當業務需要從AWS S3、騰訊雲COS等多個第三方雲端儲存或本地IDC遷移資料至阿里雲OSS時，傳統的資料移轉方式通常涉及複雜的開發和漫長的傳輸周期。線上遷移服務提供了一個免開發、可視化的統一遷移平台，您僅需通過簡單配置，即可高效、安全地將海量資料從不同來源集中遷移至OSS。

工作原理

在深入瞭解本服務前，建議您先瞭解什麼是Object Storage Service。

線上遷移服務作為一種Data Transmission Service，核心是建立並執行一個遷移任務。該任務定義了資料的來源、目的以及遷移規則。線上遷移服務通過讀取源端資料，經由網路傳輸，最終寫入到指定的OSS Bucket。

根據您的來源資料位置和網路環境，線上遷移服務提供兩種移轉模式：普通模式和代理模式。

模式	適用情境	工作機制
普通模式	來源資料位於可通過公網訪問的第三方雲端儲存體服務，如AWS S3、騰訊雲COS、華為雲OBS等。	線上遷移服務通過互連網直接存取並拉取來源資料地址的資料，然後寫入目標OSS。
代理模式	來源資料位於通過公網無法直接存取的環境，如企業本地IDC、本地檔案系統，或需要通過專線/VPN上雲的情境。	線上遷移服務通過部署在使用者側的代理程式來拉取資料，再傳輸至目標OSS。

配置遷移任務前，需瞭解以下核心概念：

資料地址：用於描述資料來源的訪問資訊，可作為遷移的源端或目的端。資料地址包括類型（如 AWS S3）、儲存空間（Bucket）、訪問網域名稱（Domain）、存取金鑰等關鍵資訊，線上遷移服務通過資料地址訪問對應的資料來源。
遷移任務：線上遷移服務的核心操作單元。通過執行遷移任務，將源端資料移轉至目的端儲存。任務需指定來源資料地址和目的資料地址，並支援配置限流、同名檔案覆蓋策略、審計、過濾器等參數。
代理：串連使用者資料來源與線上遷移服務的資料橋樑，是部署在使用者側的應用程式。資料地址可關聯某通道下的多個代理；對於已關聯代理的資料地址，線上遷移服務將通過代理訪問資料來源。
通道：在代理模式下，通道是描述代理與線上遷移服務之間資料鏈路的邏輯概念。一個通道可包含多個代理，每個代理歸屬於一個通道。

Object Storage Service服務： 阿里雲 OSS、亞馬遜 AWS S3、騰訊雲 COS、華為雲 OBS、Google雲 GCS、微軟 Azure Blob 等。
本地檔案系統： 本地磁碟、掛載到伺服器的 NAS/CPFS 等。
HTTP 資訊清單檔：包含多個URL的檔案清單，線上遷移服務批量下載檔案進行遷移。

普通模式和代理模式，支援公網、專線等不同網路情境。普通模式和代理模式不需特殊指定，當您的資料地址關聯了代理，就會走代理模式，反之則是普通模式。

線上遷移服務作為雲端服務，直接通過公網從源儲存拉取資料，並寫入到目標阿里雲OSS中。整個過程無需在您的環境中部署任何組件。

以下是使用普通模式將第三方資料來源遷移到阿里雲OSS：

第三方雲-OSS遷移流程圖

您需要在來源資料所在的網路環境中部署代理程式，該代理作為一個資料通道，線上遷移服務通過代理讀取源端資料，最終寫入阿里雲OSS。

以下是使用代理模式將第三方資料來源遷移到阿里雲OSS：

使用代理遷移流程圖

配置項	說明
流量控制	限制任務的最大頻寬（Mb/s）和每秒遷移檔案數（QPS），防止遷移對業務造成影響。
同名檔案處理	可配置為不覆蓋、全部覆蓋，或根據最後修改時間覆蓋。不覆蓋：不遷移該檔案。全部覆蓋：源地址中的檔案會覆蓋目的地址中的檔案。根據最後修改時間覆蓋：僅當源檔案的最後修改時間晚於目標檔案時，才會執行覆蓋操作。
檔案過濾器	按檔案名稱、最後修改時間等條件式篩選遷移檔案。
自動調度	支援配置定時或周期性執行，實現增量遷移或定期備份。

每次任務執行後都會產生詳細報告，包含遷移概覽（遷移檔案數量、遷移檔案大小等）和每個檔案的遷移結果，便於審計和核對。

通過控制台管理線上遷移服務，登入阿里雲線上遷移服務管理主控台可立即前往線上遷移服務使用頁面，通過圖形化介面進行所有操作，直觀便捷。
如果您需要進行批量化、自動化的任務管理（如建立大量資料地址或遷移任務），可以使用阿里雲提供的SDK管理線上遷移服務，如建立資料地址、建立遷移任務等，將其整合到您自己的管理平台中。

說明

Lightning Cube服務合約包括線上遷移專用服務的相關條款。