全部產品
Search

搜尋本產品

    Data Online Migration：代理管理

    文件中心

    Data Online Migration：代理管理

    更新時間：Sep 04, 2024

    本文介紹建立代理和部署運行代理的操作步驟。

    建立代理

    代理支援公網和專用網路（專線或VPN）兩種網路類型，請按需選擇適合的網路類型。建立代理時需關聯已有通道，請提前建立好通道。建立通道的相關操作，請參見通道管理。

    重要

    • 僅通過專線或VPN遷移上雲、自建儲存遷移上雲的情境，需要建立通道和代理。

    • 代理必須要部署在核心2.6及以上版本的64位Linux作業系統的機器上，請提前準備好符合需求的機器。

    • 每個地區下最多可建立100個代理，請合理規劃使用。

    • 推薦購買7代以上機型的ECS。

    1. 登入阿里雲線上遷移服務管理主控台。

    2. 在左側導覽列，選擇代理管理

    3. 在代理管理頁面，單擊建立代理。

    4. 在建立代理對話方塊，配置如下參數，並單擊確定。

      參數

      是否必填

      說明

      名稱

      是

      代理名稱。

      • 代理名稱不可為空，長度為3~63個字元。

      • 支援英文小寫字母、數字和特殊字元短劃線（-）和底線（_），且區分大小寫。

      • UTF-8編碼並且不能以短劃線（-）和底線（_）開頭。

      網路類型

      是

      代理的網路連接方式，包含如下兩種：

      • 公網（公網）：此代理通過公網進行資料移轉。此方式要求代理機器必須可以訪問與遷移服務部署地區的線上遷移服務公網網域名稱。例如，您當前控制台在華北2（北京）地區，則此代理機器必須可以訪問線上遷移服務華北2（北京）地區的公網網域名稱cn-beijing.mgw-tc.aliyuncs.com。

      • 專線/VPN（VPC）：此代理通過專線進行資料移轉。此方式要求代理機器必須可以訪問與遷移服務部署地區的線上遷移服務內網網域名稱。例如，您當前控制台在華北2（北京）地區，則此代理必須可以訪問線上遷移服務華北2（北京）地區的內網網域名稱cn-beijing.mgw-tc-internal.aliyuncs.com。建議您使用與遷移服務部署地區的ECS部署代理程式。

      部署方式

      是

      代理的部署方式。目前只支援獨立進程部署方式。

      通道

      是

      代理所屬的通道，一個代理只允許關聯一個通道，代理的頻寬受通道總頻寬影響。

      例如：名稱為tunnel-1的通道，設定最高頻寬為10 Gbit/s，tunnel-1關聯3個代理，分別為agent-1，agent-2和agent-3，則3個代理的總頻寬之和最高為10 Gbit/s。如果agent-1設定3 Gbit/s的頻寬，則agent-2和agent-3僅有7 Gbit/s的頻寬可用，請提前規劃並謹慎分配頻寬。

    產生部署代理程式指令碼

    前提條件

    • 機器的配置CPU不低於4核，記憶體不低於8 GB。日誌空間不低於4 GB。

    • 推薦您建立新的RAM使用者用於部署代理程式，並為該RAM使用者添加AliyunOSSImportReadOnlyAccess許可權，並設定授權範圍為整個雲帳號。

      說明

      一個RAM使用者的AccessKey可同時用於部署多個代理，並不會相互衝突。

    操作步驟

    1. 在代理管理頁面，單擊代理名稱，進入代理詳情頁。

    2. 單擊部署運行，在部署運行對話方塊的密鑰地區，配置如下參數。

      參數

      是否必填

      說明

      AccessKeyId

      是

      輸入至少有遷移服務唯讀許可權的AccessKey。

      說明

      遷移服務許可權包含AliyunOSSImportReadOnlyAccess（唯讀管理OSS線上遷移服務的許可權）、AliyunOSSImportFullAccess（管理OSS線上遷移服務的許可權）。

      SecretAccessKey

      是

    3. 單擊進階設定地區後的image.png表徵圖，配置如下參數。

      參數

      是否必填

      說明

      CPU核心數

      否

      代理可使用的CPU核心數。

      • 不填寫：預設使用機器所有CPU核。

      • 設定該值：請根據實際情況謹慎評估，參考控制台提示設定該值。

      最大使用記憶體（GB）

      否

      代理可使用的最大記憶體。

      • 不填寫：預設使用機器所有記憶體。

      • 設定該值：請根據實際情況謹慎評估，參考控制台提示設定該值。

      日誌佔用空間（GB）

      否

      代理日誌佔用的磁碟空間最大值，達到最大值後日誌將會按新舊程度滾動丟棄。

      • 不填寫：預設日誌佔用4 GB。

      • 設定該值：請根據實際遷移檔案數進行評估，參考控制台提示設定該值。每遷移100萬檔案，約產生4 GB磁碟日誌。

      最大可用頻寬

      否

      代理的最大頻寬。受所關聯的通道總頻寬的影響，不得高於通道設定的最大頻寬。例如：

      • 如通道設定最高頻寬5 Gbit/s，則單台代理最大可用頻寬不得高於5 Gbit/s

      • 如通道未設定最高頻寬上限，則代理最大可用頻寬不得高於100 Gbit/s。

      說明

      一個代理只允許關聯一個通道，代理的頻寬受通道總頻寬影響。

      例如：名稱為tunnel-1的通道，設定最高頻寬為10 Gbit/s，tunnel-1關聯3個代理，分別為agent-1，agent-2和agent-3，則3個代理的總頻寬之和最高為10 Gbit/s。如果agent-1設定3 Gbit/s的頻寬，則agent-2和agent-3僅有7 Gbit/s的頻寬可用，請提前規劃並謹慎分配頻寬。

    4. 單擊通過命令部署代理程式。

    部署代理程式

    重要

    • 自動產生的代理部署命令只能用於部署當前（單個）代理。當您有多個代理需要部署時，必須為每個代理依次產生部署命令並部署在不同的機器上，否則會導致部署失敗或代理程式狀態異常。

    • 當遷移的資料類型為LocalFS（包括LocalFS遷移至OSS、OSS遷移至LocalFS和LocalFS之間遷移）時，部署代理程式必須以root身份運行，否則可能會導致檔案遷移失敗（chown、chmod等系統調用）。

    線上部署代理程式

    當代理網路類型選擇公網（公網）時，使用線上方式部署代理程式。

    1. 查看通過命令部署運行代理彈出框中內容，登入準備安裝代理的部署機（可使用包括阿里雲提供的串連工具，如Workbench、VNC或第三方用戶端工具）。

    2. 在部署機上確認curl命令存在且可用，並在部署機上運行命令curl -I https://www.aliyun.com來確認公網的連通性。

    3. 複製彈出框中運行和部署代理程式命令，並在部署機上運行該命令，如果運行成功則說明代理部署成功，具體命令格式與參數說明如下：

      wget https://gosspublic.alicdn.com/data_online_migration/agent/aliyun_import_agent_deploy.sh -O aliyun_import_agent_deploy.sh;chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth>

      參數

      說明

      TunnelID

      通道ID。

      UID

      阿里雲帳號ID。

      AK

      AccessKey ID。

      SK

      AccessKey Secret。

      AgentName

      代理名稱。

      AgentID

      代理ID。

      Endpoint

      Endpoint，public表示公網。

      AgentDeployMethod

      代理的部署方式，default代表獨立進程方式。

      CpuUsage

      指定CPU核心數，僅設定該值時才會顯示。

      MemoryUsage

      指定使用記憶體（GB），僅設定該值時才會顯示。

      LogMemoryUsage

      指定日誌佔用空間（GB），僅設定該值時才會顯示。

      MaxBandwidth

      指定最大可用頻寬（MB），僅設定該值時才會顯示。

    4. 代理部署成功後，可建立資料地址並關聯指定代理，用此資料地址建立的遷移任務，將會在指定代理機器上執行遷移任務。

    離線部署代理程式

    當代理網路類型選擇專線/VPN（VPC）時，使用離線方式部署代理程式。

    1. 查看通過命令部署運行代理彈出框中內容，登入準備安裝代理的部署機（可使用包括阿里雲提供的串連工具，如Workbench、VNC或第三方用戶端工具）。

    2. 手動下載代理安裝包aliyun_import_agent_offline_bundle.tar.gz，並將代理安裝包放到部署機上。

    3. 在部署機上，找到代理安裝包的位置，並執行命令tar -zxvf aliyun_import_agent_offline_bundle.tar.gz解壓代理安裝包。

    4. 解壓成功後，進入aliyun_import_agent_offline_bundle目錄下，複製彈出框中運行和部署代理程式命令，並在部署機上運行該命令，如果運行成功則說明代理部署成功，具體命令格式與參數說明如下：

      chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth> -l <VPCType>

      參數

      說明

      TunnelID

      通道ID。

      UID

      阿里雲帳號ID。

      AK

      AccessKey ID。

      SK

      AccessKey Secret。

      AgentName

      代理名稱。

      AgentID

      代理ID。

      Endpoint

      Endpoint，vpc代表專線/VPN。

      AgentDeployMethod

      代理的部署方式，default代表獨立進程方式。

      CpuUsage

      指定CPU核心數，僅設定該值時才會顯示。

      MemoryUsage

      指定使用記憶體（GB），僅設定該值時才會顯示。

      LogMemoryUsage

      指定日誌佔用空間（GB），僅設定該值時才會顯示。

      MaxBandwidth

      指定最大可用頻寬（MB），僅設定該值時才會顯示。

      VPCType

      網路類型為VPC時的特有參數。

    5. 代理部署成功後，可建立資料地址並關聯指定代理，用此資料地址建立的遷移任務，將會在指定代理機器上執行遷移任務。