全部产品
Search
文档中心

在线迁移服务:代理管理

更新时间:Oct 14, 2024

本文介绍创建代理和部署运行代理的操作步骤。

创建代理

代理支持公网和专有网络(专线或VPN)两种网络类型,请按需选择适合的网络类型。创建代理时需关联已有通道,请提前创建好通道。创建通道的相关操作,请参见通道管理

重要
  • 仅通过专线或VPN迁移上云、自建存储迁移上云的场景,需要创建通道和代理。

  • 代理必须要部署在内核2.6及以上版本的64位Linux操作系统的机器上,请提前准备好符合需求的机器。

  • 每个地域下最多可创建100个代理,请合理规划使用。

  • 推荐购买7代以上机型的ECS。

  1. 登录阿里云在线迁移服务管理控制台

  2. 在左侧导航栏,选择代理管理

  3. 代理管理页面,单击新建代理

  4. 新建代理对话框,配置如下参数,并单击确定

    参数

    是否必填

    说明

    名称

    代理名称。

    • 代理名称不能为空,长度为3~63个字符。

    • 支持英文小写字母、数字和特殊字符短划线(-)和下划线(_),且区分大小写。

    • UTF-8编码并且不能以短划线(-)和下划线(_)开头。

    网络类型

    代理的网络连接方式,包含如下两种:

    • 公网(公网):此代理通过公网进行数据迁移。此方式要求代理机器必须可以访问与迁移服务部署地域的在线迁移服务公网域名。例如,您当前控制台在华北2(北京)地域,则此代理机器必须可以访问在线迁移服务华北2(北京)地域的公网域名cn-beijing.mgw-tc.aliyuncs.com

    • 专线/VPN(VPC):此代理通过专线进行数据迁移。此方式要求代理机器必须可以访问与迁移服务部署地域的在线迁移服务内网域名。例如,您当前控制台在华北2(北京)地域,则此代理必须可以访问在线迁移服务华北2(北京)地域的内网域名cn-beijing.mgw-tc-internal.aliyuncs.com。建议您使用与迁移服务部署地域的ECS部署代理。

    部署方式

    代理的部署方式。目前只支持独立进程部署方式。

    通道

    代理所属的通道,一个代理只允许关联一个通道,代理的带宽受通道总带宽影响。

    例如:名称为tunnel-1的通道,设置最高带宽为10 Gbit/s,tunnel-1关联3个代理,分别为agent-1agent-2agent-3,则3个代理的总带宽之和最高为10 Gbit/s。如果agent-1设置3 Gbit/s的带宽,则agent-2agent-3仅有7 Gbit/s的带宽可用,请提前规划并谨慎分配带宽。

生成部署代理脚本

前提条件

  • 机器的配置CPU不低于4核,内存不低于8 GB。日志空间不低于4 GB。

  • 推荐您创建新的RAM用户用于部署代理,并为该RAM用户添加AliyunOSSImportReadOnlyAccess权限,并设置授权范围整个云账号

    说明

    一个RAM用户的AccessKey可同时用于部署多个代理,并不会相互冲突。

操作步骤

  1. 代理管理页面,单击代理名称,进入代理详情页。

  2. 单击部署运行,在部署运行对话框的密钥区域,配置如下参数。

    参数

    是否必填

    说明

    AccessKeyId

    输入有在线迁移服务mgw:VerifyAgentTunnel权限的AccessKey。

    说明

    授予仅包含mgw:VerifyAgentTunnel的权限(推荐)或AliyunOSSImportReadOnlyAccess(只读管理OSS在线迁移服务的权限)或AliyunOSSImportFullAccess(管理OSS在线迁移服务的权限)。

    SecretAccessKey

  3. 单击高级设置区域后的image.png图标,配置如下参数。

    参数

    是否必填

    说明

    CPU核数

    代理可使用的CPU核数。

    • 不填写:默认使用机器所有CPU核。

    • 设置该值:请根据实际情况谨慎评估,参考控制台提示设置该值。

    最大使用内存(GB)

    代理可使用的最大内存。

    • 不填写:默认使用机器所有内存。

    • 设置该值:请根据实际情况谨慎评估,参考控制台提示设置该值。

    日志占用空间(GB)

    代理日志占用的磁盘空间最大值,达到最大值后日志将会按新旧程度滚动丢弃。

    • 不填写:默认日志占用4 GB。

    • 设置该值:请根据实际迁移文件数进行评估,参考控制台提示设置该值。每迁移100万文件,约产生4 GB磁盘日志。

    最大可用带宽

    代理的最大带宽。受所关联的通道总带宽的影响,不得高于通道设置的最大带宽。例如:

    • 如通道设置最高带宽5 Gbit/s,则单台代理最大可用带宽不得高于5 Gbit/s

    • 如通道未设置最高带宽上限,则代理最大可用带宽不得高于100 Gbit/s。

    说明

    一个代理只允许关联一个通道,代理的带宽受通道总带宽影响。

    例如:名称为tunnel-1的通道,设置最高带宽为10 Gbit/s,tunnel-1关联3个代理,分别为agent-1agent-2agent-3,则3个代理的总带宽之和最高为10 Gbit/s。如果agent-1设置3 Gbit/s的带宽,则agent-2agent-3仅有7 Gbit/s的带宽可用,请提前规划并谨慎分配带宽。

  4. 单击通过命令部署代理

部署代理

重要
  • 自动生成的代理部署命令只能用于部署当前(单个)代理。当您有多个代理需要部署时,必须为每个代理依次生成部署命令并部署在不同的机器上,否则会导致部署失败或代理状态异常。

  • 当迁移的数据类型为LocalFS(包括LocalFS迁移至OSS、OSS迁移至LocalFS和LocalFS之间迁移)时,部署代理必须以root身份运行,否则可能会导致文件迁移失败(chownchmod等系统调用)。

在线部署代理

当代理网络类型选择公网(公网)时,使用在线方式部署代理。

  1. 查看通过命令部署运行代理弹出框中内容,登录准备安装代理的部署机(可使用包括阿里云提供的连接工具,如Workbench、VNC或第三方客户端工具)。

  2. 在部署机上确认curl命令存在且可用,并在部署机上运行命令curl -I https://www.aliyun.com来确认公网的连通性。

  3. 复制弹出框中运行和部署代理命令,并在部署机上运行该命令,如果运行成功则说明代理部署成功,具体命令格式与参数说明如下:

    wget https://gosspublic.alicdn.com/data_online_migration/agent/aliyun_import_agent_deploy.sh -O aliyun_import_agent_deploy.sh;chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth>

    参数

    说明

    TunnelID

    通道ID。

    UID

    阿里云账号ID。

    AK

    AccessKey ID。

    SK

    AccessKey Secret。

    AgentName

    代理名称。

    AgentID

    代理ID。

    Endpoint

    Endpoint,public表示公网。

    AgentDeployMethod

    代理的部署方式,default代表独立进程方式。

    CpuUsage

    指定CPU核数,仅设置该值时才会显示。

    MemoryUsage

    指定使用内存(GB),仅设置该值时才会显示。

    LogMemoryUsage

    指定日志占用空间(GB),仅设置该值时才会显示。

    MaxBandwidth

    指定最大可用带宽(MB),仅设置该值时才会显示。

  4. 代理部署成功后,可新建数据地址并关联指定代理,用此数据地址创建的迁移任务,将会在指定代理机器上执行迁移任务。

离线部署代理

当代理网络类型选择专线/VPN(VPC)时,使用离线方式部署代理。

  1. 查看通过命令部署运行代理弹出框中内容,登录准备安装代理的部署机(可使用包括阿里云提供的连接工具,如Workbench、VNC或第三方客户端工具)。

  2. 手动下载代理安装包aliyun_import_agent_offline_bundle.tar.gz,并将代理安装包放到部署机上。

  3. 在部署机上,找到代理安装包的位置,并执行命令tar -zxvf aliyun_import_agent_offline_bundle.tar.gz解压代理安装包。

  4. 解压成功后,进入aliyun_import_agent_offline_bundle目录下,复制弹出框中运行和部署代理命令,并在部署机上运行该命令,如果运行成功则说明代理部署成功,具体命令格式与参数说明如下:

    chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth> -l <VPCType>

    参数

    说明

    TunnelID

    通道ID。

    UID

    阿里云账号ID。

    AK

    AccessKey ID。

    SK

    AccessKey Secret。

    AgentName

    代理名称。

    AgentID

    代理ID。

    Endpoint

    Endpoint,vpc代表专线/VPN。

    AgentDeployMethod

    代理的部署方式,default代表独立进程方式。

    CpuUsage

    指定CPU核数,仅设置该值时才会显示。

    MemoryUsage

    指定使用内存(GB),仅设置该值时才会显示。

    LogMemoryUsage

    指定日志占用空间(GB),仅设置该值时才会显示。

    MaxBandwidth

    指定最大可用带宽(MB),仅设置该值时才会显示。

    VPCType

    网络类型为VPC时的特有参数。

  5. 代理部署成功后,可新建数据地址并关联指定代理,用此数据地址创建的迁移任务,将会在指定代理机器上执行迁移任务。