本文介绍某电商公司将本地IDC数据迁移到OSS的案例。

背景信息

某电商公司内部自建的IDC，使用了分布式文件系统FastDFS存储数据。数据约为300TB大小，3000万个文件。该公司已通过高速通道专线将本地IDC与深圳地域的阿里云VPC网络打通。

现因公司发展需要，考虑将业务切换到OSS上。为保证公司业务正常进行，此次业务切换需做到如下要求。
  • 迁移中，需保证业务的正常进行，不能影响其客户正常读取数据。
  • 迁移完成后，需保证数据完整，业务可无缝切换。

迁移方案

根据客户需求及背景信息，制定了如下迁移方案。
  1. 创建一个深圳地域的存储空间（Bucket），并将默认数据存储地址修改为该存储空间的地址。
  2. 通过本地FastDFS内置的nginx模块，将所有待迁文件导出成多个HTTP列表地址，并且您可以在您的VPC内访问这些HTTP列表地址。

    HTTP列表地址，按行分割，每行一个文件，文件之间换行用\n分割，具体格式请参见HTTP HTTPS源迁移教程。

  3. 通过阿里云在线迁移服务将客户的数据从本地IDC迁移到OSS。
  4. 迁移完成后，将业务切换到OSS上。

步骤一：创建Bucket并修改存储地址

  1. 在深圳地域，创建用于存储数据的Bucket，配置方法请参见创建存储空间。
  2. 设置Bucket Policy，允许公司内部员工访问此Bucket，配置方法请参见通过Bucket Policy授权用户访问指定资源。
  3. 公司内部员工将默认数据存储地址修改为此Bucket。

步骤二：创建迁移任务

  1. 在阿里云上创建RAM用户，授予RAM用户创建迁移任务的相关权限。具体操作，请参见创建RAM用户并授予相关权限。
  2. 使用刚刚创建的RAM用户登录数据迁移服务控制台。
  3. 创建HTTP源数据地址。具体操作，请参见创建源地址。
    创建HTTP源数据地址时，是否使用VPC配置为使用， 并指定您自己的VPC。因为此次迁移是在VPC内访问，所以指定VPC后，才能正常访问HTTP列表地址，具体配置如下图所示。创建HTTP源数据地址
  4. 创建OSS数据地址。具体操作，请参见创建目的地址。
    创建目的地址
  5. 创建一个全量迁移任务，并配置性能调优。具体操作，请参见创建迁移任务。
    说明 根据该公司提供的可用带宽，迁移过程需要持续约2天时间。实际使用中，请根据自身的带宽使用情况配置合理的限速规则。
  6. 迁移完成后，需通过查看迁移报告，并对比源地址和目的地址的数据，确认数据已经迁移完成。
    说明 如果出现文件迁移失败的情况，请参见迁移失败常见问题及解决方案。

步骤三：切换业务到OSS

迁移完成后，您在业务服务器上将数据读取的源地址切换到OSS，后续的数据存储、管理等都在OSS上进行。