本文介绍某电商公司将本地IDC数据迁移到OSS的案例。

背景信息

某电商公司内部自建的IDC,使用了分布式文件系统FastDFS存储数据。数据约为300TB大小,3000万个文件。该公司已通过高速通道专线将本地IDC与深圳地域的阿里云VPC网络打通。

现因公司发展需要,考虑将业务切换到OSS上。为保证公司业务正常进行,此次业务切换需做到如下要求。
  • 迁移中,需保证业务的正常进行,不能影响其客户正常读取数据。
  • 迁移完成后,需保证数据完整,业务可无缝切换。

迁移方案

根据客户需求及背景信息,制定了如下迁移方案。
  1. 创建一个深圳地域的存储空间(Bucket),并将默认数据存储地址修改为该存储空间的地址。
  2. 通过本地FastDFS内置的nginx模块,将所有待迁文件导出成多个HTTP列表地址,并且您可以在您的VPC内访问这些HTTP列表地址。

    HTTP列表地址,按行分割,每行一个文件,文件之间换行用\n分割,具体格式请参见HTTP HTTPS源迁移教程

  3. 通过阿里云在线迁移服务将客户的数据从本地IDC迁移到OSS。
  4. 迁移完成后,将业务切换到OSS上。

步骤一:创建Bucket并修改存储地址

  1. 在深圳地域,创建用于存储数据的Bucket,配置方法请参见创建存储空间
  2. 设置Bucket Policy,允许公司内部员工访问此Bucket,配置方法请参见通过Bucket Policy授权用户访问指定资源
  3. 公司内部员工将默认数据存储地址修改为此Bucket。

步骤二:创建迁移任务

  1. 在阿里云上创建RAM用户,授予RAM用户创建迁移任务的相关权限。具体操作,请参见创建RAM用户并授予相关权限
  2. 使用刚刚创建的RAM用户登录数据迁移服务控制台
  3. 创建HTTP源数据地址。具体操作,请参见创建源地址
    创建HTTP源数据地址时,是否使用VPC配置为使用, 并指定您自己的VPC。因为此次迁移是在VPC内访问,所以指定VPC后,才能正常访问HTTP列表地址,具体配置如下图所示。创建HTTP源数据地址
  4. 创建OSS数据地址。具体操作,请参见创建目的地址
    创建目的地址
  5. 创建一个全量迁移任务,并配置性能调优。具体操作,请参见创建迁移任务
    说明 根据该公司提供的可用带宽,迁移过程需要持续约2天时间。实际使用中,请根据自身的带宽使用情况配置合理的限速规则。
  6. 迁移完成后,需通过查看迁移报告,并对比源地址和目的地址的数据,确认数据已经迁移完成。
    说明 如果出现文件迁移失败的情况,请参见迁移失败常见问题及解决方案

步骤三:切换业务到OSS

迁移完成后,您在业务服务器上将数据读取的源地址切换到OSS,后续的数据存储、管理等都在OSS上进行。