阿里云云备份提供非结构化文件系统类数据同步功能,可以将源端数据源(包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等)同步至目的端数据源(包括阿里云上)。本文介绍云备份的数据同步功能概览,包括数据同步的简介、工作原理、操作流程和费用等。
简介
数据同步功能是阿里云云备份提供的一项在线数据同步服务,便于将源端数据(包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等)同步到目的端(包括阿里云上)。
云备份Windows客户端不支持使用NFS协议挂载NAS。如果源端或者目的端包含NFS协议的NAS,请您在创建同步计划时选择云备份Linux客户端。
OSS/S3均不支持同步归档类型的Object, 仅复制Object的数据(包括软链接Symlink指向的文件),不支持复制Object读写权限等元数据信息。
关键优势
增量同步
支持增量策略,同步任务可以按照预设时间自动运行,增量同步时仅同步变化的文件,大幅提升同步效率。
操作简单
云上数据源原生支持,配置简单。
性能卓越
优化的数据传输链路,相比传统拷贝工具性能大幅提升。
工作原理
您首先需要在本地一台或多台服务器上安装并激活云备份客户端,然后登录云备份控制台添加数据源(源端数据源和目标端数据源)。
创建同步计划。在执行同步任务时,云备份客户端组会对指定的文件夹进行扫描,识别需要同步的文件,将增量数据上传至云端,完成同步。
云备份支持通过公网、VPN或专线同步至阿里云。对于通过公网同步,只需要安装云备份客户端的服务器能够访问公网即可,不需要将该服务器向公网暴露IP。
操作流程
使用云备份控制台进行数据同步的步骤如下所示:
同步HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储数据源前,您需要在数据源所在服务器安装客户端。客户端用于和云备份建立数据和管控服务。
开通云备份免费。使用该功能,云备份不收取任何费用。阿里云NAS收取公网读取文件费用和存储文件费用,阿里云OSS收取存储文件费用。计费详情请参见阿里云NAS计费概述和阿里云OSS计费概述。
同步HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储前,您需要在执行同步任务的服务器上安装客户端,服务器要求和数据源节点网络互通。客户端用于和云备份建立通信服务和管控服务。
在云备份控制台添加HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储数据源。
创建数据同步计划,云备份启动计划并按照计划持续同步数据。
使用限制
云备份Windows客户端不支持使用NFS协议挂载NAS。如果源端或者目的端包含NFS协议的NAS,请您在创建同步计划时选择云备份Linux客户端。
OSS/S3均不支持同步归档类型的Object, 仅复制Object的数据(包括软链接Symlink指向的文件),不支持复制Object读写权限等元数据信息。
增量文件列表(ChangeList)
按照增量文件列表同步数据,不需要进行全量扫描,能够减少扫描文件成本,提升同步效率。创建同步计划,若您选择的数据源为对象存储OSS或者S3兼容存储,则可以使用定制化增量文件列表同步功能。
增量文件列表是一个包含数据源上需要同步的文件信息的CSV表格。每一行代表一个文件,其中的Name字段表示相对于数据源同步路径的相对路径。例如,如下是一个名称为
changeList1.csv
的表格,Name字段是必须列,用于记录待同步文件列表。其他列暂不支持。说明Name取值不能重复,否则在数据同步时会相互覆盖。
Name不能取值为目录,必须指定为一个文件。
在创建数据同步计划时,填写增量文件列表所在的目录路径。数据同步任务启动时,会读取源端数据源上该路径下的所有CSV文件,并进行解析,将需要同步的文件传输到目标端。
说明例如,创建OSS到NAS同步计划,可用增量文件列表指定待同步的文件列表。增量文件列表
changeList1.csv
和changeList2.csv
保存于源端/changelist
目录下,则增量文件列表路径取值为/changelist
。每个CSV表格内的文件处理完成后,该CSV表格会被移动到更深一层的
/Completed
目录中,用于记录处理完成。处理前CSV表格目录
处理后CSV表格目录
/changelist/changeList1.csv /changelist/changeList2.csv
/changelist/Completed/changeList1.csv /changelist/Completed/changeList2.csv
费用
使用该功能,云备份不收取任何费用。
使用阿里云NAS,NAS收取文件存储费用。更多信息,请参见阿里云NAS计费概述。
使用阿里云OSS,OSS收取文件存储费用。更多信息,阿里云OSS计费概述。