使用对象存储OSS的清单功能可以周期性生成清单文件。在大数据量的OSS备份场景中,云备份使用OSS清单功能进行备份,可显著提升备份的效率和性能。云备份提供了灵活的备份策略配置选项,可以将数据备份到云端,并随时查看和恢复数据。本文介绍如何使用云备份来备份OSS Bucket中大量的文件。
前提条件
背景信息
OSS的清单功能用于记录存储空间(Bucket)中指定文件(Object)的数量、大小、存储类型、加密状态等信息。在大数据量的OSS备份场景中,使用云备份的OSS清单功能进行备份,可显著提升增量备份的性能。推荐1亿以上的对象使用OSS清单功能进行备份,OSS清单产生时间由OSS决定,清单文件产生之前备份将会失败。更多信息,请参见设置存储空间清单。
注意事项
使用云备份的OSS清单功能备份OSS数据时,有如下注意事项:
首次创建备份计划或绑定备份策略,云备份会自动创建服务关联角色AliyunServiceRoleForHbrOssBackup,用于获取访问相关资源权限。页面会弹出授权对话框,根据提示授权角色。更多信息,请参见云备份服务关联角色。
云备份仅支持备份和恢复标准和低频访问存储类型的Bucket,不支持备份和恢复归档、冷归档以及深冷归档等存储类型的Bucket。
云备份仅支持备份和恢复标准和低频访问存储类型的Object,不支持备份和恢复归档、冷归档以及深冷归档等存储类型的Object。
云备份不支持备份和恢复Object的读写权限ACL。
备份OSS将产生OSS请求费用,该费用由OSS收取。更多信息,请参见OSS计量计费。
云备份读取低频访问的Bucket或者Object的OSS数据进行备份会产生OSS数据取回费用。该费用按数据取回量计费,由OSS收取。更多信息,请参见数据处理费用。
通过备份历史删除早期的备份版本时,不会影响其他备份版本数据的完整性。
OSS清单文件在OSS控制台进行维护。如何创建OSS清单,请参见设置存储空间清单。
创建OSS Bucket时开启的定时备份为30天免费使用计划,到期会自动停用。建议您及时转为付费使用。
重要免费试用计划存在限制,无法编辑备份路径和备份周期,每个免费备份计划使用各自独立的备份库,并且转付费之后不可更换备份库。如果您计划将来所有数据备份到同一个备份库,请不要使用免费试用计划。
为提升增量备份性能,云备份使用最近7天内最新的清单文件进行备份。
生成OSS清单文件需要时间,在使用时有以下限制:
备份任务触发时,如果没有任何OSS清单文件,则备份任务直接失败。
备份任务触发时,如果有OSS清单文件,但是和上次相比没有更新,则备份任务失败。
备份任务触发时,只会使用最近一次生成的OSS清单文件进行备份。备份完成后OSS清单文件中新增文件将在下个备份周期进行备份。
备份执行间隔必须大于等于OSS清单的生成周期,以确保每次都能使用OSS清单文件进行备份。
综上,建议您将首次备份时间置成OSS清单文件生成之后,或者在OSS清单文件生成之后单击立即执行手动执行一次备份,以便及时能使用清单文件加快备份速度。
创建备份计划周期性备份大数量OSS文件
创建备份计划后,执行的第一次备份任务为全量备份,之后默认为增量备份。
您可以按如下步骤创建备份计划。
在左侧导航栏,选择 。
在顶部菜单栏,选择OSS所在的地域。
在OSS备份页面,单击创建备份计划。
在创建备份计划面板,按照以下说明填写各项参数,然后单击确定。
说明您可以享受免费备份计划,计划到期日期为创建备份计划之日起1个月内,假设您于2020年2月14日创建备份计划,则您可享受的免费备份计划到期日期为2020年3月14日。使用该功能备份OSS将产生OSS请求费用和OSS清单存储费用,该费用由OSS收取。更多信息,请参见OSS计量计费。
免费试用计划无法编辑备份路径和备份周期,每个免费备份计划使用各自独立的备份库,并且转付费之后不可更换备份库。如果您计划将来所有数据备份到同一个备份库,请不要使用免费试用计划。
本文档以付费模式为例,介绍操作的参数配置。免费模式配置与此相似。
单击立即转为付费使用,然后在对话框中单击确认。
按以下说明填写基础设置中涉及的各项参数。
重要如果您选择的地域支持备份策略,那么您只能通过关联备份策略设置备份计划,则云备份会按照该备份策略周期性的备份OSS。
您可以在控制台左侧导航栏,单击策略中心,查看已支持备份策略的地域。如何创建备份策略,请参见新建备份策略。
参数
说明
备份OSS Bucket
从下拉框中选择待备份的OSS Bucket名称。云备份会自动获取您账号下该地域的所有Bucket列表。
备份Bucket Prefix
从下拉框中选择备份Bucket的目录。默认不选择时表示备份整个Bucket根目录。
备份策略
从下拉框选择合适的备份策略。
云备份会按照您设置的备份策略,自动备份数据源。备份策略主要包括备份库加密方式、备份间隔、备份保留时间、异地复制策略以及备份自动归档等操作,帮助您灵活管理各数据源资产。
如果默认备份策略无法满足您的备份方案,您可以单击新建策略或编辑策略,新建或者修改备份策略。
关于备份策略中的参数解读,请参见管理备份策略。
性能调优
是否使用OSS清单
是否使用OSS清单功能备份OSS文件。该场景配置为使用已有清单。
不使用:不使用OSS清单功能,即使用遍历Object方式备份。
使用已有清单:使用已有的OSS清单文件进行备份,提升OSS增量备份性能。
OSS清单名称
仅当是否使用OSS清单配置为使用已有清单时,需要配置该参数。从OSS清单名称列表中,选择已创建的OSS清单。
如何创建OSS清单,请参见设置存储空间清单。
使用OSS清单功能会产生一定的费用,详细费用请参见存储空间清单计费说明。
您创建的OSS清单文件必须满足以下条件:
清单文件必须是启用状态的当前版本,并且其Bucket前缀必须与创建计划中参数备份Bucket Prefix的取值保持一致。
清单文件当中字段必须包括Object大小、存储类型、最后更新日期和ETag。
OSS清单的生成周期不能大于备份周期,以确保每次都能使用OSS清单文件进行备份。
备份后是否删除清单文件
备份计划完成后是否删除清单文件。该操作会对Bucket的清单文件进行删除。建议将清单文件放到独立Bucket或选择不删除进行手动管理。
不删除:不删除清单文件。如果有其他应用程序访问该OSS清单文件,建议配置该选项。
删除当前:删除本次备份任务中使用的清单文件。
删除所有:备份完成之后删除所有这次备份之前生成的清单文件。如果没有其他应用程序访问该OSS清单文件,建议配置该选项。
备份计划创建完成后,备份计划的状态为计划中,云备份将按照指定的备份起始时间、备份执行间隔进行OSS备份任务。
备份成功
当达到备份执行时间时,云备份就会启动执行备份任务。当备份任务状态为成功时,表示当天备份完成。
您可以在备份历史中看到每次备份记录。后续,您可以根据这些历史备份进行文件恢复。更多操作,请参见创建OSS恢复任务。
错误处理
当备份计划或备份任务状态异常时,您可以参考以下建议进行处理。
备份任务的状态:失败(OSS Bucket 不存在)
该OSS Bucket已经被删除。
如果删除OSS Bucket属于正常操作,请无需关注备份任务状态。为避免产生额外备份存储容量费用,建议您在左侧导航栏,单击存储库管理,找到对应存储库进行删除。
如果删除OSS Bucket属于误操作,您想恢复该OSS Bucket。请在对应地域创建一个OSS Bucket,将该OSS Bucket作为恢复目的地,即可完成OSS文件恢复。具体操作,请参见创建OSS恢复任务。
备份任务的状态:失败(没有可以使用的OSS清单文件。请等待下次备份,下次备份会自动检测并使用最新清单文件。)
在您指定的目录(前缀Prefix)下,没有找到对应OSS清单文件。请前往OSS控制台,查看Bucket清单文件是否已经创建。
备份计划的状态:暂停
该备份计划已经被暂停。暂停后,云备份不再继续进行OSS Bucket备份保护。建议您尽快启用备份计划。
浏览和下载备份文件
浏览备份文件
通过浏览功能,您可以浏览已经备份的文件。
在备份计划页签,找到目标OSS,在操作列单击备份历史。
在备份历史中,找到对应时间点的备份点,单击浏览。
下载备份文件
不支持直接下载已备份文件。您可以通过恢复到一个指定的临时OSS路径(恢复不收费),然后在OSS侧间接实现文件下载。
支持跨地域备份
为避免地域性灾害对业务连续性的影响,云备份支持为通用备份库创建异地镜像备份库,备份库中的数据将会自动复制到镜像备份库中,实现跨地域异地备份。保存OSS文件的通用备份库,支持创建异地镜像备份库。具体操作,请参见跨地域备份。
您通过备份ECS文件、备份SAP HANA、备份阿里云NAS文件、备份本地NAS文件、备份本地文件等功能创建的通用备份库,都支持创建异地镜像备份库,同时也支持跨账号备份、自动归档、使用KMS加密、开启备份锁定等企业级功能。
相关操作
您还可以在备份计划页签的操作列进行如下相关操作。
操作 | 说明 |
备份历史 | 您可以查看该OSS Bucket最近3个月或者所有的备份历史。 |
立即执行 | 立即开始执行备份计划。 |
编辑 | 已创建的OSS备份计划不满足预期,您可以修改OSS备份计划。 |
暂停计划 | 暂停执行中的备份计划。 |
继续计划 | 将处于暂停状态的备份计划再次启动。 |
删除计划 | 删除执行中的备份计划。备份计划删除后,该备份计划不会继续执行,但仍保留已备份的数据。 |
报警设置 | 在备份失败或与服务器连接断开时,云备份默认通过报警设置的方式发送报警。更多信息,请参见为本地文件备份设置报警。 |