全部产品
Search
文档中心

云数据库 OceanBase:批量操作数据迁移任务

更新时间:Oct 16, 2024

本文为您介绍如何使用数据传输对数据迁移任务进行批量操作。

背景信息

数据传输支持在 迁移任务列表 页面,对数据迁移任务进行批量操作。不同状态的数据迁移任务支持不同的批量操作。

数据迁移任务的状态

支持的批量操作

未配置

未启动

批量启动、批量修改告警配置

运行中

运行中的任务在不同场景下,支持的批量操作也不同。

  • 批量暂停、批量修改告警配置:所有场景。

  • 批量进入正向切换

    场景:所选任务处于 全量校验 已完成阶段。

  • 批量正向切换

    场景:所选任务的迁移类型相同,并且均处于正向切换的同一卡点步骤(除切换预检查步骤外)。

  • 批量跳过全量校验

    场景:所选任务处于已进入全量校验阶段。

修改中

批量修改告警配置

合并中

批量修改告警配置

已暂停

批量恢复、批量结束、批量修改告警配置、批量跳过全量校验(处于已进入全量校验阶段)。

失败

批量恢复、批量结束、批量修改告警配置、批量跳过全量校验(处于已进入全量校验阶段)。

已完成

批量结束

结束中

已结束

如果您在选择多个任务进行某项批量操作时,有些任务不符合该项批量操作适用的场景。数据传输会在弹出对话框中提示您可以进行该项批量操作的任务。

image

进入迁移任务列表页面

  1. 登录 OceanBase 管理控制台

  2. 在左侧导航栏,单击 数据传输 > 数据迁移,即可进入 迁移任务列表 页面。

    您可以在该页面选择需要进行批量操作的数据迁移任务,并执行相关批量操作。

    image.png

批量暂停

数据传输支持对处于 运行中 状态的数据迁移任务进行 批量暂停 操作。

  1. 迁移任务列表 页面,选择需要暂停的数据迁移任务。

  2. 单击页面下方的 批量暂停

  3. 在弹出对话框中,单击 确定

    该对话框会提示您可以进行批量暂停的任务个数、任务名称和最新位点。

    image.png

  4. 待批量暂停成功后,页面会进行提示并告知您批量暂停成功的任务个数。

    如果有操作失败的任务,请根据页面提示进行排查。

批量恢复

数据传输支持对处于 已暂停失败 状态的数据迁移任务进行 批量恢复 操作。

  1. 迁移任务列表 页面,选择需要恢复的数据迁移任务。

  2. 单击页面下方的 批量恢复

  3. 在弹出对话框中,单击 确定

    该对话框会提示您可以进行批量恢复的任务个数、任务名称和最新位点。

    image.png

  4. 待批量恢复成功后,页面会进行提示并告知您批量恢复成功的任务个数。

    如果有操作失败的任务,请根据页面提示进行排查。

批量结束

数据传输支持对处于 已暂停失败已完成 状态的数据迁移任务执行 批量结束 操作。

  1. 迁移任务列表 页面,选择需要结束的数据迁移任务。

  2. 单击页面下方的 批量结束

  3. 在弹出对话框中,单击 确定

    该对话框会提示您可以批量结束的任务个数、任务名称和最新位点。

    image.png

  4. 待批量结束成功后,页面会进行提示并告知您批量结束成功的任务个数。

    如果有操作失败的任务,请根据页面提示进行排查。

批量正向切换

数据传输支持对处于 运行中 状态,且处于正向切换的同一卡点步骤(除切换预检查步骤外)的数据迁移任务进行 批量正向切换 操作。

处于正向切换的同一卡点步骤是指所选任务处于正向切换的同一个子步骤。正向切换的子步骤包括启动正向切换、切换预检查、启动目标端 Store、确认源端停写、确认同步追平停写位点、停止正向同步、执行数据库对象处理和启动反向增量。

说明

正向切换的子步骤会根据创建任务时选择的迁移类型而变化。

  1. 迁移任务列表 页面,选择需要批量正向切换的数据迁移任务。

  2. 单击页面下方的 批量正向切换

    image

  3. 在弹出对话框中,单击 确定

    该对话框会提示您可以批量正向切换的任务个数、任务名称和最新位点。

    image..png

  4. 批量正向切换 对话框,根据界面提示依次进行操作。

    1. 启动正向切换

      单击 启动正向切换 区域右上角的 确认启动,即可批量启动正向切换。您也可以单击任务后的 启动,进行单个任务启动。

      image..png

    2. 切换预检查

      该步骤用于检查当前任务状态是否具备切换条件。如果预检查通过,会自动执行下一步操作。如果预检查未通过,会提示报错详情。

      image..png

      如果预检查未通过,您可以进行 重试跳过 操作。如果单击 跳过,您需要在弹出的对话框中,再次单击 跳过

    3. 启动目标端 Store

      启动目标端增量拉取,创建并启动目标端 Store。如果启动失败,您可以进行 重试跳过 操作。

      image..png

    4. 确认源端停写

      单击 确认源端停写 区域右上角的 确认,即可批量运行该子步骤。您也可以依次单击任务后的 确认,进行单个任务运行。

      image..png

    5. 确认同步追平停写位点

      数据传输自动检查源端和目标端处于一致位点。检查完成后,展示当前增量同步延迟时间和增量同步位点。在同步追平停写位点失败的场景下,您可以进行 重试跳过 操作。

      image..png

    6. 停止正向同步

      停止源端到目标端的增量同步。如果停止失败,您可以进行 重试跳过 操作。

      image..png

    7. 执行数据库对象处理

      单击 执行数据库对象处理 区域右上角的 标记完成,即可批量执行数据库对象。您也可以依次单击执行各个任务后的 标记完成,进行单个任务运行。待全部标记完成后,进行下一步。

      image..png

    8. 启动反向增量

      单击 启动反向增量 区域右上角的 确认启动,即可批量启动目标端到源端的增量写入。您也可以依次单击各个任务后的 启动,进行单个任务启动。等待页面提示 反向增量启动成功 即可。

      image..png

批量启动

数据传输支持对处于 未启动 状态的数据迁移任务进行 批量启动 操作。

  1. 迁移任务列表 页面,选择需要批量启动的数据迁移任务。

  2. 单击页面下方的 更多批量操作 > 批量启动

    image..png

  3. 在弹出对话框中,单击 确定

    该对话框会提示您可以进行批量启动的任务个数、任务名称和最新位点。

    image..png

  4. 待批量启动成功后,页面会进行提示并告知您批量操作成功的任务个数。

    如果有操作失败的任务,请根据页面提示进行排查。

批量进入正向切换

数据传输支持对处于 运行中 状态,且已完成 全量校验 的数据迁移任务进行 批量进入正向切换 操作。

image.png

  1. 迁移任务列表 页面,选择需要批量进入正向切换的数据迁移任务。

  2. 单击页面下方的 更多批量操作 > 批量进入正向切换

  3. 在弹出对话框中,单击 确定

    该对话框会提示您可以批量进入正向切换的任务个数、任务名称和最新位点。

  4. 待批量进入正向切换成功后,页面会进行提示并告知您批量操作成功的任务个数。

    如果有操作失败的任务,请根据页面提示进行排查。

批量修改告警配置

数据传输支持对处于 未启动运行中修改中合并中已暂停失败 状态的数据迁移任务进行 批量修改告警配置 操作。

  1. 迁移任务列表 页面,选择需要批量修改告警配置的数据迁移任务。

  2. 单击页面下方的 更多批量操作 > 批量修改告警配置

    image.png

  3. 批量设置告警 对话框,配置各项参数。

    您可以在 迁移任务列表 页面查看目标任务是否已设置告警配置。如果未设置告警配置,您可以根据业务需求选择是否开启 任务状态监控增量延迟监控。如果目标任务已设置告警配置,您可以进行修改。

    重要

    批量修改告警配置将覆盖所选任务原有的监控告警设置,请谨慎操作。

    image

    分类

    参数

    描述

    开启任务状态监控

    告警规则

    任务状态为异常。

    包括预检查、结构迁移、全量迁移和增量迁移或增量同步任务启动和运行过程中,出现的全部异常。

    告警频率

    设置发送一次告警的间隔时间,取值范围为 60 秒 ~ 604800 秒之间。即不能少于 60 秒,不能超过 7 天(604800 秒)。

    告警方式

    数据传输支持 钉钉飞书阿里云 CMS 外部告警地址 三种告警方式。

    告警地址

    选择需要的告警方式后,请输入相应告警机器人的告警地址。详情请参见 配置告警地址

    备注(选填)

    告警地址的备注信息。

    开启增量延迟监控

    增量延迟

    设置增量延迟的告警阈值。

    如果数据迁移任务中,增量同步延迟超过设置的阈值,便会触发告警。

    告警频率

    设置发送一次告警的间隔时间,取值范围为 60 秒 ~ 604800 秒之间。即不能少于 60 秒,不能超过 7 天(604800 秒)。

    告警方式

    数据传输支持 钉钉飞书阿里云 CMS 外部告警地址 三种告警方式。

    告警地址

    选择需要的告警方式后,请输入相应告警机器人的告警地址。详情请参见 配置告警地址

    备注(选填)

    告警地址的备注信息。

  4. 单击 提交

    您还可以单击 提交并测试,测试告警监控信息是否发送成功。告警监控消息会通过云监控平台添加的联系方式发送至接收人。

    如果您需要查看数据迁移或数据同步任务的告警监控消息,请参见 查看任务告警信息

  5. 批量修改告警设置成功后,页面会进行提示。如果有操作失败的任务,请根据页面提示进行排查。

批量跳过全量校验

数据传输支持对处于已进入全量校验阶段,但全量校验还未执行成功的 运行中已暂停失败 状态的数据迁移任务进行 批量跳过全量校验 操作。

image.png

  1. 迁移任务列表 页面,选择需要批量跳过全量校验的数据迁移任务。

  2. 单击页面下方的 更多批量操作 > 批量跳过全量校验

  3. 在弹出对话框中,单击 确定

    该对话框会提示您可以批量跳过全量校验的任务个数、任务名称和最新位点。

  4. 待批量跳过全量校验成功后,页面会进行提示并告知您批量操作成功的任务个数。

    如果有操作失败的任务,请根据页面提示进行排查。