全部产品
Search

搜索本产品

    云数据库 MongoDB：使用NimoFullCheck校验迁移数据的一致性

    文档中心

    云数据库 MongoDB：使用NimoFullCheck校验迁移数据的一致性

    更新时间：Jan 26, 2024

    NimoFullCheck是阿里云自主研发的用于检验源端DynamoDB和目的端MongoDB数据一致性的工具。本文档介绍如何使用NimoFullCheck进行一致性校验。

    前提条件

    您已通过NimoShake将DynamoDB迁移到阿里云数据库。详情请参见使用NimoShake将Amazon DynamoDB迁移至阿里云。

    背景信息

    在通过NimoShake将DynamoDB迁移到阿里云数据库之后，您可以使用NimoFullCheck工具对两端的数据进行一致性校验。

    校验主要分为如下两个部分：

    • 轮廓校验：轮廓校验会对DynamoDB表以及MongoDB集合中数目的一致性进行校验，如果数目不一致则直接退出，终止后续的校验，并在屏幕上打印错误信息，便于您定位错误原因。

    • 精确校验：轮廓校验通过后会进入精确校验阶段。精确校验从源端拉取数据并解析，如果有唯一索引则根据唯一索引对比MongoDB数据的一致性。如果没有唯一索引则逐一对比两端所有数据（速度较慢）。

    注意事项

    • NimoFullCheck仅支持针对全量数据迁移的校验。如果在增量同步阶段使用NimoShake进行校验，那么得到的结果必然是不一致。

    • NimoFullCheck仅支持单向校验，即仅支持以MongoDB端的数据为基准对DynamoDB的数据进行一致性校验。

    操作步骤

    本步骤以Ubuntu系统为例，介绍如何使用NimoFullCheck校验DynamoDB和MongoDB的一致性。

    1. 在系统中执行如下命令下载NimoShake包，等待下载完成。

      wget https://github.com/alibaba/NimoShake/releases/download/release-v1.0.0-20191015/nimo.tar.gz
      说明

      建议下载最新版本的NimoShake包，下载地址请参见NimoShake。

    2. 执行如下命令解压NimoShake包。

      tar zxvf nimo.tar.gz

    3. 解压完成后，输入cd nimo命令进入nimo文件夹。

    4. 执行如下格式的命令对NimoFullCheck注入必要参数并开始校验。

      ./nimo-full-check.linux --<参数名>=<值> --<参数名>=<值>

      各参数的说明如下所示：NimoFullCheck参数

      参数名

      说明

      示例值

      id

      迁移任务ID。即您在使用NimoShake进行迁移的时候设置的ID，详情请参见使用NimoShake将Amazon DynamoDB迁移至阿里云。

      --id=nimo-shake

      logLevel

      日志的等级，取值：

      • none：不打印日志。

      • error：包含错误级别信息的日志。

      • warn：包含警告级别信息的日志。

      • info：反馈当前系统状态的日志。

      • debug：包含调试信息的日志。

      默认值：info。

      --logLevel=info

      sourceAccessKeyID

      DynamoDB端的AccessKey ID。

      --sourceAccessKeyID=xxxxxxxxxx

      sourceSecretAccessKey

      DynamoDB端的AccessKey。

      --sourceSecretAccessKey=xxxxxxxxxx

      sourceSessionToken

      DynamoDB端的临时密钥，如没有可以不配置。

      --sourceSessionToken=xxxxxxxxxx

      sourceRegion

      DynamoDB所属的地域，如没有可以不配置。

      --sourceRegion=us-east-2

      qpsFull

      Scan命令对表执行的频率，表示每秒钟最多调用多少次Scan。默认值：10000。

      --qpsFull=10000

      qpsFullBatchNum

      每秒拉取多少条数据。默认值：128。

      --qpsFullBatchNum=128

      targetAddress

      目的端MongoDB的连接地址。查看MongoDB的地址信息，请参见副本集实例连接说明或分片集群实例连接说明。

      地址示例：mongodb://username:password@s-*****-pub.mongodb.rds.aliyuncs.com:3717

      --targetAddress=mongodb://username:password@s-*****-pub.mongodb.rds.aliyuncs.com:3717

      diffOutputFile

      设置存储差异化结果的文件名。如不填写则默认为nimo-full-check-diff。

      --diffOutputFile=nimo-full-check-diff

      parallel

      使用多少条线程进行一致性校验。默认值：16。

      --parallel=16

      sample

      设置校验时每个表采样的频率，0为对比表中所有内容。默认值：1000。（1000代表一个表中最多选取1000个文档进行对比）

      --sample=1000

      filterCollectionWhite

      一致性校验白名单。设置需要通过一致性校验的表名。如--filterCollectionWhite = c1;c2表示仅对C1和C2表进行一致性校验，剩下的表全部过滤。

      --filterCollectionWhite=ci;c2

      filterCollectionBlack

      一致性校验黑名单。设置不需要通过一致性校验的表名。如--filterCollectionBlack = c1;c2表示除了C1和C2表，剩下的表全部需要通过一致性校验。

      --filterCollectionBlack=ci;c2

      convertType

      迁移阶段是否对Dynamo协议进行了转换。取值：

      • raw：不对Dynamo协议进行转换，直接写入。

      • change：对Dynamo协议进行转换。如：将{"hello":"1"}转换为{"hello": 1}。

      说明

      需要和迁移阶段中选择的结果保持一致，如果不一致则检验失败。

      --convertType=change

      version

      打印当前NimoFullCheck的版本号。

      说明

      此参数没有值，如需打印NimoFullCheck版本号，直接加上--version字段即可。

      --version

      help

      显示NimoFullCheck支持的所有参数信息。

      --help

      说明

      校验成功后，屏幕上会打印full check done! ，如果中途出错导致校验终止，程序会自动关闭并在屏幕上打印对应的错误信息，便于您定位错误原因。