Data Transmission Service:データ検証タスクの設定

使用上の注意

• クラシックネットワークにデプロイされているデータベースインスタンスでは、増分データ検証はサポートされていません。

• マルチテーブルマージ機能が有効になっているDTSインスタンスでは、データ検証はサポートされていません。

• ステータスが完了のDTSインスタンスでは、データ検証はサポートされていません。

• 検証対象のテーブルにプライマリキーも一意のインデックスも含まれておらず、テーブルに10,000行を超えるデータが含まれている場合、DTSはテーブルのデータ検証を実行しません。

• 検証されるデータにPRIMARY KEYもUNIQUE制約もない場合、DTSは増分データ検証を実行しません。

• データ同期または移行インスタンスを一時停止して再起動すると、インスタンスに設定された完全データ検証も再起動され、データが再検証されます。

• データ検証を実行する前に、ソースデータベースとターゲットデータベースのパフォーマンスに対するデータ検証の影響を評価します。 移行元データベースと移行先データベースのCPU負荷が30% 未満の場合など、オフピーク時にデータ検証を実行することを推奨します。 データ検証中、DTSはソースデータベースとターゲットデータベースの読み取りリソースを使用します。 これは、データベースサーバの負荷を増加させる可能性がある。 データベースのパフォーマンスが悪い、データベースの仕様が低い、または業務量が多い場合にデータ検証を行うと、データベースに高いプレッシャーがかかることがあります。 データベースサービスが利用できなくなる場合があります。

• データ同期または移行インスタンスでデータ検証タスクを設定する場合、データ検証モードの有効な値は、同期タイプまたは移行タイプで選択した値によって決まります。

  たとえば、移行タイプで増分データ移行のみを選択した場合、データ検証モードでは増分データ検証のみが有効です。

• DTSは、同期先データベースに増分同期または移行されたデータに対してのみ増分データ検証を実行します。 増分データ検証は、ターゲットデータベースで手動で変更されたデータに対しては実行されません。

• [データ検証] ページからデータ検証タスクを設定する場合、増分データ検証を選択することはできません。

• MongoDBインスタンスのデータ検証を設定するときに、行サンプリングによる全フィールド検証 を選択した場合、サンプリング率は100% に固定されます。

• 全データ検証で行サンプリングによる全フィールド検証を選択した場合、抽出、変換、および読み込み (ETL) 機能を使用しないことを推奨します。 そうでない場合、ETL機能を使用して変更されたデータは、不整合データとして検出されます。

• マテリアライズド・ビューのデータ検証はサポートされていません。

サポートされるリージョン

詳細については、「サポートされているリージョン」をご参照ください。

サポートされているシナリオ

[データ検証] ページからデータ検証タスクを設定する

1. データ検証ページに移動します。

   1. データ管理 (DMS) コンソール にログインします。

   2. 上部のナビゲーションバーで、ポインタをDTSの上に移動します。

   3. DTS (DTS) > データ検証を選択します。

2. 次のいずれかの方法で、データ検証タスクの設定ページに移動します。

   • データ検証インスタンスを購入した場合、インスタンスの 操作 列で タスクの設定 をクリックします。

     データ検証インスタンスの購入方法の詳細については、「データ検証インスタンスの購入」をご参照ください。

   • データ検証インスタンスを購入していない場合は、タスクの作成 をクリックします。

3. ソースデータベースとターゲットデータベースを設定します。 詳細については、「データ同期シナリオの概要」または「データ移行シナリオの概要」をご参照ください。

   説明

   タスクを設定する前にインスタンスを購入した場合、このステップで インスタンスのリージョン パラメーターの値を変更することはできません。

4. ページの下部で、接続をテストして続行をクリックします。

   ソースまたはターゲットデータベースがAlibaba Cloudデータベースインスタンス (ApsaraDB RDS for MySQLインスタンスやApsaraDB for MongoDBインスタンスなど) の場合、DTSは自動的にDTSサーバーのCIDRブロックをインスタンスのホワイトリストに追加します。 ソースデータベースまたはターゲットデータベースがElastic Compute Service (ECS) インスタンスでホストされている自己管理データベースの場合、DTSサーバーのCIDRブロックがECSインスタンスのセキュリティグループルールに自動的に追加されます。ECSインスタンスがデータベースにアクセスできることを確認する必要があります。 データベースが複数のECSインスタンスにデプロイされている場合、DTSサーバーのCIDRブロックを各ECSインスタンスのセキュリティグループルールに手動で追加する必要があります。 ソースデータベースまたはターゲットデータベースが、データセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供される自己管理データベースである場合、DTSサーバーのCIDRブロックをデータベースのホワイトリストに手動で追加して、DTSがデータベースにアクセスできるようにする必要があります。 詳細については、「DTSサーバーのCIDRブロックの追加」トピックの「DTSサーバーのCIDRブロック」セクションをご参照ください。

   警告

   DTSサーバーのCIDRブロックがデータベースまたはインスタンスのホワイトリスト、またはECSセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。 したがって、DTSを使用してデータを同期する前に、潜在的なリスクを理解して認識し、次の対策を含む予防策を講じる必要があります。VPNゲートウェイ、またはSmart Access Gateway。

5. データ検証モードを設定します。

   ビジネス要件に基づいて1つ以上のデータ検証モードを選択します。 全データ検証 を選択した場合は、次の表で説明するパラメーターも設定する必要があります。

   説明

   • 全データ検証: DTSタスクの完全データ同期または移行段階でデータを検証します。

   • 構造の検証: データ同期または移行タスクのオブジェクトのスキーマを検証します。

   • 完全データ検証と増分データ検証は、スキーマ検証の完了後に開始されます。

   • [データ検証] ページからデータ検証タスクを設定する場合、増分データ検証を選択することはできません。

   パラメーター	説明
   全データ検証	行サンプリングによる全フィールド検証: 指定されたサンプリング率に基づいてサンプリングされたデータのすべてのフィールドを検証します。 このフィールドでは、10から100の範囲の整数をサンプリング率として指定できます。 テーブルの行数に基づく検証: DTSタスクの完全データ同期または移行段階のテーブル行数を確認します。 DTSはデータ内容を検証しません。 説明 完全データ検証モードがテーブルの行数に基づく検証の場合、課金されません。 完全データ検証モードが行サンプリングによる全フィールド検証の場合、検証されるデータの実際の量に基づいて課金されます。
   全データ検証時間ルール	このパラメーターは 直ちに開始 にのみ設定できます。
   全データ検証のタイムアウト設定	×: 完全データ検証のタイムアウト期間を指定しません。 検証がタイムアウトした場合、システムはデータ全体の検証を強制的に停止しません。 ○: 完全データ検証のタイムアウト期間を指定します。 システムは、完全なデータ検証が開始される期間のカウントを開始します。 指定されたタイムアウト時間内にデータ全体の検証が完了しない場合、システムは検証を強制的に停止します。 値は1から72の範囲の整数でなければなりません。
   検証基準の選択	デフォルト: ソースデータベースとターゲットデータベースに基づいて、ソースデータベースとターゲットデータベース間のデータの整合性を確認します。 移行元データベース: ソースデータベースに基づいて、ソースデータベースとターゲットデータベース間のデータの整合性を確認します。 ターゲットデータベースに存在し、ソースデータベースに存在しないオブジェクトはチェックされません。 移行先データベース: 宛先データベースに基づいて、ソースデータベースと宛先データベース間のデータの整合性を確認します。 ソースデータベースに存在するが、ターゲットデータベースに存在しないオブジェクトはチェックされません。
   1 秒間に読み取る最大データ行数 (rps)	完全データ検証中、DTSはソースデータベースとターゲットデータベースの読み取りリソースを使用します。 ビジネス要件に基づいて、完全なデータ検証のスロットリングを有効にできます。 スロットリングを設定するには、1秒あたりに読み取られるデータ行とバイトの最大数を指定する必要があります。 これにより、データベースサーバーの負荷が軽減されます。 説明 0の値は、フルデータ検証速度が制限されないことを指定します。 1 秒間に読み取る最大データ行数 (rps) および 1 秒間に読み取る最大バイト数 (byte/s) を0に設定した場合、スロットリングは無効になります。
   1 秒間に読み取る最大バイト数 (byte/s)

6. 検証オブジェクトを指定します。

   1. ソースデータベースで検証するオブジェクトを選択します。

      ソースオブジェクト セクションで、確認するオブジェクトを選択し、をクリックして 選択中のオブジェクト セクションに移動します。

      説明

      検証するオブジェクトとしてテーブルを選択した場合にのみ、ターゲットテーブルに テーブル名 と 列名 を指定できます。

   2. ターゲットデータベースで検証するオブジェクトを選択します。

      1. 選択中のオブジェクト セクションで、[ソースオブジェクト] セクションから移動したスキーマを右クリックします。

      2. スキーマの編集 ダイアログボックスで、ターゲットデータベースの スキーマ名 を指定し、[OK] をクリックします。

      3. 選択中のオブジェクト セクションで、[ソースオブジェクト] セクションから移動したテーブルを右クリックします。

      4. テーブルの編集 ダイアログボックスで、ターゲットテーブルの テーブル名 を指定します。

      5. オプション。 列 セクションの 列名 列で、ターゲットテーブルの列名を指定します。

         説明

         すべてのテーブルを同期 をオフにして、データ検証用の列を手動で選択することもできます。

      6. [OK] をクリックします。

   3. オプションです。 確認アラートを設定します。

      データ検証モード で 全データ検証 を選択した場合、ビジネス要件に基づいて 全データ検証アラート を設定できます。

      パラメーター	説明
      全データ検証アラート	×: アラートを無効にします。 ○: アラートを有効にします。 アラートルールも選択して設定する必要があります。 次の情報は、アラートルールについて説明しています。 完全データ検証が失敗すると、アラートがトリガーされます。 完全データ検証によって検出された一貫性のないデータの量が指定されたしきい値以上の場合、アラートがトリガーされます。

      重要

      データ検証のためにアラートを有効にし、アラートがトリガーされたときに通知を受信する場合は、CloudMonitorでアラートメッセージをサブスクライブする必要があります。 詳細については、次をご参照ください： CloudMonitorコンソールでDTSタスクのアラートルールを設定します。

7. [次へ：詳細設定] をクリックして詳細設定を構成します。

   パラメーター	説明
   タスクのスケジュールに使用する専用クラスターの選択	デフォルトでは、DTSはタスクを共有クラスターにスケジュールします。 このパラメーターを設定する必要はありません。 指定した仕様の専用クラスターを購入してDTSタスクを実行することもできます。 詳細については、「DTS専用クラスターの概要」をご参照ください。
   失敗した接続の再試行時間	失敗した接続のリトライ時間範囲。 データ同期タスクの開始後にソースデータベースまたはターゲットデータベースの接続に失敗した場合、DTSはその時間範囲内ですぐに接続を再試行します。 有効な値: 10 ~ 1440 単位は分です。 デフォルト値: 720 このパラメーターを30より大きい値に設定することを推奨します。 DTSが指定された時間範囲内にソースデータベースとターゲットデータベースに再接続すると、DTSはデータ同期タスクを再開します。 それ以外の場合、データ同期タスクは失敗します。 説明 ソースまたはターゲットデータベースが同じである複数のデータ同期タスクに対して異なるリトライ時間範囲を指定した場合、最も短いリトライ時間範囲が優先されます。 DTSが接続を再試行すると、DTSインスタンスに対して課金されます。 業務要件に基づいて再試行時間範囲を指定することを推奨します。 ソースインスタンスとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。
   移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。	その他の問題の再試行時間範囲。 たとえば、データ同期タスクの開始後にDDLまたはDML操作の実行に失敗した場合、DTSはその時間範囲内ですぐに操作を再試行します。 有効な値: 1 ~ 1440 単位は分です。 デフォルト値は 10 です。 このパラメーターを10より大きい値に設定することを推奨します。 指定された時間範囲内で失敗した操作が正常に実行されると、DTSはデータ同期タスクを再開します。 それ以外の場合、データ同期タスクは失敗します。 重要 移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値よりも小さくする必要があります。
   環境タグ	オプションです。 データ検証インスタンスを識別するために使用される環境タグを選択できます。

8. タスク設定を保存し、事前チェックを実行します。

   • 関連するAPI操作を呼び出してDTSタスクを設定するときに指定するパラメーターを表示するには、ポインターを 次：タスク設定の保存と事前チェック に移動し、OpenAPI パラメーターのプレビュー をクリックします。

   • パラメーターを表示または表示する必要がない場合は、ページ下部の 次：タスク設定の保存と事前チェック をクリックします。

   説明

   • DTSは、データ検証タスクの開始前に事前チェックを実行します。 データ検証タスクは、タスクが事前チェックに合格した後にのみ開始できます。

   • タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。 チェック結果に基づいて原因を分析した後、問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。

   • 事前チェック中にアイテムに対してアラートがトリガーされた場合:

     • アラートアイテムを無視できない場合は、失敗したアイテムの横にある [詳細の表示] をクリックして問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。

     • アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。 表示されたメッセージボックスで、[OK] をクリックします。 次に、[再度事前チェック] をクリックして、事前チェックを再度実行します。 アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。

9. データ検証タスクの進行状況を表示します。

   • データ検証インスタンスを購入した場合、成功率が100% に達したら 戻る をクリックします。

   • データ検証インスタンスを購入していない場合は、成功率が100% に達したときに次の手順を実行します。次：インスタンスの購入をクリックし、Data Transmission Service (従量課金) 利用規約 を読み、購入して起動 をクリックし、[OK] をクリックします。

DTSのデータ同期または移行タスクのデータ検証機能を設定する

1. データ検証 ページに移動します。

   説明

   以前のバージョンの設定ページを使用する場合は、詳細設定 ステップに進みます。

   • DTSタスクを作成するときに [詳細設定] ステップに進む方法の詳細については、[データ同期シナリオの概要] または [データ移行シナリオの概要] に記載されているトピックを参照してください。

   • 既存のDTSタスクでは、次の手順を実行します。

     1. DTSコンソールの [データ同期タスク] または [データ移行タスク] ページに移動します。

     2. 管理するDTSタスクを見つけて、タスクIDをクリックします。

     3. 基本情報 または タスク管理 ページで、検証タスクの作成 をクリックします。

2. データ検証モードを設定します。

   ビジネス要件に基づいて1つ以上のデータ検証モードを選択します。 全データ検証 を選択した場合は、次の表で説明するパラメーターも設定する必要があります。

   説明

   • 全データ検証: DTSタスクの完全データ同期または移行段階でデータを検証します。 タスクに増分データ同期または移行ステージが含まれていない場合、タスクが作成され、完全なデータがターゲットデータベースに書き込まれた後にデータ検証が開始されます。 タスクに増分データ同期または移行ステージが含まれている場合、タスクが作成された後にデータ検証が開始され、増分データが初めて遅延なしでターゲットデータベースに書き込まれます。

   • 増分データ検証: 増分同期または移行されたデータを検証します。 データ検証は、タスクが作成された後に開始され、増分データが初めてレイテンシなしでターゲットデータベースに書き込まれます。

   • 構造の検証: データ同期または移行タスクのオブジェクトのスキーマを検証します。 タスクに増分データ同期または移行ステージが含まれていない場合、タスクが作成され、スキーマと完全データがターゲットデータベースに書き込まれた後にデータ検証が開始されます。 タスクに増分データ同期または移行ステージが含まれている場合、タスクが作成された後にデータ検証が開始され、増分データが初めて遅延なしでターゲットデータベースに書き込まれます。

   • 完全データ検証と増分データ検証は、スキーマ検証の完了後に開始されます。

   パラメーター	説明
   全データ検証	行サンプリングによる全フィールド検証: 指定されたサンプリング率に基づいてサンプリングされたデータのすべてのフィールドを検証します。 このフィールドでは、10から100の範囲の整数をサンプリング率として指定できます。 テーブルの行数に基づく検証: DTSタスクの完全データ同期または移行段階のテーブル行数を確認します。 DTSはデータ内容を検証しません。 説明 完全データ検証モードがテーブルの行数に基づく検証の場合、課金されません。 完全データ検証モードが行サンプリングによる全フィールド検証の場合、検証されるデータの実際の量に基づいて課金されます。
   全データ検証時間ルール	このパラメーターは 直ちに開始 にのみ設定できます。
   全データ検証のタイムアウト設定	×: 完全データ検証のタイムアウト期間を指定しません。 検証がタイムアウトした場合、システムはデータ全体の検証を強制的に停止しません。 ○: 完全データ検証のタイムアウト期間を指定します。 システムは、完全なデータ検証が開始される期間のカウントを開始します。 指定されたタイムアウト時間内にデータ全体の検証が完了しない場合、システムは検証を強制的に停止します。 値は1から72の範囲の整数でなければなりません。
   検証基準の選択	デフォルト: ソースデータベースとターゲットデータベースに基づいて、ソースデータベースとターゲットデータベース間のデータの整合性を確認します。 移行元データベース: ソースデータベースに基づいて、ソースデータベースとターゲットデータベース間のデータの整合性を確認します。 ターゲットデータベースに存在し、ソースデータベースに存在しないオブジェクトはチェックされません。 移行先データベース: 宛先データベースに基づいて、ソースデータベースと宛先データベース間のデータの整合性を確認します。 ソースデータベースに存在するが、ターゲットデータベースに存在しないオブジェクトはチェックされません。
   1 秒間に読み取る最大データ行数 (rps)	完全データ検証中、DTSはソースデータベースとターゲットデータベースの読み取りリソースを使用します。 ビジネス要件に基づいて、完全なデータ検証のスロットリングを有効にできます。 スロットリングを設定するには、1秒あたりに読み取られるデータ行とバイトの最大数を指定する必要があります。 これにより、データベースサーバーの負荷が軽減されます。 説明 0の値は、フルデータ検証速度が制限されないことを指定します。 1 秒間に読み取る最大データ行数 (rps) および 1 秒間に読み取る最大バイト数 (byte/s) を0に設定した場合、スロットリングは無効になります。
   1 秒間に読み取る最大バイト数 (byte/s)

3. 検証オブジェクトを指定します。

   選択中のオブジェクト セクションで、データ検証を必要としないオブジェクトを選択し、をクリックして削除できます。

   説明

   デフォルトでは、同期または移行するオブジェクトは 選択中のオブジェクト セクションに追加されます。

4. データ検証のアラートを設定します。

   ビジネス要件に基づいて、データ検証用のアラートを設定します。 下表に、各パラメーターを説明します。

   パラメーター	説明
   全データ検証アラート	×: アラートを無効にします。 ○: アラートを有効にします。 アラートルールも選択して設定する必要があります。 次の情報は、アラートルールについて説明しています。 完全データ検証が失敗すると、アラートがトリガーされます。 完全データ検証によって検出された一貫性のないデータの量が指定されたしきい値以上の場合、アラートがトリガーされます。
   増分データ検証アラート	×: アラートを無効にします。 ○: アラートを有効にします。 アラートルールも選択して設定する必要があります。 次の情報は、アラートルールについて説明しています。 増分データ検証が失敗すると、アラートがトリガーされます。 指定された連続期間内に増分データ検証によって検出された一貫性のないデータの量が指定されたしきい値以上である場合、アラートがトリガーされます。 連続期間の数、統計期間、および不整合データ量のしきい値を指定できます。 指定された期間内に増分データ検証によって検出されたデータ移行または同期のレイテンシが指定されたしきい値以上である場合、アラートがトリガーされます。 データ移行または同期の連続期間数、統計期間、およびレイテンシを指定できます。

   重要

   データ検証のためにアラートを有効にし、アラートがトリガーされたときに通知を受信する場合は、CloudMonitorでアラートメッセージをサブスクライブする必要があります。 詳細については、次をご参照ください： CloudMonitorコンソールでDTSタスクのアラートルールを設定します。

5. プロンプトに従って後続の手順を完了します。

関連する API 操作

よくある質問

• DTSは、名前マッピング機能を使用して変更されたデータベース名、テーブル名、および列名を一貫性のないデータとして検出しますか?

  The data verification feature is compatible with the name mapping feature for databases and tables. 名前マッピング機能を使用してデータベース名、テーブル名、および列名を変更すると、変更された列名のみが不一致データとして検出されます。

• DTSインスタンスのデータ検証モードを選択できないのはなぜですか。

  DTSインスタンスは、データ検証モードをサポートしていないか、データ検証モードに対応する同期タイプまたは移行タイプが オブジェクトの設定と詳細設定 ステップで選択されていない場合があります。

• データの同期または移行の前にフィルター条件を使用してデータをフィルター処理した場合、DTSはターゲットテーブルのデータがソーステーブルと矛盾していると判断しますか?

  • 完全データ検証中、DTSは、データ同期または移行の前にフィルタリング条件を使用してデータをフィルター処理した場合、データが一貫していると判断します。

  • 増分データ検証中に、DTSは、データ同期または移行の前にフィルタリング条件を使用してデータをフィルター処理した場合、データが一貫していると判断します。 データベースタイプがMongoDBのソースデータベースからの増分データ同期または移行では、フィルタリング条件はサポートされていません。