Data Transmission Service:PolarDB-X 1.0 インスタンスから AnalyticDB for MySQL V3.0 クラスタへのデータ同期

前提条件

• ソース PolarDB-X 1.0 インスタンスが作成されていること。 詳細については、「PolarDB-X 1.0 インスタンスの作成」および「データベースの作成」をご参照ください。

  説明

  PolarDB-X 1.0 インスタンスのストレージタイプは、ApsaraDB RDS for MySQL（プライベートカスタム RDS インスタンスまたは購入した RDS インスタンス）である必要があります。 PolarDB for MySQL をストレージタイプとして使用することはできません。

• ソースデータベースから同期されるデータの文字セットが utf8mb3 ではないこと。 そうでない場合、増分データ同期タスクは失敗します。

• 宛先 AnalyticDB for MySQL V3.0 クラスタが作成されていること。 このクラスタの使用可能なストレージ容量は、ソース PolarDB-X 1.0 インスタンスのデータの合計サイズよりも大きいこと。

使用上の注意

サポートされている同期トポロジ

同期可能な SQL 操作

データベースアカウントに必要な権限

手順

1. 次のいずれかの方法を使用して、データ同期ページに移動し、データ同期インスタンスが存在するリージョンを選択します。

   DTS コンソール

   1. DTS コンソール にログオンします。

   2. 左側のナビゲーションウィンドウで、データ同期 をクリックします。

   3. ページの左上隅で、データ同期インスタンスが存在するリージョンを選択します。

   DMS コンソール

   説明

   実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。 詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。

   1. DMS コンソール にログオンします。

   2. 上部のナビゲーションバーで、[データ + AI] にポインタを移動し、[DTS (DTS)] > [データ同期] を選択します。

   3. データ同期タスク の右側にあるドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。

2. タスクの作成 をクリックして、タスク構成ページに移動します。

3. ソースデータベースと宛先データベースを構成します。 次の表にパラメータを示します。

   セクション	パラメータ	説明
   該当なし	タスク名	DTS タスクの名前。 DTS はタスク名を自動的に生成します。 タスクを識別しやすい説明的な名前を指定することをお勧めします。 一意のタスク名を指定する必要はありません。
   	データベースタイプ	ソースデータベースのタイプ。 [PolarDB-X 1.0] を選択します。
   	アクセス方法	ソースインスタンスのアクセス方法。 [Alibaba Cloud インスタンス] を選択します。
   	インスタンスリージョン	ソース PolarDB-X 1.0 インスタンスが存在するリージョン。
   	Alibaba Cloudアカウント全体でのデータの複製	この例では、現在の Alibaba Cloud アカウントのデータベースを使用します。 × を選択します。
   	[インスタンス ID]	ソース PolarDB-X 1.0 インスタンスの ID。
   	データベースアカウント	ソース PolarDB-X 1.0 インスタンスのデータベースアカウント。 アカウントに必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
   	データベースパスワード	データベースへのアクセスに使用するパスワード。
   	データベースタイプ	宛先データベースのタイプ。 [AnalyticDB For MySQL 3.0] を選択します。
   	アクセス方法	宛先データベースのアクセス方法。 [Alibaba Cloud インスタンス] を選択します。
   	インスタンスリージョン	宛先 AnalyticDB for MySQL V3.0 クラスタが存在するリージョン。
   	[インスタンス ID]	宛先 AnalyticDB for MySQL V3.0 クラスタの ID。
   	データベースアカウント	宛先 AnalyticDB for MySQL V3.0 クラスタのデータベースアカウント。 アカウントに必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
   	データベースパスワード	データベースへのアクセスに使用するパスワード。

4. ページの下部にある 接続をテストして続行 をクリックします。

   説明

   DTS サーバーの CIDR ブロックが、DTS サーバーからのアクセスを許可するために、ソースデータベースと宛先データベースのセキュリティ設定に自動または手動で追加できることを確認してください。 詳細については、「DTS サーバーの CIDR ブロックの追加」をご参照ください。

5. 同期するオブジェクトを構成します。

   1. オブジェクト設定 ステップで、同期するオブジェクトを構成します。

      パラメータ	説明
      [同期タイプ]	同期タイプ。 デフォルトでは、[増分データ同期] が選択されています。 [スキーマ同期] と [完全データ同期] も選択する必要があります。 事前チェックが完了すると、DTS は選択したオブジェクトの既存データをソースデータベースから宛先クラスタに同期します。 既存データは、後続の増分同期の基礎となります。 説明 [完全データ同期] が選択されている場合、CREATE TABLE 文を実行して作成されたテーブルのスキーマとデータを宛先データベースに同期できます。
      [同期する DDL および DML 操作]	同期する DDL および DML 操作。 詳細については、「同期可能な SQL 操作」をご参照ください。 説明 特定のデータベースまたはテーブルで実行された SQL 操作を選択するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 表示されるダイアログボックスで、同期する SQL 操作を選択します。
      [テーブルのマージ]	[はい]：オンライントランザクション処理 (OLTP) シナリオでは、シャーディングを実装してビジネステーブルへの応答を高速化します。 オンライン分析処理 (OLAP) シナリオでは、大量のデータを単一のテーブルに格納できます。 これにより、SQL クエリがより効率的になります。 同じスキーマを持つ複数のソーステーブルを 1 つの宛先テーブルにマージできます。 この機能により、ソースデータベースの複数のテーブルから宛先データベースの単一のテーブルにデータを同期できます。 詳細については、「複数テーブルのマージ機能を有効にする」をご参照ください。 説明 ソースデータベースから複数のテーブルを選択した後、オブジェクト名マッピング機能を使用して、これらのテーブルの名前を宛先テーブルの名前に変更する必要があります。 詳細については、「データベース、テーブル、および列名マッピング」をご参照ください。 DTS は、__dts_data_source という名前の列を宛先テーブルに追加します。 この列は、データソースを記録するために使用されます。 この列のデータ型は TEXT です。 この列の値は、データ同期インスタンス ID：ソースデータベース名：ソーススキーマ名：ソーステーブル名 の形式です。 これにより、DTS は各ソーステーブルを識別できます。 例：dts********:dtstestdata:testschema:customer1。 このパラメータを [はい] に設定すると、タスクで選択されたすべてのソーステーブルが宛先テーブルにマージされます。 特定のソーステーブルをマージする必要がない場合は、これらのテーブルに対して個別のデータ同期タスクを作成できます。 警告 ソースデータベースまたはテーブルのスキーマを変更する DDL 操作は実行しないことをお勧めします。 そうでない場合、データの不整合が発生したり、データ同期タスクが失敗したりします。 [いいえ]：この値はデフォルトで選択されています。
      [競合するテーブルの処理モード]	エラーの事前チェックと報告：宛先データベースにソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかを確認します。 ソースデータベースと宛先データベースに同じテーブル名のテーブルが含まれていない場合、事前チェックは合格です。 そうでない場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。 説明 ソースデータベースと宛先データベースに同じ名前のテーブルが含まれており、宛先データベースのテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、宛先データベースに同期されるテーブルの名前を変更できます。 詳細については、「データベース、テーブル、および列名マッピング」をご参照ください。 エラーを無視して続行：ソースデータベースと宛先データベースの同じテーブル名の事前チェックをスキップします。 警告 エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。 ソースデータベースと宛先データベースのスキーマが同じで、宛先データベースのデータレコードの主キー値または一意キー値がソースデータベースのデータレコードと同じである場合： 完全データ同期の際、DTS はデータレコードを宛先データベースに同期しません。 宛先データベースの既存のデータレコードは保持されます。 増分データ同期の際、DTS はデータレコードを宛先データベースに同期します。 宛先データベースの既存のデータレコードは上書きされます。 ソースデータベースと宛先データベースのスキーマが異なる場合、データの初期化に失敗する可能性があります。 この場合、一部の列のみが同期されるか、データ同期タスクが失敗します。 慎重に進んでください。
      [宛先インスタンスのオブジェクト名の大文字と小文字の区別]	宛先インスタンスのデータベース名、テーブル名、および列名の大文字と小文字の区別。 デフォルトでは、[DTS デフォルトポリシー] が選択されています。 オブジェクト名の大文字と小文字の区別がソースデータベースまたは宛先データベースと一致するように、他のオプションを選択できます。 詳細については、「宛先インスタンスのオブジェクト名の大文字と小文字の区別を指定する」をご参照ください。
      [ソースオブジェクト]	ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択し、 アイコンをクリックして、選択中のオブジェクト セクションにオブジェクトを追加します。 説明 同期対象のオブジェクトとしてテーブルを選択できます。 データベース全体を同期対象のオブジェクトとして選択した場合、DTS はソースデータベースでテーブルを作成または削除するための変更を宛先データベースに同期しません。
      [選択済みオブジェクト]	宛先インスタンスに同期するオブジェクトの名前を変更するには、選択中のオブジェクト セクションでオブジェクトを右クリックします。 詳細については、「オブジェクト名のマッピング」トピックの「個別のデータベース、テーブル、および列名マッピング」セクションをご参照ください。 複数のオブジェクトの名前を一度に変更するには、選択中のオブジェクト セクションの右上隅にある 一括編集 をクリックします。 詳細については、「オブジェクト名のマッピング」トピックの「バッチデータベース、テーブル、および列名マッピング」セクションをご参照ください。 説明 特定のデータベースまたはテーブルで実行された SQL 操作を選択するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 表示されるダイアログボックスで、同期する SQL 操作を選択します。 データをフィルタリングするための WHERE 条件を指定するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 表示されるダイアログボックスで、条件を指定します。 条件の指定方法については、「フィルタ条件の指定」をご参照ください。

   2. 次へ：詳細設定 をクリックして、詳細設定を構成します。

      パラメータ	説明
      [タスクスケジューリング専用のクラスタ]	デフォルトでは、専用のクラスタを指定しない場合、DTS はタスクを共有クラスタにスケジュールします。 データ同期タスクの安定性を向上させるには、専用のクラスタを購入します。 詳細については、「DTS 専用クラスタとは」をご参照ください。
      [接続失敗時の再試行時間]	接続失敗時の再試行時間の範囲。 データ同期タスクの開始後にソースデータベースまたは宛先データベースに接続できない場合、DTS は指定された時間範囲内で直ちに接続を再試行します。 有効値：10 ～ 1440。 単位：分。 デフォルト値：720。 このパラメータは 30 より大きい値に設定することをお勧めします。 DTS が指定された時間範囲内にソースデータベースと宛先データベースに再接続すると、DTS はデータ同期タスクを再開します。 そうでない場合、データ同期タスクは失敗します。 説明 ソースデータベースまたは宛先データベースが同じ複数のデータ同期タスクに異なる再試行時間の範囲を指定した場合、最も短い再試行時間の範囲が優先されます。 DTS が接続を再試行すると、DTS インスタンスの料金が発生します。 ビジネス要件に基づいて再試行時間の範囲を指定することをお勧めします。 また、ソースインスタンスと宛先インスタンスが解放された後、できるだけ早く DTS インスタンスを解放することもできます。
      [その他の問題の再試行時間]	その他の問題の再試行時間の範囲。 たとえば、データ同期タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS は指定された時間範囲内で直ちに操作を再試行します。 有効値：1 ～ 1440。 単位：分。 デフォルト値：10。 このパラメータは 10 より大きい値に設定することをお勧めします。 失敗した操作が指定された時間範囲内で正常に実行された場合、DTS はデータ同期タスクを再開します。 そうでない場合、データ同期タスクは失敗します。 重要 移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメータの値は、失敗した接続の再試行時間 パラメータの値よりも小さい必要があります。
      [完全データ同期の速度制限を有効にする]	完全データ同期の際、DTS はソースデータベースと宛先データベースの読み取りおよび書き込みリソースを使用します。 これにより、データベースサーバーの負荷が増加する可能性があります。 宛先データベースサーバーの負荷を軽減するために、完全データ同期タスクの 1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメータを構成できます。 説明 完全データ同期 が 同期タイプ パラメータで選択されている場合にのみ、このパラメータを構成できます。
      [増分データ同期の速度制限を有効にする]	増分データ同期の速度制限を有効にするかどうかを指定します。 ビジネス要件に基づいて、増分データ同期の速度制限を有効にすることができます。 速度制限を構成するには、1 秒あたりの増分同期の行数 RPS および 1 秒あたりの増分同期データ量 (MB) BPS パラメータを構成する必要があります。 これにより、宛先データベースサーバーの負荷が軽減されます。
      [環境タグ]	DTS インスタンスを識別するために使用される環境タグ。 ビジネス要件に基づいて環境タグを選択できます。 この例では、環境タグを選択する必要はありません。
      [ETL の構成]	抽出、変換、書き出し (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETL とは」をご参照ください。有効な値: [はい]: ETL 機能を設定します。コードエディタにデータ処理ステートメントを入力できます。詳細については、「データ移行またはデータ同期タスクで ETL を設定する」をご参照ください。 [いいえ]: ETL 機能を構成しません。
      モニタリングとアラート	データ同期タスクのアラートを設定するかどうかを指定します。タスクが失敗した場合、または同期遅延が指定されたしきい値を超えた場合、アラート連絡先に通知が送信されます。有効な値： いいえ: アラートを有効にしません。 はい: アラートを設定します。この場合、アラートしきい値と アラート通知設定 も設定する必要があります。詳細については、「DTS タスクの作成時にモニタリングとアラートを設定する」セクションのモニタリングとアラートの Topic をご参照ください。

   3. オプション: ページの下部にある [次へ: データベースとテーブルのフィールドを設定] をクリックします。表示されるページで、同期するテーブルの タイプ、プライマリキー列の追加、配布キー、および [パーティションキー]、[パーティションルール]、[パーティションライフサイクル] などのパーティションキー情報をターゲットデータベースに設定します。

      説明

      • 同期タイプ パラメーターで [スキーマ同期] を選択した場合にのみ、この手順を実行できます。同期タイプ パラメーターを変更するには、[定義ステータス] パラメーターを [すべて] に設定します。

      • [プライマリキー列] フィールドでは、複数の列を指定して複合プライマリキーを形成できます。この場合、1 つ以上の列を 配布キー および [パーティションキー] として指定する必要があります。詳細については、「CREATE TABLE」をご参照ください。

6. タスク設定を保存し、事前チェックを実行します。

   • DTS タスクを設定するために関連 API 操作を呼び出すときに指定するパラメーターを表示するには、次：タスク設定の保存と事前チェック にポインターを移動し、OpenAPI パラメーターのプレビュー をクリックします。

   • パラメーターを表示する必要がない場合、またはすでに表示済みの場合は、ページの下部にある 次：タスク設定の保存と事前チェック をクリックします。

   説明

   • データ同期タスクを開始する前に、DTS は事前チェックを実行します。タスクが事前チェックに合格した後にのみ、データ同期タスクを開始できます。

   • データ同期タスクが事前チェックに失敗した場合は、失敗した各項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。その後、事前チェックを再実行します。

   • 事前チェック中に項目に対してアラートがトリガーされた場合:

     • アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックして、問題をトラブルシューティングします。その後、事前チェックを再度実行します。

     • アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されるメッセージで、[OK] をクリックします。次に、[再チェック] をクリックして、事前チェックを再度実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。

7. インスタンスを購入します。

   1. [成功率] が [100%] になるまで待ちます。次に、[次へ: インスタンスの購入] をクリックします。

   2. [購入] ページで、データ同期インスタンスの課金方法とインスタンスクラスのパラメーターを設定します。次の表にパラメーターを示します。

      セクション	パラメーター	説明
      新しいインスタンスクラス	課金方法	サブスクリプション: データ同期インスタンスを作成するときにサブスクリプション料金を支払います。サブスクリプション課金方法は、長期利用の場合、従量課金方法よりも費用対効果が高くなります。 従量課金: 従量課金インスタンスは時間単位で課金されます。従量課金方法は、短期利用に適しています。従量課金データ同期インスタンスが不要になった場合は、インスタンスをリリースしてコストを削減できます。
      	リソースグループ設定	データ同期インスタンスが属するリソースグループ。デフォルト値: [デフォルトのリソースグループ]。詳細については、「リソース管理とは」をご参照ください。
      	インスタンスクラス	DTS は、同期速度が異なるインスタンスクラスを提供します。ビジネス要件に基づいてインスタンスクラスを選択できます。詳細については、「データ同期インスタンスのインスタンスクラス」をご参照ください。
      	サブスクリプション期間	サブスクリプション課金方法を選択した場合は、サブスクリプション期間と作成するデータ同期インスタンスの数を入力します。サブスクリプション期間は、1 ～ 9 か月、1 年、2 年、3 年、または 5 年です。 説明 このパラメーターは、サブスクリプション 課金方法を選択した場合にのみ使用できます。

   3. [Data Transmission Service (従量課金) サービス規約] を読んで選択します。

   4. [購入して開始] をクリックします。表示されるダイアログボックスで、OK をクリックします。

      タスクの進行状況は、タスクリストで確認できます。