すべてのプロダクト
Search
ドキュメントセンター

Data Transmission Service:ApsaraDB RDS for MySQLインスタンスのデータをPolarDB-X 2.0インスタンスに同期する

最終更新日:Oct 30, 2024

このトピックでは、data Transmission Service (DTS) を使用して、ApsaraDB RDS for MySQLインスタンスからPolarDB-Xインスタンスにデータを同期する方法について説明します。

サポートされているソースデータベース

DTSを使用して、次のタイプのMySQLデータベースからPolarDB-Xインスタンスにデータを同期できます。 このトピックでは、ApsaraDB RDS for MySQLインスタンスを使用して、データ同期タスクを設定する方法を説明します。 手順に従って、他のタイプのMySQLデータベースのデータ同期タスクを設定することもできます。

  • ApsaraDB RDS for MySQLインスタンス

  • Elastic Compute Service (ECS) でホストされる自己管理型データベース

  • Express Connect、VPN Gateway、またはSmart Access Gatewayを介して接続されている自己管理型データベース

  • database Gateway経由で接続されている自己管理型データベース

  • Cloud Enterprise Network (CEN) 経由で接続されている自己管理型データベース

前提条件

  • ApsaraDB RDS for MySQLインスタンスが作成されています。 詳細については、「ApsaraDB RDS For MySQLインスタンスの作成」をご参照ください。

  • PolarDB-Xインスタンスが作成され、ストレージタイプはMySQL 5.xです。

  • PolarDB-Xインスタンスの使用可能なストレージ容量が、ApsaraDB RDS for MySQLインスタンスのデータの合計サイズよりも大きいこと。

使用状況ノート

説明
  • スキーマ同期中、DTSはソースデータベースからターゲットデータベースに外部キーを同期します。

  • 完全データ同期および増分データ同期中、DTSはセッションレベルで外部キーに対する制約チェックおよびカスケード操作を一時的に無効にします。 データ同期中にソースデータベースに対してカスケード更新および削除操作を実行すると、データの不整合が発生する可能性があります。

カテゴリ

説明

ソースインスタンスの制限

  • 同期するテーブルには、PRIMARY KEYまたはUNIQUE制約が必要であり、すべてのフィールドが一意である必要があります。 そうでなければ、宛先は重複データレコードを含み得る。

  • 同期するオブジェクトとしてテーブルを選択し、テーブルや列の名前の変更など、テーブルを変更する必要がある場合は、1つのデータ同期タスクで最大1,000のテーブルを同期できます。 タスクを実行して1,000を超えるテーブルを同期すると、リクエストエラーが発生します。 この場合、テーブルを分割し、複数のタスクを構成してテーブルをバッチで同期するか、タスクを構成してデータベース全体を同期することをお勧めします。

  • バイナリログの次の要件を満たす必要があります。

    • デフォルトでは、バイナリログ機能が有効になっています。 binlog_row_imageパラメーターはfullに設定する必要があります。 それ以外の場合、事前チェック中にエラーメッセージが返され、データ同期タスクを開始できません。 詳細は、「インスタンスパラメーターの変更」をご参照ください。

      重要
      • ソースデータベースが自己管理型MySQLデータベースの場合、バイナリログ機能を有効にし、binlog_formatパラメーターをrowに設定し、binlog_row_imageパラメーターをfullに設定する必要があります。

      • ソースデータベースがデュアルプライマリクラスタにデプロイされた自己管理型MySQLデータベースである場合、log_slave_updatesパラメーターをONに設定する必要があります。 これにより、DTSはすべてのバイナリログを取得できます。 詳細については、「自己管理型MySQLデータベースのアカウントの作成とバイナリログの設定」をご参照ください。

    • ソースデータベースのバイナリログは、少なくとも7日間保存する必要があります。 そうしないと、DTSがバイナリログを取得できないため、データ同期タスクが失敗する可能性があります。 例外的な状況では、データの不整合または損失が発生します。 上記の要件に基づいて、バイナリログの保持期間を設定してください。 そうしないと、DTSのSLAでのサービスの信頼性またはパフォーマンスが保証されない場合があります。 ApsaraDB RDS For MySQLインスタンスのバイナリログファイルを管理する方法の詳細については、「バイナリログファイルの管理」をご参照ください。

  • スキーマ同期および完全データ同期中は、DDL文を実行してデータベースまたはテーブルのスキーマを変更しないでください。 それ以外の場合、データ同期タスクは失敗します。

その他の制限

  • 同期するオブジェクトの要件:

    • DTSは、BIT、VARBIT、GEOMETRY、ARRAY、UUID、TSQUERY、TSVECTOR、およびTXID_SNAPSHOTのデータ型を同期しません。

    • プレフィックスインデックスは同期できません。 ソースデータベースにプレフィックスインデックスが含まれている場合、データ同期タスクは失敗する可能性があります。

  • データを同期する前に、ソースデータベースとターゲットデータベースのパフォーマンスに対するデータ同期の影響を評価します。 オフピーク時にデータを同期することを推奨します。 最初の完全データ同期中、DTSはソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。 これにより、データベースサーバーの負荷が増加する可能性があります。

  • 初期の完全データ同期中に、同時INSERT操作により、ターゲットデータベースのテーブルが断片化されます。 最初の完全データ同期が完了した後、ターゲットデータベースの使用されるテーブルスペースのサイズは、ソースデータベースのサイズよりも大きくなります。

  • 同期するオブジェクトとしてデータベース全体ではなく1つ以上のテーブルを選択した場合、データ同期中にテーブルに対してオンラインDDL操作を実行するためにpt-online-schema-changeなどのツールを使用しないでください。 それ以外の場合、データ同期タスクは失敗します。

    データ管理 (DMS) を使用して、オンラインDDL操作を実行できます。 詳細については、「ロックフリーDDL操作の実行」をご参照ください。

  • データ同期中に他のソースからのデータがターゲットデータベースに書き込まれると、ソースデータベースとターゲットデータベース間のデータの不一致が発生します。 たとえば、他のソースからのデータがターゲットデータベースに書き込まれているときにDMSを使用してオンラインDDLステートメントを実行すると、ターゲットデータベースでデータが失われる可能性があります。

  • ソースデータベースがEncDB機能が有効になっているApsaraDB RDS for MySQLインスタンスの場合、完全なデータ同期は実行できません。

特別なケース

  • ソースデータベースが自己管理型MySQLデータベースの場合、次の項目に注意してください。

    • データ同期タスクの実行中にソースデータベースでプライマリ /セカンダリの切り替えを実行すると、タスクは失敗します。

    • DTSは、同期先データベースの最新の同期データのタイムスタンプとソースデータベースの現在のタイムスタンプに基づいて同期レイテンシを計算します。 ソースデータベースでDML操作が長時間実行されない場合、同期レイテンシが不正確になる可能性があります。 データ同期タスクのレイテンシが高すぎる場合は、ソースデータベースでDML操作を実行してレイテンシを更新できます。

      説明

      同期するオブジェクトとしてデータベース全体を選択した場合は、ハートビートテーブルを作成できます。 ハートビートテーブルは1秒ごとに更新されるか、データを受信します。

    • DTSは、CREATE DATABASE IF NOT EXISTS 'test' ステートメントをソースデータベースで実行し、バイナリログファイルの位置を前に移動します。

  • ソースデータベースがApsara RDS for MySQLインスタンスの場合、次の項目に注意してください。

    読み取り専用のApsaraDB RDS for MySQL 5.6インスタンスなど、トランザクションログを記録しないApsaraDB RDS for MySQLインスタンスは、ソースデータベースとして使用できません。

課金

同期タイプ

タスク設定料金

スキーマ同期と完全データ同期

無料です。

増分データ同期

有料。 詳細については、「課金の概要」をご参照ください。

サポートしている同期トポロジ

  • 一方向の 1 対 1 の同期

  • 一方向の多対 1 の同期

同期可能なSQL操作

操作タイプ

SQL文

DML

挿入、更新、および削除

DDL

  • ALTER TABLEとALTER VIEW

  • CREATE FUNCTION、CREATE INDEX、CREATE PROCEDURE、CREATE TABLE、およびCREATE VIEW

  • ドロップインデックスとドロップテーブル

  • RENAMEテーブル

  • TRUNCATE TABLE

手順

  1. 新しいDTSコンソールのデータ同期タスクページに移動します。

    説明

    DMSコンソールにログインすることもできます。。 上部のナビゲーションバーで、ポインタを [データ開発] に移動し、[DTS (DTS)] > [データ同期] を選択します。

  2. 上部のナビゲーションバーで、データ同期タスクを作成するリージョンを選択します。

  3. [タスクの作成] をクリックします。 [データ同期タスクの作成] ページで、ソースデータベースとターゲットデータベースを設定します。 次の表にパラメーターを示します。

    警告

    ソースデータベースとターゲットデータベースを設定した後、ページに表示される制限を読むことを推奨します。 そうしないと、タスクが失敗したり、データの不一致が発生します。

    セクション

    パラメーター

    説明

    非該当

    タスク名

    DTSタスクの名前。 タスク名は自動生成されます。 タスクを簡単に識別できるように、わかりやすい名前を指定することをお勧めします。 一意のタスク名を指定する必要はありません。

    ソースデータベース

    データベースタイプ

    移行元ディスクのタイプを設定します。 [MySQL] を選択します。

    アクセス方法

    ソースデータベースのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。

    インスタンスリージョン

    ソースApsaraDB RDS for MySQLインスタンスが存在するリージョンです。

    Alibaba Cloudアカウント全体でのデータの複製

    Alibaba Cloudアカウント間でデータを同期するかどうかを指定します。 この例では、[いいえ] が選択されています。

    RDSインスタンスID

    ソースApsaraDB RDS for MySQLインスタンスのID。

    データベースアカウント

    ソースApsaraDB RDS for MySQLインスタンスのデータベースアカウント。 アカウントには、REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW、およびSELECT権限が必要です。

    データベースパスワード

    データベースインスタンスへのアクセスに使用されるパスワード。

    暗号化

    データベースへの接続を暗号化するかどうかを指定します。 ビジネス要件に基づいて、[非暗号化] または [SSL暗号化] を選択できます。 このパラメーターをSSL暗号化に設定する場合、DTSタスクを設定する前に、ApsaraDB RDS for MySQLインスタンスのSSL暗号化を有効にする必要があります。 詳細については、「クラウド証明書を使用したSSL暗号化の有効化」をご参照ください。

    宛先データベース

    データベースタイプ

    移行先インスタンスの ID を設定します。 [PolarDB-X 2.0] を選択します。

    アクセス方法

    ターゲットインスタンスのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。

    インスタンスリージョン

    ターゲットPolarDB-Xインスタンスが存在するリージョン。

    インスタンスID

    移行先のPolarDB-XインスタンスのID。

    データベースアカウント

    移行先PolarDB-Xインスタンスのデータベースアカウント。 アカウントには読み取りおよび書き込み権限が必要です。

    データベースパスワード

    データベースインスタンスへのアクセスに使用されるパスワード。

  4. ページの下部で、接続性をテストして続行をクリックします。

    ソースまたはターゲットデータベースがAlibaba Cloudデータベースインスタンス (ApsaraDB RDS for MySQLインスタンスやApsaraDB for MongoDBインスタンスなど) の場合、DTSは自動的にDTSサーバーのCIDRブロックをインスタンスのホワイトリストに追加します。 ソースデータベースまたはターゲットデータベースがElastic Compute Service (ECS) インスタンスでホストされている自己管理データベースの場合、DTSサーバーのCIDRブロックがECSインスタンスのセキュリティグループルールに自動的に追加されます。ECSインスタンスがデータベースにアクセスできることを確認する必要があります。 データベースが複数のECSインスタンスにデプロイされている場合、DTSサーバーのCIDRブロックを各ECSインスタンスのセキュリティグループルールに手動で追加する必要があります。 ソースデータベースまたはターゲットデータベースが、データセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供される自己管理データベースである場合、DTSサーバーのCIDRブロックをデータベースのホワイトリストに手動で追加して、DTSがデータベースにアクセスできるようにする必要があります。 詳細については、「DTSサーバーのCIDRブロックの追加」トピックの「DTSサーバーのCIDRブロック」セクションをご参照ください。

    警告

    DTSサーバーのCIDRブロックがデータベースまたはインスタンスのホワイトリスト、またはECSセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。 したがって、DTSを使用してデータを同期する前に、潜在的なリスクを理解して認識し、次の対策を含む予防策を講じる必要があります。VPNゲートウェイ、またはSmart Access Gateway。

  5. 同期するオブジェクトと詳細設定を設定します。

    • 基本設定

      パラメータまたは設定

      説明

      同期タイプ

      同期タイプ。 デフォルトでは、増分データ同期が選択されています。 [スキーマ同期] および [完全データ同期] も選択する必要があります。 事前チェックが完了すると、DTSは選択したオブジェクトの履歴データをソースデータベースからターゲットクラスターに同期します。 履歴データは、その後の増分同期の基礎となる。

      競合テーブルの処理モード

      • エラーの事前チェックと報告: ターゲットデータベースに、ソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかを確認します。 ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合は、事前チェックに合格します。 それ以外の場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。

        説明

        ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれていて、ターゲットデータベース内のテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに同期されるテーブルの名前を変更できます。 詳細については、「マップオブジェクト名」をご参照ください。

      • エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。

        警告

        エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。

        • ソースデータベースとターゲットデータベースが同じスキーマを持ち、ターゲットデータベースのデータレコードがソースデータベースのデータレコードと同じ主キー値または一意キー値を持つ場合:

          • 完全データ同期中、DTSはデータレコードをターゲットデータベースに同期しません。 ターゲットデータベースの既存のデータレコードが保持されます。

          • 増分データ同期中、DTSはデータレコードをターゲットデータベースに同期します。 ターゲットデータベースの既存のデータレコードが上書きされます。

        • ソースデータベースとターゲットデータベースのスキーマが異なる場合、データの初期化に失敗する可能性があります。 この場合、一部の列のみが同期されるか、データ同期タスクが失敗します。 作業は慎重に行ってください。

      ソースオブジェクト

      ソースオブジェクト セクションから1つ以上のオブジェクトを選択し、向右アイコンをクリックして 選択中のオブジェクト セクションにオブジェクトを追加します。

      説明

      同期するオブジェクトとして、列、テーブル、またはデータベースを選択できます。 同期するオブジェクトとしてテーブルまたは列を選択した場合、DTSはビュー、トリガー、ストアドプロシージャなどの他のオブジェクトをターゲットデータベースに同期しません。

      [選択済みオブジェクト]

      • 同期先のインスタンスに同期するオブジェクトの名前を変更するには、選択中のオブジェクト セクションでオブジェクトを右クリックします。 詳細については、「オブジェクト名のマップ」トピックの「単一オブジェクトの名前のマップ」セクションをご参照ください。

      • 一度に複数のオブジェクトの名前を変更するには、選択中のオブジェクト セクションの右上隅にある 一括編集 をクリックします。 詳細については、「オブジェクト名のマップ」トピックの「一度に複数のオブジェクト名をマップする」セクションをご参照ください。

      説明
      • 特定のデータベースまたはテーブルで実行されたSQL操作を選択するには、[選択済みオブジェクト] セクションで同期するオブジェクトを右クリックします。 表示されるダイアログボックスで、同期するSQL操作を選択します。 同期できるSQL操作の詳細については、「同期できるSQL操作」をご参照ください。

      • データをフィルタリングするWHERE条件を指定するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 表示されるダイアログボックスで、条件を指定します。 条件の指定方法の詳細については、「フィルター条件の指定」をご参照ください。

      • オブジェクト名マッピング機能を使用してオブジェクトの名前を変更すると、そのオブジェクトに依存する他のオブジェクトの同期が失敗する可能性があります。

    • 詳細設定

      パラメーター

      説明

      Set Alerts

      データ同期タスクのアラートを設定するかどうかを指定します。 タスクが失敗するか、同期レイテンシが指定されたしきい値を超えると、アラート送信先は通知を受け取ります。 有効な値:

      宛先インスタンスでのオブジェクト名の大文字化

      ターゲットインスタンスのデータベース名、テーブル名、および列名の大文字化。 デフォルトでは、DTSデフォルトポリシーが選択されています。 他のオプションを選択して、オブジェクト名の大文字化をソースまたはターゲットデータベースの大文字化と一致させることができます。 詳細については、「ターゲットインスタンスのオブジェクト名の大文字化の指定」をご参照ください。

      ソーステーブルで生成されたOnline DDLツールの一時テーブルをターゲットデータベースにコピーします

      このシナリオでは、DTSはDDL操作を同期しません。 このパラメーターは、No, Adapt to DMS Online DDLまたはNo, Adapt to gh-ostに設定する必要があります。 ただし、DTSは、将来このシナリオのDDL操作をサポートする場合があります。 この場合、DMSまたはgh-ostツールを使用してソースデータベースでオンラインDDL操作を実行する場合、操作によって生成された一時テーブルのデータを同期するかどうかを指定できます。

      • Yes: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期します。

        説明

        オンラインDDL操作が大量のデータを生成する場合、データ同期タスクが完了するまでに長時間かかることがあります。

      • いいえ、DMSオンラインDDLに適応: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期しません。 DMSを使用して実行された元のDDL操作のみが同期されます。

        説明

        このオプションを選択すると、ターゲットデータベースのテーブルがロックされる可能性があります。

      • No, Adapt to gh-ost: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期しません。 gh-ostツールを使用して実行された元のDDL操作のみが同期されます。 デフォルトまたはカスタムの正規表現を使用して、gh-ostツールのシャドウテーブルと不要なテーブルを除外できます。

        説明

        このオプションを選択すると、ターゲットデータベースのテーブルがロックされる可能性があります。

      失敗した接続のリトライ時間範囲の指定

      失敗した接続のリトライ時間範囲。 データ同期タスクの開始後にソースデータベースまたはターゲットデータベースの接続に失敗した場合、DTSはその時間範囲内ですぐに接続を再試行します。 有効な値: 10 ~ 1440 単位は分です。 デフォルト値: 720 このパラメーターを30より大きい値に設定することを推奨します。 DTSが指定された時間範囲内にソースデータベースとターゲットデータベースに再接続すると、DTSはデータ同期タスクを再開します。 それ以外の場合、データ同期タスクは失敗します。

      説明
      • ソースまたはターゲットデータベースが同じである複数のデータ同期タスクに対して異なるリトライ時間範囲を指定した場合、最も短いリトライ時間範囲が優先されます。

      • DTSが接続を再試行すると、DTSインスタンスに対して課金されます。 業務要件に基づいて再試行時間範囲を指定することを推奨します。 ソースインスタンスとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。

  6. タスク設定を保存し、事前チェックを実行します。

    • 関連するAPI操作を呼び出してDTSタスクを設定するときに指定するパラメーターを表示するには、ポインターを 次:タスク設定の保存と事前チェック に移動し、OpenAPI パラメーターのプレビュー をクリックします。

    • パラメーターを表示または表示する必要がない場合は、ページ下部の 次:タスク設定の保存と事前チェック をクリックします。

    説明
    • データ同期タスクを開始する前に、DTSは事前チェックを実行します。 データ同期タスクは、タスクが事前チェックに合格した後にのみ開始できます。

    • データ同期タスクが事前チェックに失敗した場合は、失敗した各項目の横にある [詳細の表示] をクリックします。 チェック結果に基づいて原因を分析した後、問題のトラブルシューティングを行います。 次に、プレチェックを再実行します。

    • 事前チェック中にアイテムに対してアラートがトリガーされた場合:

      • アラートアイテムを無視できない場合は、失敗したアイテムの横にある [詳細の表示] をクリックして、問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。

      • アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。 表示されたメッセージボックスで、[OK] をクリックします。 次に、[再度事前チェック] をクリックして、事前チェックを再度実行します。 アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。

  7. 成功率100% になるまで待ちます。 次に、[次へ: インスタンスの購入] をクリックします。

  8. 購入ページで、データ同期インスタンスの課金方法とインスタンスクラスのパラメーターを設定します。 下表にパラメーターを示します。

    セクション

    パラメーター

    説明

    新しいインスタンスクラス

    Billing Method

    • サブスクリプション: データ同期インスタンスの作成時にサブスクリプションの料金を支払います。 サブスクリプションの課金方法は、長期使用の場合、従量課金の課金方法よりも費用対効果が高くなります。

    • 従量課金: 従量課金インスタンスは1時間ごとに課金されます。 従量課金方法は、短期使用に適しています。 従量課金データ同期インスタンスが不要になった場合は、インスタンスをリリースしてコストを削減できます。

    リソースグループの設定

    データ同期インスタンスが属するリソースグループ。 デフォルト値: Default resource group 詳細については、「リソース管理とは 」をご参照ください。

    インスタンスクラス

    DTSは、同期速度が異なるインスタンスクラスを提供します。 ビジネス要件に基づいてインスタンスクラスを選択できます。 詳細については、「データ同期インスタンスのインスタンスクラス」をご参照ください。

    サブスクリプション期間

    サブスクリプションの課金方法を選択した場合は、サブスクリプション期間と作成するデータ同期インスタンスの数を指定します。 サブスクリプション期間は、1〜9か月、1年、2年、3年、または5年とすることができる。

    説明

    このパラメーターは、サブスクリプション の課金方法を選択した場合にのみ使用できます。

  9. データ伝送サービス (従量課金) サービス規約を読んでチェック入れます。

  10. [購入して開始] をクリックします。 表示されるダイアログボックスで、OK をクリックします。

    タスクリストでタスクの進行状況を確認できます。