すべてのプロダクト
Search
ドキュメントセンター

Data Transmission Service:ApsaraDB RDS for MySQLインスタンスからPolarDB for MySQLクラスターへのデータの同期

最終更新日:Oct 30, 2024

このトピックでは、data Transmission Service (DTS) を使用して、ApsaraDB RDS for MySQLインスタンスからPolarDB for MySQLクラスターにデータを同期する方法について説明します。

サポートされているソースデータベース

DTSを使用して、次のタイプのMySQLデータベースからPolarDB for MySQLクラスターにデータを同期できます。 このトピックでは、ApsaraDB RDS for MySQLインスタンスを使用して、データ同期タスクを設定する方法を説明します。 手順に従って、他のタイプのMySQLデータベースのデータ同期タスクを設定することもできます。

  • ApsaraDB RDS for MySQLインスタンス

  • Elastic Compute Service (ECS) でホストされる自己管理型データベース

  • Express Connect、VPN Gateway、またはSmart Access Gatewayを介して接続されている自己管理型データベース

  • database Gateway経由で接続されている自己管理型データベース

  • Cloud Enterprise Network (CEN) 経由で接続されている自己管理型データベース

前提条件

使用上の注意

説明
  • スキーマ同期中、DTSはソースデータベースからターゲットデータベースに外部キーを同期します。

  • 完全データ同期および増分データ同期中、DTSはセッションレベルで外部キーに対する制約チェックおよびカスケード操作を一時的に無効にします。 データ同期中にソースデータベースに対してカスケード更新および削除操作を実行すると、データの不整合が発生する可能性があります。

カテゴリ

説明

ソースデータベースの制限

  • 同期するテーブルには、PRIMARY KEYまたはUNIQUE制約が必要であり、すべてのフィールドが一意である必要があります。 そうでない場合、宛先データベースは重複するデータレコードを含み得る。

  • 同期するオブジェクトとしてテーブルを選択し、テーブルや列の名前の変更など、テーブルを変更する必要がある場合は、1つのデータ同期タスクで最大1,000のテーブルを同期できます。 タスクを実行して1,000を超えるテーブルを同期すると、リクエストエラーが発生します。 この場合、複数のタスクを構成してテーブルをバッチで同期するか、タスクを構成してデータベース全体を同期することをお勧めします。

  • バイナリログの次の要件を満たす必要があります。

    • デフォルトでは、バイナリログ機能が有効になっています。 binlog_row_imageパラメーターはfullに設定する必要があります。 それ以外の場合、事前チェック中にエラーメッセージが返され、データ同期タスクを開始できません。 詳細は、「インスタンスパラメーターの変更」をご参照ください。

      重要
      • ソースデータベースが自己管理型MySQLデータベースの場合、バイナリログ機能を有効にし、binlog_formatパラメーターをrowに設定し、binlog_row_imageパラメーターをfullに設定する必要があります。

      • ソースデータベースがデュアルプライマリクラスタにデプロイされた自己管理型MySQLデータベースである場合、log_slave_updatesパラメーターをONに設定する必要があります。 これにより、DTSはすべてのバイナリログを取得できます。 詳細については、「自己管理型MySQLデータベースのアカウントの作成とバイナリログの設定」をご参照ください。

    • ソースデータベースのバイナリログは、7日以上保存する必要があります。 そうしないと、DTSはバイナリログの取得に失敗し、タスクが失敗したり、データの不整合やデータの損失が発生する可能性があります。 上記の要件に基づいて、バイナリログの保持期間を設定してください。 それ以外の場合、DTSのサービスレベル契約 (SLA) はサービスの信頼性またはパフォーマンスを保証しません。 ApsaraDB RDS For MySQLインスタンスのバイナリログファイルを管理する方法の詳細については、「バイナリログファイルの管理」をご参照ください。

その他の制限

  • 互換性を確保するには、ターゲットデータベースのバージョンがソースデータベースのバージョンと同じかそれ以降である必要があります。 ターゲットデータベースのバージョンがソースデータベースのバージョンよりも前の場合、データベースの互換性の問題が発生する可能性があります。

  • データを同期する前に、ソースデータベースとターゲットデータベースのパフォーマンスに対するデータ同期の影響を評価します。 オフピーク時にデータを同期することを推奨します。 最初の完全データ同期中、DTSはソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。 これは、データベースサーバの負荷を増加させる可能性がある。

  • 初期の完全データ同期中に、同時INSERT操作により、ターゲットデータベースのテーブルが断片化されます。 最初の完全データ同期が完了した後、ターゲットデータベースの使用されるテーブルスペースのサイズは、ソースデータベースのサイズよりも大きくなります。

  • 同期するオブジェクトとしてデータベース全体ではなく1つ以上のテーブルを選択した場合、データ同期中にテーブルに対してオンラインDDL操作を実行するためにpt-online-schema-changeなどのツールを使用しないでください。 そうしないと、データの同期に失敗する可能性があります。

    DMSを使用してオンラインDDL操作を実行できます。 詳細については、「ロックフリーDDL操作の実行」をご参照ください。

  • データ同期中は、DTSのみを使用してデータをターゲットデータベースに書き込むことをお勧めします。 これにより、ソースデータベースとターゲットデータベース間のデータの不一致が防止されます。 たとえば、DTS以外のツールを使用してターゲットデータベースにデータを書き込む場合、DMSを使用してオンラインDDL操作を実行すると、ターゲットデータベースでデータ損失が発生する可能性があります。

  • フルデータ移行のためにスロットリングを有効にすることはできません。

  • DATETIME型からVARCHAR型にデータを変換することはできません。

  • DDL文がターゲットデータベースに書き込まれない場合、DTSタスクは引き続き実行されます。 タスクログで実行に失敗したDDLステートメントを表示できます。 タスクログの表示方法の詳細については、「タスクログの表示」をご参照ください。

特別なケース

  • ソースデータベースが自己管理型MySQLデータベースの場合、次の項目に注意してください。

    • データ同期タスクの実行中にソースデータベースでプライマリ /セカンダリの切り替えを実行すると、タスクは失敗します。

    • DTSは、同期先データベースの最新の同期データのタイムスタンプとソースデータベースの現在のタイムスタンプに基づいて同期レイテンシを計算します。 長期間にわたってソースデータベースでDML操作が実行されない場合、同期レイテンシが不正確になる可能性があります。 同期レイテンシが高すぎる場合は、ソースデータベースでDML操作を実行してレイテンシを更新できます。

      説明

      同期するオブジェクトとしてデータベース全体を選択した場合は、ハートビートテーブルを作成できます。 ハートビートテーブルは1秒ごとに更新されるか、データを受信します。

    • DTSは、CREATE DATABASE IF NOT EXISTS 'test' ステートメントをソースデータベースで実行し、バイナリログファイルの位置を前に移動します。

  • ソースデータベースがApsara RDS for MySQLインスタンスの場合、次の項目に注意してください。

    ソースApsara RDS for MySQLインスタンスは、ApsaraDB RDS for MySQL V5.6インスタンスなど、トランザクションログを記録しない読み取り専用のApsaraDB RDS for MySQLインスタンスにすることはできません。

課金

同期タイプ

タスク設定料金

スキーマ同期と完全データ同期

無料です。

増分データ同期

有料。 詳細については、「課金の概要」をご参照ください。

サポートしている同期トポロジ

  • 一方向の 1 対 1 の同期

  • 一方向の 1 対多の同期

  • 一方向のカスケード同期

  • 一方向の多対 1 の同期

DTSでサポートされている同期トポロジの詳細については、「同期トポロジ」をご参照ください。

同期可能なSQL操作

操作タイプ

SQL文

DML

挿入、更新、および削除

DDL

  • ALTER TABLEとALTER VIEW

  • CREATE FUNCTION、CREATE INDEX、CREATE PROCEDURE、CREATE TABLE、およびCREATE VIEW

  • ドロップインデックスとドロップテーブル

  • RENAMEテーブル

    重要

    RENAME TABLE操作は、ソースデータベースと宛先データベースの間にデータの不一致を引き起こす可能性があります。 たとえば、同期するオブジェクトとしてテーブルを選択し、データ同期中にテーブルの名前を変更した場合、このテーブルのデータはターゲットデータベースに同期されません。 この状況を防ぐには、データ同期タスクを設定するときに、このテーブルが属するデータベースを同期するオブジェクトとして選択します。 RENAME table操作の前後にテーブルが属するデータベースが、同期するオブジェクトに追加されていることを確認してください。

  • TRUNCATE TABLE

手順

  1. 新しいDTSコンソールのデータ同期タスクページに移動します。

    説明

    DMSコンソールにログインすることもできます。上部のナビゲーションバーで、ポインタをDTSに移動し、DTS (DTS) > データ同期を選択します。

  2. 上部のナビゲーションバーで、データ同期タスクを作成するリージョンを選択します。

  3. [タスクの作成] をクリックします。 タスクの作成ウィザードで、ソースデータベースとターゲットデータベースを設定します。 次の表にパラメーターを示します。

    警告

    ソースデータベースとターゲットデータベースを設定した後、ページの上部に表示される制限を読むことを推奨します。 そうしないと、タスクが失敗したり、データの不一致が発生します。

    セクション

    パラメーター

    説明

    N/A

    タスク名

    タスクの名前。 DTSはタスクに名前を自動的に割り当てます。 タスクを簡単に識別できるように、わかりやすい名前を指定することをお勧めします。 一意のタスク名を指定する必要はありません。

    ソースデータベース

    データベースタイプ

    移行元ディスクのタイプを設定します。 [MySQL] を選択します。

    アクセス方法

    ソースデータベースのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。

    インスタンスリージョン

    ソースApsaraDB RDS for MySQLインスタンスが存在するリージョンです。

    Alibaba Cloudアカウント全体でのデータの複製

    Alibaba Cloudアカウント間でデータを同期するかどうかを指定します。 この例では、[いいえ] が選択されています。

    RDSインスタンスID

    ソースApsaraDB RDS for MySQLインスタンスのID。

    説明

    ソースとターゲットのApsaraDB RDS for MySQLインスタンスは同じでも異なる場合もあります。 DTSを使用して、2つのApsaraDB RDS for MySQLインスタンス間、またはApsaraDB RDS for MySQLインスタンス内でデータを同期できます。

    データベースアカウント

    ソースApsaraDB RDS for MySQLインスタンスのデータベースアカウント。 アカウントには、REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW、およびSELECT権限が必要です。

    データベースパスワード

    データベースアカウントのパスワードを設定します。

    暗号化

    データベースへの接続を暗号化するかどうかを指定します。 ビジネス要件に基づいて、[非暗号化] または [SSL暗号化] を選択できます。 SSL暗号化を選択した場合、データ同期タスクを設定する前に、ApsaraDB RDS for MySQLインスタンスのSSL暗号化を有効にする必要があります。 詳細については、「SSL暗号化機能の設定」をご参照ください。

    宛先データベース

    データベースタイプ

    ターゲットデータベースのタイプ。 [PolarDB for MySQL] を選択します。

    アクセス方法

    ターゲットデータベースのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。

    インスタンスリージョン

    ターゲットPolarDB for MySQLクラスターが存在するリージョン。

    PolarDBクラスターID

    移行先のPolarDB for MySQLクラスターのID。

    データベースアカウント

    ターゲットPolarDB for MySQLクラスターのデータベースアカウント。 アカウントには、ターゲットデータベースに対する読み取りおよび書き込み権限が必要です。

    データベースパスワード

    データベースアカウントのパスワードを設定します。

  4. ページの下部で、接続性をテストして続行をクリックします。

    ソースまたはターゲットデータベースがAlibaba Cloudデータベースインスタンス (ApsaraDB RDS for MySQLインスタンスやApsaraDB for MongoDBインスタンスなど) の場合、DTSは自動的にDTSサーバーのCIDRブロックをインスタンスのホワイトリストに追加します。 ソースデータベースまたはターゲットデータベースがElastic Compute Service (ECS) インスタンスでホストされている自己管理データベースの場合、DTSサーバーのCIDRブロックがECSインスタンスのセキュリティグループルールに自動的に追加されます。ECSインスタンスがデータベースにアクセスできることを確認する必要があります。 データベースが複数のECSインスタンスにデプロイされている場合、DTSサーバーのCIDRブロックを各ECSインスタンスのセキュリティグループルールに手動で追加する必要があります。 ソースデータベースまたはターゲットデータベースが、データセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供される自己管理データベースである場合、DTSサーバーのCIDRブロックをデータベースのホワイトリストに手動で追加して、DTSがデータベースにアクセスできるようにする必要があります。 詳細については、「DTSサーバーのCIDRブロックの追加」をご参照ください。

    警告

    DTSサーバーのCIDRブロックがデータベースまたはインスタンスのホワイトリスト、またはECSセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。 したがって、DTSを使用してデータを同期する前に、潜在的なリスクを理解して認識し、次の対策を含む予防策を講じる必要があります。VPNゲートウェイ、またはSmart Access Gateway。

  5. 同期するオブジェクトと詳細設定を構成します。 次の表にパラメーターを示します。

    • 基本設定

      パラメータまたは設定

      説明

      同期タイプ

      デフォルトでは、増分データ同期が選択されています。 [スキーマ同期] および [完全データ同期] も選択する必要があります。 事前チェックが完了すると、DTSは選択したオブジェクトの履歴データをソースデータベースからターゲットクラスターに同期します。 履歴データは、その後の増分同期の基礎となる。

      競合テーブルの処理モード

      • エラーの事前チェックと報告: ターゲットデータベースに、ソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかを確認します。 ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合は、事前チェックに合格します。 それ以外の場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。

        説明

        ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれていて、ターゲットデータベース内のテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに同期されるテーブルの名前を変更できます。 詳細については、「マップオブジェクト名」をご参照ください。

      • エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。

        警告

        エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。

        • ソースデータベースとターゲットデータベースが同じスキーマを持ち、ターゲットデータベースのデータレコードがソースデータベースのデータレコードと同じ主キー値または一意キー値を持つ場合:

          • 完全データ同期中、DTSはデータレコードをターゲットデータベースに同期しません。 ターゲットデータベースの既存のデータレコードが保持されます。

          • 増分データ同期中、DTSはデータレコードをターゲットデータベースに同期します。 ターゲットデータベースの既存のデータレコードが上書きされます。

        • ソースデータベースとターゲットデータベースのスキーマが異なる場合、データの初期化に失敗する可能性があります。 この場合、一部の列のみが同期されるか、データ同期タスクが失敗します。 作業は慎重に行ってください。

      オブジェクトの選択

      ソースオブジェクト セクションから1つ以上のオブジェクトを選択し、向右アイコンをクリックして、オブジェクトを 選択中のオブジェクト セクションに移動します。

      説明

      同期するオブジェクトとして、列、テーブル、またはデータベースを選択できます。 同期するオブジェクトとしてテーブルまたは列を選択した場合、DTSはビュー、トリガー、ストアドプロシージャなどの他のオブジェクトをターゲットデータベースに同期しません。

      データベースとテーブルの名前変更

      • 同期先のインスタンスに同期するオブジェクトの名前を変更するには、選択中のオブジェクト セクションでオブジェクトを右クリックします。 詳細については、「オブジェクト名のマップ」トピックの「単一オブジェクトの名前のマップ」セクションをご参照ください。

      • 一度に複数のオブジェクトの名前を変更するには、選択中のオブジェクト セクションの右上隅にある 一括編集 をクリックします。 詳細については、「オブジェクト名のマップ」トピックの「一度に複数のオブジェクト名をマップする」セクションをご参照ください。

      フィルターデータ

      WHERE条件を指定してデータをフィルタリングできます。 詳細については、「フィルター条件の設定」をご参照ください。

      同期するSQL操作の選択

      [選択済みオブジェクト] セクションで、オブジェクトを右クリックします。 表示されるダイアログボックスで、同期するDML操作とDDL操作を選択します。 詳細については、「同期可能なSQL操作」をご参照ください。

    • 詳細設定

      パラメーター

      説明

      Set Alerts

      データ同期タスクのアラートを設定するかどうかを指定します。 タスクが失敗するか、同期レイテンシが指定されたしきい値を超えると、アラート送信先は通知を受け取ります。 有効な値:

      宛先インスタンスでのオブジェクト名の大文字化

      ターゲットインスタンスのデータベース名、テーブル名、および列名の大文字化。 デフォルトでは、DTSデフォルトポリシーが選択されています。 他のオプションを選択して、オブジェクト名の大文字化をソースまたはターゲットデータベースの大文字化と一致させることができます。 詳細については、「ターゲットインスタンスのオブジェクト名の大文字化の指定」をご参照ください。

      ソーステーブルで生成されたOnline DDLツールの一時テーブルをターゲットデータベースにコピーします

      DMSまたはgh-ostツールを使用してソースデータベースでオンラインDDL操作を実行する場合、オンラインDDL操作によって生成された一時テーブルのデータを同期するかどうかを指定できます。

      重要

      pt-online-schema-changeなどのツールを使用して、ソースデータベースでオンラインDDL操作を実行することはできません。 それ以外の場合、DTSタスクは失敗します。

      • Yes: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期します。

        説明

        オンラインDDL操作が大量のデータを生成する場合、データ同期タスクが完了するまでに長時間かかることがあります。

      • いいえ、DMSオンラインDDLに適応: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期しません。 DMSを使用して実行された元のDDL操作のみが同期されます。

        説明

        [いいえ] [DMSオンラインDDLに適応] を選択した場合、ターゲットデータベースのテーブルがロックされる可能性があります。

      • No, Adapt to gh-ost: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期しません。 gh-ostツールを使用して実行された元のDDL操作のみが同期されます。 デフォルトまたはカスタムの正規表現を使用して、gh-ostツールのシャドウテーブルと不要なテーブルを除外できます。

        説明

        [いいえ] 、[gh-ostに適応] を選択すると、ターゲットデータベースのテーブルがロックされる可能性があります。

      失敗した接続のリトライ時間範囲の指定

      失敗した接続のリトライ時間範囲。 データ同期タスクの開始後にソースデータベースまたはターゲットデータベースの接続に失敗した場合、DTSはその時間範囲内ですぐに接続を再試行します。 有効な値: 10 ~ 1440 単位は分です。 デフォルト値: 720 このパラメーターを30より大きい値に設定することを推奨します。 DTSが指定された時間範囲内にソースデータベースとターゲットデータベースに再接続すると、DTSはデータ同期タスクを再開します。 それ以外の場合、データ同期タスクは失敗します。

      説明
      • ソースまたはターゲットデータベースが同じである複数のデータ同期タスクに対して異なるリトライ時間範囲を指定した場合、最も短いリトライ時間範囲が優先されます。

      • DTSが接続を再試行すると、DTSインスタンスに対して課金されます。 業務要件に基づいて再試行時間範囲を指定することを推奨します。 ソースインスタンスとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。

  6. タスク設定を保存し、事前チェックを実行します。

    • 関連するAPI操作を呼び出してDTSタスクを設定するときに指定するパラメーターを表示するには、ポインターを 次:タスク設定の保存と事前チェック に移動し、OpenAPI パラメーターのプレビュー をクリックします。

    • パラメーターを表示または表示する必要がない場合は、ページ下部の 次:タスク設定の保存と事前チェック をクリックします。

    説明
    • データ同期タスクを開始する前に、DTSは事前チェックを実行します。 データ同期タスクは、タスクが事前チェックに合格した後にのみ開始できます。

    • タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。 チェック結果に基づいて原因を分析した後、問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。

    • 事前チェック中にアイテムに対してアラートが生成された場合は、シナリオに基づいて次の操作を実行します。

      • アラートアイテムを無視できない場合は、失敗したアイテムの横にある [詳細の表示] をクリックして、問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。

      • アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。 表示されたメッセージボックスで、[OK] をクリックします。 次に、[再度事前チェック] をクリックして、事前チェックを再度実行します。 アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。

  7. 成功率100% になるまで待ちます。 次に、[次へ: インスタンスの購入] をクリックします。

  8. [インスタンスの購入] ページで、データ同期インスタンスの課金方法とインスタンスクラスのパラメーターを設定します。 下表にパラメーターを示します。

    セクション

    パラメーター

    説明

    新しいインスタンスクラス

    Billing Method

    • サブスクリプション: インスタンスの作成時にサブスクリプションの料金を支払います。 サブスクリプションの課金方法は、長期使用の場合、従量課金の課金方法よりも費用対効果が高くなります。 サブスクリプション期間が長くなると、低価格が提供されます。

    • 従量課金: 従量課金インスタンスは1時間ごとに課金されます。 従量課金方法は、短期使用に適しています。 従量課金インスタンスが不要になった場合は、インスタンスをリリースしてコストを削減できます。

    リソースグループの設定

    インスタンスが属するリソースグループ。 デフォルト値: Default resource group 詳細については、「」をご参照ください。リソース管理とは

    インスタンスクラス

    DTSは、異なるパフォーマンスをサポートするさまざまな同期仕様を提供します。 同期速度は、選択した同期仕様によって異なります。 ビジネス要件に基づいて同期仕様を選択できます。 詳細については、「データ同期インスタンスの仕様」をご参照ください。

    サブスクリプション期間

    サブスクリプションの課金方法を選択した場合は、サブスクリプション期間と作成するインスタンスの数を設定します。 サブスクリプション期間は、1〜9か月、1年、2年、3年、または5年とすることができる。

    説明

    このパラメーターは、サブスクリプション の課金方法を選択した場合にのみ使用できます。

  9. データ伝送サービス (従量課金) サービス規約を読んで選択します。

  10. [購入と開始] をクリックして、データ同期タスクを開始します。 タスクリストでタスクの進行状況を確認できます。