すべてのプロダクト
Search
ドキュメントセンター

PolarDB:PolarDB for MySQLクラスターからAnalyticDB for MySQLクラスターへのデータの同期

最終更新日:May 31, 2024

AnalyticDB for MySQLは、高度な同時実行性を備えたオンラインデータ分析のためにAlibaba Cloudによって開発されたリアルタイムオンライン分析処理 (OLAP) サービスです。 AnalyticDB for MySQLは、ミリ秒レベルのタイミングで複数のディメンションからのペタバイト単位のデータを分析して、ビジネスに関するデータ駆動型の洞察を提供できます。 このトピックでは、data Transmission Service (DTS) を使用して、PolarDB for MySQLクラスターからAnalyticDB for MySQLクラスターにデータを同期する方法について説明します。 データを同期した後、AnalyticDB for MySQLを使用して、内部ビジネスインテリジェンス (BI) システム、対話型クエリシステム、およびリアルタイムレポートシステムを構築できます。

前提条件

  • AnalyticDB for MySQLクラスターが作成されました。 詳細については、以下をご参照ください。

    AnalyticDB for MySQLクラスターの作成

  • AnalyticDB for MySQLクラスターには十分なストレージがあります。

  • PolarDB for MySQLクラスターでバイナリログ機能が有効になっています。 詳細については、以下をご参照ください。 バイナリログの有効化

使用上の注意

  • DTSは、最初の完全データ同期中に、ソースRDSインスタンスとターゲットRDSインスタンスの読み取りおよび書き込みリソースを使用します。 これにより、RDSインスタンスの負荷が増加する可能性があります。 インスタンスのパフォーマンスが悪い場合、仕様が低い場合、またはデータ量が多い場合、データベースサービスが利用できなくなる可能性があります。 たとえば、ソースRDSインスタンスで多数の低速SQLクエリが実行されている場合、テーブルにプライマリキーがない場合、またはターゲットRDSインスタンスでデッドロックが発生する場合、DTSは大量の読み取りおよび書き込みリソースを占有します。 データ同期の前に、ソースRDSインスタンスとターゲットRDSインスタンスのパフォーマンスに対するデータ同期の影響を評価します。 オフピーク時にデータを同期することを推奨します。 たとえば、ソースRDSインスタンスとターゲットRDSインスタンスのCPU使用率が30% 未満の場合にデータを同期できます。

  • データ同期中に必要なオブジェクトに対してDDL操作を実行するために、gh-ostまたはpt-online-schema-changeを使用しないことを推奨します。 そうしないと、データの同期に失敗する可能性があります。

  • AnalyticDB for MySQLの制限により

    AnalyticDB for MySQLのノードのディスク領域使用率 クラスターが80% を超えると、クラスターはロックされます。 同期するオブジェクトに基づいて、必要なディスク容量を見積もることを推奨します。 移行先クラスターに十分なストレージがあることを確認します。

  • プレフィックスインデックスは同期できません。 ソースデータベースにプレフィックスインデックスが含まれている場合、データの同期に失敗する可能性があります。

課金

同期タイプタスク設定料金
スキーマ同期と完全データ同期無料です。
増分データ同期有料。 詳細については、「課金の概要」をご参照ください。

同期可能なSQL操作

  • DDL操作: CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、DROP COLUMN、およびMODIFY COLUMN

  • DML操作: INSERT、UPDATE、およびDELETE

説明 データ同期中にソーステーブルのフィールドのデータ型が変更された場合、エラーメッセージが報告され、データ同期タスクが中断されます。 この問題に対処する方法の詳細については、「フィールドタイプの変更により発生する同期障害のトラブルシューティング」トピックの「フィールドタイプの変更により発生する同期障害のトラブルシューティング」をご参照ください。

データベースアカウントに必要な権限

データベース必要な権限
PolarDB for MySQL クラスター同期するオブジェクトの読み取り権限
AnalyticDB for MySQL必要なオブジェクトに対する読み取りおよび書き込み権限

データベースアカウントを作成および権限付与する方法の詳細については、

PolarDB for MySQLクラスターのデータベースアカウントの作成AnalyticDB for MySQLクラスターのデータベースアカウントを作成します。

データ型マッピング

詳細については、「スキーマ同期のためのデータ型マッピング」をご参照ください。

手順

  1. DTSインスタンスを購入します。 詳細については、「データ同期インスタンスの購入」をご参照ください。
    説明 購入ページで、ソースインスタンスをPolarDBに設定し、ターゲットインスタンスをAnalyticDB for MySQLに設定し、同期トポロジを一方向同期に設定します。
  2. にログインします。

    DTSコンソール

    説明 Data Management (DMS) コンソールにリダイレクトされている場合は、右下隅にあるoldアイコンをクリックして、以前のバージョンのDTSコンソールに移動します。
  3. 左側のナビゲーションウィンドウで、[データ同期] をクリックします。

  4. [同期タスク] ページの上部で、ターゲットインスタンスが存在するリージョンを選択します。

  5. データ同期インスタンスを見つけ、[操作] 列の [タスクの設定] をクリックします。

  6. ソースクラスターとターゲットクラスターを設定します。
    Configure the source and destination clusters
    セクションパラメーター説明
    N/A同期タスク名DTSが自動的に生成するタスク名。 タスクを簡単に識別できるように、わかりやすい名前を指定することをお勧めします。 一意のタスク名を使用する必要はありません。
    ソースインスタンスの詳細インスタンスタイプこのパラメーターはPolarDBインスタンスに設定されており、変更できません。
    インスタンスリージョン購入ページで選択したソースリージョン。 このパラメーターの値は変更できません。
    PolarDBインスタンスIDソースPolarDB for MySQLクラスターのID。
    データベースアカウントソースクラスターのデータベースアカウント。 アカウントに必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
    データベースパスワードデータベースアカウントのパスワードを設定します。
    ターゲットインスタンスの詳細インスタンスタイプこのパラメーターはAnalyticDBに設定されており、変更できません。
    インスタンスリージョン購入ページで選択したターゲットリージョン。 このパラメーターの値は変更できません。
    Version選択3.0.
    データベース移行先のAnalyticDB for MySQLクラスターのID。
    データベースアカウントAnalyticDB for MySQLデータベースのアカウント。 アカウントに必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
    データベースパスワードデータベースアカウントのパスワードを設定します。
  7. ページの右下隅にあるをクリックします。ホワイトリストと次への設定.

    、ソースまたはターゲットデータベースがAlibaba Cloudデータベースインスタンス (ApsaraDB RDS for MySQLApsaraDB for MongoDBインスタンスなど) の場合、DTSは自動的にDTSサーバーのCIDRブロックをインスタンスのIPアドレスホワイトリストに追加します。 ソースデータベースまたはターゲットデータベースがElastic Compute Service (ECS) インスタンスでホストされている自己管理データベースの場合、DTSサーバーのCIDRブロックがECSインスタンスのセキュリティグループルールに自動的に追加されます。ECSインスタンスがデータベースにアクセスできることを確認する必要があります。 自己管理データベースが複数のECSインスタンスでホストされている場合、DTSサーバーのCIDRブロックを各ECSインスタンスのセキュリティグループルールに手動で追加する必要があります。 ソースデータベースまたはターゲットデータベースが、データセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供される自己管理データベースである場合、DTSサーバーのCIDRブロックをデータベースのIPアドレスホワイトリストに手動で追加して、DTSがデータベースにアクセスできるようにする必要があります。 詳細については、「DTSサーバーのCIDRブロックの追加」をご参照ください。

    警告

    DTSサーバーのCIDRブロックがデータベースまたはインスタンスのホワイトリスト、またはECSセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。 したがって、DTSを使用してデータを同期する前に、潜在的なリスクを理解して認識し、次の対策を含む予防策を講じる必要があります。VPNゲートウェイ、またはSmart Access Gateway。

  8. 同期ポリシーと同期するオブジェクトを選択します。
    Select the synchronization policy and the objects to be synchronized
    パラメータまたは設定説明
    初期同期タイプの選択多くの場合、[スキーマ同期初期化][完全データ同期初期化 ] 両方を選択する必要があります。 事前チェックが完了すると、DTSは必要なオブジェクトのスキーマとデータをソースインスタンスからターゲットクラスターに同期します。 スキーマおよびデータは、その後の増分同期の基礎となる。
    既存のターゲットテーブルの処理モード
    • 事前チェックエラーとレポートエラー: ソースデータベースとターゲットデータベースに同じ名前を共有するテーブルが含まれているかどうかを確認します。 移行先データベースに、移行元データベースと同じ名前のテーブルが含まれていない場合は、事前チェックに合格します。 それ以外の場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。
      説明 オブジェクト名マッピング機能を使用して、ターゲットデータベースに同期されるテーブルの名前を変更できます。 ソースデータベースとターゲットデータベースに同じテーブル名が含まれていて、ターゲットデータベース内のテーブルを削除または名前変更できない場合は、この機能を使用できます。 詳細については、「同期するオブジェクトの名前変更」をご参照ください。
    • エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。
      警告 [エラーを無視して続行] を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
      • ソースデータベースとターゲットデータベースのスキーマが同じである場合、DTSは、ターゲットデータベースのデータレコードと同じ主キーを持つデータレコードを同期しません。
      • ソースデータベースとターゲットデータベースのスキーマが異なる場合、初期データ移行が失敗する可能性があります。 この場合、特定の列のみが移行されるか、データ移行タスクが失敗します。
    マルチテーブルのマージ
    • [はい] を選択した場合、DTSはデータソースを格納する各テーブルに __dts_data_source列を追加します。 この場合、DDL操作は同期できません。
    • デフォルトでは [いいえ] が選択されています。 この場合、DDL動作を同期させることができる。
    説明 このパラメーターを [はい] に設定すると、タスクで選択したすべてのソーステーブルがターゲットテーブルにマージされます。 ソーステーブルの一部のみをマージする場合は、2つのデータ同期タスクを作成できます。
    同期する操作タイプの選択ビジネス要件に基づいて、同期する操作の種類を選択します。 すべての操作タイプがデフォルトで選択されています。 詳細については、「同期可能なSQL操作」をご参照ください。
    同期するオブジェクトの選択

    [使用可能] セクションから1つ以上のオブジェクトを選択し、Rightwards arrowアイコンをクリックして、オブジェクトを [選択済み] セクションに追加します。

    同期するオブジェクトとしてテーブルまたはデータベースを選択できます。

    説明
    • 同期するオブジェクトとしてデータベースを選択した場合、データベース内のすべてのスキーマ変更が同期先データベースに同期されます。
    • 同期するオブジェクトとしてテーブルを選択した場合、テーブルに対して実行されたADD COLUMN操作のみがターゲットデータベースに同期されます。
    • 既定では、オブジェクトがターゲットデータベースに同期された後、オブジェクトの名前は変更されません。 オブジェクト名マッピング機能を使用して、同期先クラスターに同期されるオブジェクトの名前を変更できます。 詳細については、「同期するオブジェクトの名前変更」をご参照ください。
    データベースとテーブルの名前変更

    オブジェクト名マッピング機能を使用して、ターゲットインスタンスに同期されるオブジェクトの名前を変更できます。 詳細は、オブジェクト名のマッピングをご参照ください。

    DMSがDDL操作を実行するときの一時テーブルのレプリケート

    DMSを使用してソースデータベースでオンラインDDL操作を実行する場合、オンラインDDL操作によって生成された一時テーブルを同期するかどうかを指定できます。

    • Yes: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期します。

      説明

      オンラインDDL操作が大量のデータを生成する場合、データ同期タスクが遅延する可能性があります。

    • No: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期しません。 ソースデータベースの元のDDLデータのみが同期されます。

      説明

      [いいえ] を選択すると、ターゲットデータベースのテーブルがロックされる可能性があります。

    失敗した接続の再試行時間

    既定では、DTSがソースデータベースまたはターゲットデータベースへの接続に失敗した場合、DTSは次の720分 (12時間) 以内に再試行します。 必要に応じて再試行時間を指定できます。 DTSが指定された時間内にソースデータベースとターゲットデータベースに再接続すると、DTSはデータ同期タスクを再開します。 それ以外の場合、データ同期タスクは失敗します。

    説明

    DTSが接続を再試行すると、DTSインスタンスに対して課金されます。 ビジネスニーズに基づいて再試行時間を指定することを推奨します。 ソースインスタンスとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。

  9. ページの右下隅にある [次へ] をクリックします。

  10. 同期先データベースに同期するテーブルのタイプを指定します。

    设置表类型

    説明

    [初期スキーマ同期] を選択した後、AnalyticDB for MySQLクラスターに同期するテーブルのタイププライマリキー列、およびパーティションキー列を指定する必要があります。 詳細については、以下をご参照ください。

    テーブルを作成します。

  11. ページの右下隅にあるをクリックします。事前チェック.

    説明
    • データ同期タスクを開始する前に、DTSは事前チェックを実行します。 データ同期タスクは、タスクが事前チェックに合格した後にのみ開始できます。

    • タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある提示アイコンをクリックして詳細を表示できます。

      • 詳細に基づいて問題をトラブルシューティングした後、新しい事前チェックを開始します。

      • 問題をトラブルシューティングする必要がない場合は、失敗した項目を無視して新しい事前チェックを開始してください。

  12. 次のメッセージが表示されたら、[事前チェック] ダイアログボックスを閉じます。[事前チェックの合格] その後、データ同期タスクが開始されます。

  13. 初期同期が完了し、データ同期タスクが同期状態になるまで待ちます。

    データ同期タスクのステータスは、[同期タスク] ページで確認できます。 View the status of a data synchronization task