AnalyticDB for MySQLは、高度な同時実行性を備えたオンラインデータ分析のためにAlibaba Cloudによって開発されたリアルタイムオンライン分析処理 (OLAP) サービスです。 AnalyticDB for MySQLは、ミリ秒レベルのタイミングで複数のディメンションからのペタバイト単位のデータを分析して、ビジネスに関するデータ駆動型の洞察を提供できます。 このトピックでは、data Transmission Service (DTS) を使用して、PolarDB for MySQLクラスターからAnalyticDB for MySQLクラスターにデータを同期する方法について説明します。 データを同期した後、AnalyticDB for MySQLを使用して、内部ビジネスインテリジェンス (BI) システム、対話型クエリシステム、およびリアルタイムレポートシステムを構築できます。
前提条件
AnalyticDB for MySQLクラスターが作成されました。 詳細については、「AnalyticDB for MySQLクラスターの作成 」をご参照ください。
AnalyticDB for MySQLクラスターには十分なストレージがあります。
PolarDB for MySQLクラスターでバイナリログ機能が有効になっています。 詳細については、「バイナリログの有効化 」をご参照ください。
使用上の注意
DTSは、最初の完全データ同期中に、ソースRDSインスタンスとターゲットRDSインスタンスの読み取りおよび書き込みリソースを使用します。 これにより、RDSインスタンスの負荷が増加する可能性があります。 インスタンスのパフォーマンスが悪い場合、仕様が低い場合、またはデータ量が多い場合、データベースサービスが利用できなくなる可能性があります。 たとえば、ソースRDSインスタンスで多数の低速SQLクエリが実行されている場合、テーブルにプライマリキーがない場合、またはターゲットRDSインスタンスでデッドロックが発生する場合、DTSは大量の読み取りおよび書き込みリソースを占有します。 データ同期の前に、ソースRDSインスタンスとターゲットRDSインスタンスのパフォーマンスに対するデータ同期の影響を評価します。 オフピーク時にデータを同期することを推奨します。 たとえば、ソースRDSインスタンスとターゲットRDSインスタンスのCPU使用率が30% 未満の場合にデータを同期できます。
データ同期中に必要なオブジェクトに対してDDL操作を実行するために、gh-ostまたはpt-online-schema-changeを使用しないことを推奨します。 そうしないと、データの同期に失敗する可能性があります。
AnalyticDB for MySQLの制限により、AnalyticDB for MySQLのノードのディスク領域使用率 クラスターが80% を超えると、クラスターはロックされます。 同期するオブジェクトに基づいて、必要なディスク容量を見積もることを推奨します。 移行先クラスターに十分なストレージがあることを確認します。
プレフィックスインデックスは同期できません。 ソースデータベースにプレフィックスインデックスが含まれている場合、データの同期に失敗する可能性があります。
課金
同期タイプ | タスク設定料金 |
スキーマ同期と完全データ同期 | 無料です。 |
増分データ同期 | 有料。 詳細については、「課金の概要」をご参照ください。 |
同期可能なSQL操作
DDL操作: CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、DROP COLUMN、およびMODIFY COLUMN
DML操作: INSERT、UPDATE、およびDELETE
データ同期中にソーステーブルのフィールドのデータ型が変更された場合、エラーメッセージが報告され、データ同期タスクが中断されます。 この問題に対処する方法の詳細については、「フィールドタイプの変更により発生する同期障害のトラブルシューティング」トピックの「フィールドタイプの変更により発生する同期障害のトラブルシューティング」をご参照ください。
データベースアカウントに必要な権限
データベース | 必要な権限 |
PolarDB for MySQL クラスター | 同期するオブジェクトの読み取り権限 |
AnalyticDB for MySQL | 必要なオブジェクトに対する読み取りおよび書き込み権限 |
データベースアカウントを作成および権限付与する方法の詳細については、 次をご参照ください：PolarDB for MySQLクラスターのデータベースアカウントの作成と AnalyticDB for MySQLクラスターのデータベースアカウントを作成します。
データ型マッピング
詳細については、「スキーマ同期のためのデータ型マッピング」をご参照ください。
手順
DTSインスタンスを購入します。 詳細については、「データ同期インスタンスの購入」をご参照ください。
説明購入ページで、ソースインスタンスをPolarDBに設定し、ターゲットインスタンスをAnalyticDB for MySQLに設定し、同期トポロジを一方向同期に設定します。
DTSコンソールにログインします。
説明Data Management (DMS) コンソールにリダイレクトされている場合は、右下隅にある
の
アイコンをクリックして、以前のバージョンのDTSコンソールに移動します。左側のナビゲーションウィンドウで、[データ同期] をクリックします。
[同期タスク] ページの上部で、ターゲットインスタンスが存在するリージョンを選択します。
データ同期インスタンスを見つけ、[操作] 列の [タスクの設定] をクリックします。
ソースクラスターとターゲットクラスターを設定します。
セクション
パラメーター
説明
N/A
同期タスク名
DTSが自動的に生成するタスク名。 タスクを簡単に識別できるように、わかりやすい名前を指定することをお勧めします。 一意のタスク名を使用する必要はありません。
ソースインスタンスの詳細
インスタンスタイプ
このパラメーターはPolarDBインスタンスに設定されており、変更できません。
インスタンスリージョン
購入ページで選択したソースリージョン。 このパラメーターの値は変更できません。
PolarDBインスタンスID
ソースPolarDB for MySQLクラスターのID。
データベースアカウント
ソースクラスターのデータベースアカウント。 アカウントに必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースパスワード
データベースアカウントのパスワードを設定します。
ターゲットインスタンスの詳細
インスタンスタイプ
このパラメーターはAnalyticDBに設定されており、変更できません。
インスタンスリージョン
購入ページで選択したターゲットリージョン。 このパラメーターの値は変更できません。
Version
選択3.0.
データベース
移行先のAnalyticDB for MySQLクラスターのID。
データベースアカウント
AnalyticDB for MySQLデータベースのアカウント。 アカウントに必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースパスワード
データベースアカウントのパスワードを設定します。
ページの右下隅にあるホワイトリストと次への設定をクリックします。
、ソースまたはターゲットデータベースがAlibaba Cloudデータベースインスタンス (ApsaraDB RDS for MySQL、ApsaraDB for MongoDBインスタンスなど) の場合、DTSは自動的にDTSサーバーのCIDRブロックをインスタンスのIPアドレスホワイトリストに追加します。 ソースデータベースまたはターゲットデータベースがElastic Compute Service (ECS) インスタンスでホストされている自己管理データベースの場合、DTSサーバーのCIDRブロックがECSインスタンスのセキュリティグループルールに自動的に追加されます。ECSインスタンスがデータベースにアクセスできることを確認する必要があります。 自己管理データベースが複数のECSインスタンスでホストされている場合、DTSサーバーのCIDRブロックを各ECSインスタンスのセキュリティグループルールに手動で追加する必要があります。 ソースデータベースまたはターゲットデータベースが、データセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供される自己管理データベースである場合、DTSサーバーのCIDRブロックをデータベースのIPアドレスホワイトリストに手動で追加して、DTSがデータベースにアクセスできるようにする必要があります。 詳細については、「DTSサーバーのCIDRブロックの追加」をご参照ください。
警告DTSサーバーのCIDRブロックがデータベースまたはインスタンスのホワイトリスト、またはECSセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。 したがって、DTSを使用してデータを同期する前に、潜在的なリスクを理解して認識し、次の対策を含む予防策を講じる必要があります。VPNゲートウェイ、またはSmart Access Gateway。
同期ポリシーと同期するオブジェクトを選択します。
パラメータまたは設定
説明
初期同期タイプの選択
多くの場合、[スキーマ同期初期化] と [完全データ同期初期化 ] 両方を選択する必要があります。 事前チェックが完了すると、DTSは必要なオブジェクトのスキーマとデータをソースインスタンスからターゲットクラスターに同期します。 スキーマおよびデータは、その後の増分同期の基礎となる。
既存のターゲットテーブルの処理モード
事前チェックエラーとレポートエラー: ソースデータベースとターゲットデータベースに同じ名前を共有するテーブルが含まれているかどうかを確認します。 移行先データベースに、移行元データベースと同じ名前のテーブルが含まれていない場合は、事前チェックに合格します。 それ以外の場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。
説明オブジェクト名マッピング機能を使用して、ターゲットデータベースに同期されるテーブルの名前を変更できます。 ソースデータベースとターゲットデータベースに同じテーブル名が含まれていて、ターゲットデータベース内のテーブルを削除または名前変更できない場合は、この機能を使用できます。 詳細については、「同期するオブジェクトの名前変更」をご参照ください。
エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。
警告[エラーを無視して続行] を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
ソースデータベースとターゲットデータベースのスキーマが同じである場合、DTSは、ターゲットデータベースのデータレコードと同じ主キーを持つデータレコードを同期しません。
ソースデータベースとターゲットデータベースのスキーマが異なる場合、初期データ移行が失敗する可能性があります。 この場合、特定の列のみが移行されるか、データ移行タスクが失敗します。
マルチテーブルのマージ
[はい] を選択した場合、DTSはデータソースを格納する各テーブルに
__dts_data_source列を追加します。 この場合、DDL操作は同期できません。デフォルトでは [いいえ] が選択されています。 この場合、DDL動作を同期させることができる。
説明このパラメーターを [はい] に設定すると、タスクで選択したすべてのソーステーブルがターゲットテーブルにマージされます。 ソーステーブルの一部のみをマージする場合は、2つのデータ同期タスクを作成できます。
同期する操作タイプの選択
ビジネス要件に基づいて、同期する操作の種類を選択します。 すべての操作タイプがデフォルトで選択されています。 詳細については、「同期可能なSQL操作」をご参照ください。
同期するオブジェクトの選択
[使用可能] セクションから1つ以上のオブジェクトを選択し、
アイコンをクリックして、オブジェクトを [選択済み] セクションに追加します。 同期するオブジェクトとしてテーブルまたはデータベースを選択できます。
説明同期するオブジェクトとしてデータベースを選択した場合、データベース内のすべてのスキーマ変更が同期先データベースに同期されます。
同期するオブジェクトとしてテーブルを選択した場合、テーブルに対して実行されたADD COLUMN操作のみがターゲットデータベースに同期されます。
既定では、オブジェクトがターゲットデータベースに同期された後、オブジェクトの名前は変更されません。 オブジェクト名マッピング機能を使用して、同期先クラスターに同期されるオブジェクトの名前を変更できます。 詳細については、「同期するオブジェクトの名前変更」をご参照ください。
データベースとテーブルの名前変更
オブジェクト名マッピング機能を使用して、ターゲットインスタンスに同期されるオブジェクトの名前を変更できます。 詳細は、オブジェクト名のマッピングをご参照ください。
DMSがDDL操作を実行するときの一時テーブルのレプリケート
DMSを使用してソースデータベースでオンラインDDL操作を実行する場合、オンラインDDL操作によって生成された一時テーブルを同期するかどうかを指定できます。
Yes: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期します。
説明オンラインDDL操作が大量のデータを生成する場合、データ同期タスクが遅延する可能性があります。
No: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期しません。 ソースデータベースの元のDDLデータのみが同期されます。
説明[いいえ] を選択すると、ターゲットデータベースのテーブルがロックされる可能性があります。
失敗した接続の再試行時間
既定では、DTSがソースデータベースまたはターゲットデータベースへの接続に失敗した場合、DTSは次の720分 (12時間) 以内に再試行します。 必要に応じて再試行時間を指定できます。 DTSが指定された時間内にソースデータベースとターゲットデータベースに再接続すると、DTSはデータ同期タスクを再開します。 それ以外の場合、データ同期タスクは失敗します。
説明DTSが接続を再試行すると、DTSインスタンスに対して課金されます。 ビジネスニーズに基づいて再試行時間を指定することを推奨します。 ソースインスタンスとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。
ページの右下隅にある [次へ] をクリックします。
同期先データベースに同期するテーブルのタイプを指定します。
説明[初期スキーマ同期] を選択した後、AnalyticDB for MySQLクラスターに同期するテーブルのタイプ、プライマリキー列、およびパーティションキー列を指定する必要があります。 詳細については、以下をご参照ください。
ページの右下隅にある事前チェックをクリックします。
説明データ同期タスクを開始する前に、DTSは事前チェックを実行します。 データ同期タスクは、タスクが事前チェックに合格した後にのみ開始できます。
タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある
アイコンをクリックして詳細を表示できます。 詳細に基づいて問題をトラブルシューティングした後、新しい事前チェックを開始します。
問題をトラブルシューティングする必要がない場合は、失敗した項目を無視して新しい事前チェックを開始してください。
次のメッセージが表示されたら、[事前チェック] ダイアログボックスを閉じます。[事前チェックの合格] その後、データ同期タスクが開始されます。
初期同期が完了し、データ同期タスクが同期状態になるまで待ちます。
データ同期タスクのステータスは、[同期タスク] ページで確認できます。
