AnalyticDB for MySQLは、高度な同時実行性を備えたオンラインデータ分析のためにAlibaba Cloudによって開発されたリアルタイムオンライン分析処理 (OLAP) サービスです。 AnalyticDB for MySQLは、ミリ秒以内に複数の次元からペタバイト単位のデータを分析して、ビジネスに関するデータ駆動型の洞察を提供できます。 このトピックでは、RDS MySQLインスタンスから データ転送サービス (DTS) を使用したAnalyticDB for MySQLクラスター。 データを同期した後、AnalyticDB for MySQLを使用して、内部ビジネスインテリジェンス (BI) システム、対話型クエリシステム、およびリアルタイムレポートシステムを構築できます。
前提条件
ソースデータベースから同期されるRDS MySQLのテーブルには、プライマリキーが含まれています。
AnalyticDB for MySQLクラスターが作成されました。 詳細については、次をご参照ください： クラスターを作成します。
移行先のAnalyticDB for MySQLクラスターには十分なストレージ容量があります。
注意事項
DTSは、最初の完全データ同期中に、ソースRDSインスタンスとターゲットRDSインスタンスの読み取りおよび書き込みリソースを使用します。 これにより、RDSインスタンスの負荷が増加する可能性があります。 インスタンスのパフォーマンスが悪い場合、仕様が低い場合、またはデータ量が多い場合、データベースサービスが利用できなくなる可能性があります。 たとえば、ソースRDSインスタンスで多数の低速SQLクエリが実行されている場合、テーブルにプライマリキーがない場合、またはターゲットRDSインスタンスでデッドロックが発生する場合、DTSは大量の読み取りおよび書き込みリソースを占有します。 データ同期の前に、ソースRDSインスタンスとターゲットRDSインスタンスのパフォーマンスに対するデータ同期の影響を評価します。 オフピーク時にデータを同期することを推奨します。 たとえば、ソースRDSインスタンスとターゲットRDSインスタンスのCPU使用率が30% 未満の場合にデータを同期できます。
データ同期中に必要なオブジェクトに対してDDL操作を実行するために、gh-ostまたはpt-online-schema-changeを使用しないことを推奨します。 そうしないと、データの同期に失敗する可能性があります。
AnalyticDB for MySQLの制限により、AnalyticDB for MySQLのノードのディスク領域使用率 クラスターが80% に達すると、クラスターはロックされます。 同期するオブジェクトに基づいて、必要なディスク容量を見積もることを推奨します。 移行先クラスターに十分なストレージ容量があることを確認する必要があります。
プレフィックスインデックスは同期できません。 ソースデータベースにプレフィックスインデックスが含まれている場合、データの同期に失敗する可能性があります。
課金
同期タイプ | タスク設定料金 |
スキーマ同期と完全データ同期 | 無料です。 |
増分データ同期 | 有料。 詳細については、「課金の概要」をご参照ください。 |
同期可能なSQL操作
DDL操作: CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、DROP COLUMN、およびMODIFY COLUMN
DML操作: INSERT、UPDATE、およびDELETE
データ同期中にソーステーブルのフィールドのデータ型が変更された場合、エラーメッセージが報告され、データ同期タスクが中断されます。 このエラーの処理方法の詳細については、このトピックの「フィールドタイプの変更により発生する同期障害のトラブルシューティング」を参照してください。
データベースアカウントに必要な権限
データベース | 必要な権限 |
ApsaraDB RDS for MySQL インスタンス | 同期するオブジェクトに対するSELECT権限と、REPLICATION CLIENT、REPLICATION SLAVE、およびSHOW VIEW権限 |
AnalyticDB for MySQL | 必要なオブジェクトに対する読み取りおよび書き込み権限 |
データ型マッピング
ApsaraDB RDS for MySQLとAnalyticDB for MySQLのデータ型は1対1で対応していません。 初期スキーマ同期中に、DTSはソースデータベースのデータ型をターゲットデータベースのデータ型に変換します。 詳細については、「スキーマ同期のためのデータ型マッピング」をご参照ください。
手順
データ同期インスタンスを購入します。 詳細については、「DTSインスタンスの購入」をご参照ください。
説明購入ページで、ソースインスタンスをMySQLに、宛先インスタンスをAnalyticDB MySQLに、同期トポロジを一方向同期に設定します。
DTSコンソールにログインします。
左側のナビゲーションウィンドウで、データ同期をクリックします。
データ同期タスクページの上部で、データ同期タスクが作成されているリージョンを選択します。
データ同期タスクを見つけて、タスクの設定[アクション] 列に表示されます。
ソースインスタンスとターゲットクラスターを設定します。
セクション
パラメーター
説明
非該当
同期タスク名
DTSが自動的に生成するタスク名。 タスクを簡単に識別できるように、わかりやすい名前を指定することをお勧めします。 一意のタスク名を使用する必要はありません。
ソースインスタンスの詳細
インスタンスタイプ
RDS インスタンスを選択します。
インスタンスリージョン
購入ページで選択したソースリージョン。 このパラメーターの値は変更できません。
インスタンス ID
ソースApsaraDB RDSインスタンスのID。
データベースアカウント
ソースApsaraDB RDSインスタンスのデータベースアカウント。 アカウントに必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
説明ソースRDSインスタンスのデータベースエンジンがMySQL 5.5またはMySQL 5.6の場合、データベースアカウントまたはデータベースパスワードパラメーターを設定する必要はありません。
データベースパスワード
データベースアカウントのパスワードを設定します。
暗号化
接続先インスタンスへの接続を暗号化するかどうかを指定します。 [暗号化なし] または[SSL 暗号化] を選択します。 SSL暗号化を選択する場合、データ同期タスクを設定する前に、ApsaraDB RDSインスタンスのSSL暗号化を有効にする必要があります。 詳細については、次をご参照ください： ApsaraDB RDS for MySQLインスタンスのSSL暗号化の設定
重要Encryptionパラメーターは、中国本土および中国 (香港) リージョン内でのみ使用できます。
ターゲットインスタンスの詳細
インスタンスタイプ
このパラメーターはAnalyticDBに設定されており、変更できません。
インスタンスリージョン
購入ページで選択したターゲットリージョン。 このパラメーターの値は変更できません。
Version
選択3.0.
データベース
移行先のAnalyticDB for MySQLクラスターのID。
データベースアカウント
AnalyticDB for MySQLクラスターのデータベースアカウント。 アカウントに必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースパスワード
データベースアカウントのパスワードを設定します。
ページの右下隅にあるホワイトリストと次への設定をクリックします。
、ソースまたはターゲットデータベースがAlibaba Cloudデータベースインスタンス (ApsaraDB RDS for MySQL、ApsaraDB for MongoDBインスタンスなど) の場合、DTSは自動的にDTSサーバーのCIDRブロックをインスタンスのIPアドレスホワイトリストに追加します。 ソースデータベースまたはターゲットデータベースがElastic Compute Service (ECS) インスタンスでホストされている自己管理データベースの場合、DTSサーバーのCIDRブロックがECSインスタンスのセキュリティグループルールに自動的に追加されます。ECSインスタンスがデータベースにアクセスできることを確認する必要があります。 自己管理データベースが複数のECSインスタンスでホストされている場合、DTSサーバーのCIDRブロックを各ECSインスタンスのセキュリティグループルールに手動で追加する必要があります。 ソースデータベースまたはターゲットデータベースが、データセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供される自己管理データベースである場合、DTSサーバーのCIDRブロックをデータベースのIPアドレスホワイトリストに手動で追加して、DTSがデータベースにアクセスできるようにする必要があります。 詳細については、「DTSサーバーのCIDRブロックの追加」をご参照ください。
警告DTSサーバーのCIDRブロックがデータベースまたはインスタンスのホワイトリスト、またはECSセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。 したがって、DTSを使用してデータを同期する前に、潜在的なリスクを理解して認識し、次の対策を含む予防策を講じる必要があります。VPNゲートウェイ、またはSmart Access Gateway。
同期ポリシーと同期するオブジェクトを選択します。
パラメータまたは設定
説明
初期同期タイプの選択
多くの場合、[スキーマ同期初期化] と [完全データ同期初期化 ] 両方を選択する必要があります。 事前チェックが完了すると、DTSは必要なオブジェクトのスキーマとデータをソースインスタンスからターゲットクラスターに同期します。 スキーマおよびデータは、その後の増分同期の基礎となる。
既存のターゲットテーブルの処理モード
事前チェックエラーとレポートエラー: ソースデータベースとターゲットデータベースに同じ名前を共有するテーブルが含まれているかどうかを確認します。 移行先データベースに、移行元データベースと同じ名前のテーブルが含まれていない場合は、事前チェックに合格します。 それ以外の場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。
説明オブジェクト名マッピング機能を使用して、ターゲットデータベースに同期されるテーブルの名前を変更できます。 ソースデータベースとターゲットデータベースに同じテーブル名が含まれていて、ターゲットデータベース内のテーブルを削除または名前変更できない場合は、この機能を使用できます。 詳細については、「同期するオブジェクトの名前変更」をご参照ください。
エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。
警告[エラーを無視して続行] を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
ソースデータベースとターゲットデータベースのスキーマが同じである場合、DTSは、ターゲットデータベースのデータレコードと同じ主キーを持つデータレコードを同期しません。
ソースデータベースとターゲットデータベースのスキーマが異なる場合、初期データ移行が失敗する可能性があります。 この場合、特定の列のみが移行されるか、データ移行タスクが失敗します。
マルチテーブルのマージ
[はい] を選択した場合、DTSはデータソースを格納する各テーブルに
__dts_data_source列を追加します。 この場合、DDL操作は同期できません。デフォルトでは [いいえ] が選択されています。 この場合、DDL動作を同期させることができる。
説明このパラメーターを [はい] に設定すると、タスクで選択したすべてのソーステーブルがターゲットテーブルにマージされます。 ソーステーブルの一部のみをマージする場合は、2つのデータ同期タスクを作成できます。
同期する操作タイプの選択
ビジネス要件に基づいて、同期する操作の種類を選択します。 すべての操作タイプがデフォルトで選択されています。 詳細については、「同期可能なSQL操作」をご参照ください。
同期するオブジェクトの選択
[使用可能] セクションから1つ以上のオブジェクトを選択し、
アイコンをクリックして、オブジェクトを [選択済み] セクションに追加します。 同期するオブジェクトとしてテーブルまたはデータベースを選択できます。
説明同期するオブジェクトとしてデータベースを選択した場合、データベース内のすべてのスキーマ変更が同期先データベースに同期されます。
同期するオブジェクトとしてテーブルを選択した場合、テーブルに対して実行されたADD COLUMN操作のみがターゲットデータベースに同期されます。
既定では、オブジェクトがターゲットデータベースに同期された後、オブジェクトの名前は変更されません。 オブジェクト名マッピング機能を使用して、同期先クラスターに同期されるオブジェクトの名前を変更できます。 詳細については、「同期するオブジェクトの名前変更」をご参照ください。
データベースとテーブルの名前変更
オブジェクト名マッピング機能を使用して、ターゲットインスタンスに同期されるオブジェクトの名前を変更できます。 詳細は、オブジェクト名のマッピングをご参照ください。
DMSがDDL操作を実行するときの一時テーブルのレプリケート
DMSを使用してソースデータベースでオンラインDDL操作を実行する場合、オンラインDDL操作によって生成された一時テーブルを同期するかどうかを指定できます。
Yes: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期します。
説明オンラインDDL操作が大量のデータを生成する場合、データ同期タスクが遅延する可能性があります。
No: DTSは、オンラインDDL操作によって生成された一時テーブルのデータを同期しません。 ソースデータベースの元のDDLデータのみが同期されます。
説明[いいえ] を選択すると、ターゲットデータベースのテーブルがロックされる可能性があります。
失敗した接続の再試行時間
既定では、DTSがソースデータベースまたはターゲットデータベースへの接続に失敗した場合、DTSは次の720分 (12時間) 以内に再試行します。 必要に応じて再試行時間を指定できます。 DTSが指定された時間内にソースデータベースとターゲットデータベースに再接続すると、DTSはデータ同期タスクを再開します。 それ以外の場合、データ同期タスクは失敗します。
説明DTSが接続を再試行すると、DTSインスタンスに対して課金されます。 ビジネスニーズに基づいて再試行時間を指定することを推奨します。 ソースインスタンスとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。
ページの右下隅にある次へをクリックします。
ターゲットデータベースに同期するテーブルのタイプを指定します。
説明[初期スキーマ同期] を選択した後、同期先AnalyticDB for MySQLクラスターに同期するテーブルのタイプ、プライマリキー列、およびパーティションキー列を指定する必要があります。 詳細については、次をご参照ください： テーブルを作成します。
ページの右下隅にある事前チェックをクリックします。
説明データ同期タスクを開始する前に、DTSは事前チェックを実行します。 データ同期タスクは、タスクが事前チェックに合格した後にのみ開始できます。
タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある
アイコンをクリックして詳細を表示できます。 詳細に基づいて問題をトラブルシューティングした後、新しい事前チェックを開始します。
問題をトラブルシューティングする必要がない場合は、失敗した項目を無視して新しい事前チェックを開始してください。
次のメッセージが表示されたら、[事前チェック] ダイアログボックスを閉じます。[事前チェックの合格] その後、データ同期タスクが開始されます。
初期同期が完了し、データ同期タスクが同期状態になるまで待ちます。
データ同期タスクのステータスは、[同期タスク] ページで確認できます。
フィールドタイプの変更による同期障害のトラブルシューティング
データ同期中にソーステーブルのフィールドのデータ型が変更された場合、エラーメッセージが報告され、データ同期タスクが中断されます。 次の方法を使用して問題をトラブルシューティングできます。
同期に失敗したソーステーブルのスキーマに基づいて、ターゲットクラスターにテーブルを作成します。 たとえば、customerという名前のテーブル (テーブルa) の同期に失敗した場合、ターゲットクラスターにcustomer_newという名前のテーブル (テーブルB) を作成できます。 テーブルBがテーブルAと同じスキーマであることを確認します。
INSERT INTO SELECTコマンドを実行して、テーブルAのデータをコピーし、テーブルBにデータを挿入します。
テーブルAの名前を変更または削除します。次に、テーブルBの名前をcustomerに変更します。
DTSコンソールでデータ同期タスクを再起動します。