ApsaraDB RDS for PostgreSQLインスタンスからApsaraDB RDS for MySQLインスタンスへのデータの同期 - Data Transmission Service

このトピックでは、data Transmission Service (DTS) を使用して、ApsaraDB RDS for PostgreSQLインスタンスからApsaraDB RDS for MySQLインスタンスにデータを同期する方法について説明します。

前提条件

ApsaraDB RDS for PostgreSQLインスタンスが作成され、ソースインスタンスとして使用されます。詳細については、「ApsaraDB RDS For PostgreSQLインスタンスの作成」をご参照ください。
ApsaraDB RDS for MySQLインスタンスが作成され、ターゲットインスタンスとして使用されます。詳細については、「ApsaraDB RDS For MySQLインスタンスの作成」をご参照ください。
移行元ApsaraDB RDS for MySQLインスタンスの使用可能なストレージ容量が、移行元ApsaraDB RDS for PostgreSQLインスタンスのデータの合計サイズよりも大きいこと。

使用上の注意

説明

スキーマ同期中、DTSはソースデータベースからターゲットデータベースに外部キーを同期します。
完全データ同期および増分データ同期中、DTSはセッションレベルで外部キーに対する制約チェックおよびカスケード操作を一時的に無効にします。データ同期中にソースデータベースに対してカスケード更新および削除操作を実行すると、データの不整合が発生する可能性があります。

カテゴリ	説明
ソースデータベースの制限	同期するテーブルには、PRIMARY KEYまたはUNIQUE制約が必要であり、すべてのフィールドが一意である必要があります。そうでない場合、宛先データベースは重複するデータレコードを含み得る。同期するオブジェクトとしてテーブルを選択し、ターゲットデータベースのテーブルまたは列の名前を変更するなど、テーブルを編集する場合は、1つのデータ同期タスクで最大5,000のテーブルを同期できます。タスクを実行して5,000を超えるテーブルを同期すると、リクエストエラーが発生します。この場合、複数のタスクを構成してテーブルを同期するか、タスクを構成してデータベース全体を同期することをお勧めします。 WALログの次の要件を満たす必要があります。 wal_levelパラメーターの値はlogicalに設定されます。増分データ同期のみを実行する場合、ソースデータベースのWALログを24時間以上保存する必要があります。完全データ同期と増分データ同期の両方を実行する場合、ソースデータベースのWALログを少なくとも7日間保存する必要があります。そうしないと、DTSはWALログの取得に失敗し、タスクが失敗する可能性があります。例外的な状況では、データの不整合または損失が発生します。完全なデータ同期が完了したら、保持期間を24時間以上に設定できます。上記の要件に基づいて、WALログの保持期間を設定してください。そうしないと、DTSのサービスレベル契約 (SLA) のサービスの信頼性またはパフォーマンスが保証されない場合があります。ソースデータベースで実行する操作の制限: ソースApsaraDB RDS for PostgreSQLインスタンスでプライマリ /セカンダリの切り替えを実行する場合は、Logical Replication Slotフェールオーバー機能を有効にする必要があります。これにより、論理サブスクリプションの中断を防ぎ、データ同期タスクを期待どおりに実行できます。詳細については、「論理レプリケーションスロットフェールオーバー」をご参照ください。ソースデータベースに長時間のトランザクションがあり、増分データがデータ同期タスクで同期されている場合、ソースデータベースの長時間のトランザクションがコミットされる前に生成されたWALログを蓄積することができます。その結果、ソースデータベースのディスク容量が不足する可能性があります。
その他の制限	データ同期タスクは、1つのデータベースからのみデータを同期できます。複数のデータベースのデータを同期するには、各データベースのデータ同期タスクを作成する必要があります。スキーマにテーブルを作成するか、RENAMEコマンドを実行してテーブルの名前を変更する場合は、テーブルにデータを書き込む前に`ALTER table schema.table REPLICA IDENTITY FULL;` ステートメントを実行する必要があります。これによりデータの整合性が保証されます。このステートメントを実行するときは、テーブルをロックしないことをお勧めします。そうでなければ、デッドロックが発生する。説明上記のサンプルステートメントの`スキーマ`と`テーブル`を、実際のスキーマ名とテーブル名に置き換えます。そのため、ピーク時間外に操作を実行することを推奨します。 DTSは、増分データのDDLステートメント、増分テーブルのスキーマ、およびハートビート情報を取得するために、ソースデータベースに次の一時テーブルを作成します。 DDL文は、ターゲットデータベースに書き込まれません。データ同期中は、ソースデータベースの一時テーブルを削除しないでください。そうでなければ、例外が生じる。 DTSインスタンスがリリースされると、一時テーブルは自動的に削除されます。 `public.dts_pg_class`、`public.dts_pg_attribute`、`public.dts_pg_type`、`public.dts_pg_enum`、`public.dts_postgres_heartbeat`、`public.dts_ddl_command`、および`public.dts_args_session`。データ同期のレイテンシを正確にするために、DTSはソースデータベースにハートビートテーブルを追加します。ハートビートテーブルの名前はdts_postgres_heartbeatです。データ同期中、DTSはソースデータベースのレプリケーションスロットを作成します。レプリケーションスロットの先頭に`dts_sync_` があります。 DTSは、このレプリケーションスロットを使用して、過去15分以内にソースデータベースの増分ログを取得できます。説明 DTSインスタンスがリリースされると、レプリケーションスロットは自動的に削除されます。ソースデータベースのパスワードを変更した場合、またはIPアドレスホワイトリストからDTSのIPアドレスを削除した場合、レプリケーションスロットを自動的に削除することはできません。この場合、複製スロットが積み重ならないように、ソースデータベースの複製スロットを削除する必要があります。データ同期タスクがリリースされるか失敗すると、DTSは自動的にレプリケーションスロットをクリアします。ソースApsaraDB RDS for PostgreSQLインスタンスでプライマリ /セカンダリの切り替えが実行された場合、セカンダリデータベースにログインしてレプリケーションスロットをクリアする必要があります。データを同期する前に、ソースデータベースとターゲットデータベースのパフォーマンスに対するデータ同期の影響を評価します。オフピーク時にデータを同期することを推奨します。最初の完全データ同期中、DTSはソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。これは、データベースサーバの負荷を増加させる可能性がある。初期の完全データ同期中に、同時INSERT操作により、ターゲットデータベースのテーブルが断片化されます。したがって、最初の完全データ同期が完了した後、ターゲットデータベースの使用されるテーブルスペースのサイズは、ソースデータベースのサイズよりも大きくなります。 DTSのみを使用してテーブルデータをターゲットデータベースに書き込む場合、DMSを使用して、データ同期中にソーステーブルに対してオンラインDDL操作を実行できます。詳細については、「ロックテーブルなしでスキーマを変更する」をご参照ください。データ同期中は、DTSのみを使用してデータをターゲットデータベースに書き込むことをお勧めします。これにより、ソースデータベースとターゲットデータベース間のデータの不一致が防止されます。たとえば、DTS以外のツールを使用してターゲットデータベースにデータを書き込む場合、DMSを使用してオンラインDDL操作を実行すると、ターゲットデータベースでデータ損失が発生する可能性があります。 DDL文がターゲットデータベースに書き込まれない場合、DTSタスクは引き続き実行されます。タスクログで実行に失敗したDDLステートメントを表示できます。タスクログの表示方法の詳細については、「タスクログの表示」をご参照ください。
特別なケース	ソースインスタンスがApsaraDB RDS for PostgreSQLインスタンスの場合、次の制限事項に注意してください。データ同期中は、ApsaraDB RDS for PostgreSQLインスタンスのエンドポイントまたはゾーンを変更しないでください。それ以外の場合、データ同期タスクは失敗します。

課金

同期タイプ	タスク設定料金
スキーマ同期と完全データ同期	無料です。
増分データ同期	有料。詳細については、「課金の概要」をご参照ください。

サポートしている同期トポロジ

一方向の 1 対 1 の同期
一方向の 1 対多の同期
一方向のカスケード同期
一方向の多対 1 の同期

DTSでサポートされている同期トポロジの詳細については、「同期トポロジ」をご参照ください。

同期可能なSQL操作

操作タイプ	SQL文
DML	挿入、更新、および削除

手順

新しいDTSコンソールのデータ同期ページに移動します。
説明
データ管理 (DMS) コンソールにログインすることもできます。上部のナビゲーションバーで、[DTS] をクリックします。左側のナビゲーションウィンドウで、[DTS (DTS)] > [データ同期] を選択します。
ページの左上隅で、データ同期タスクを作成するリージョンを選択します。

[タスクの作成] をクリックします。表示されるページで、ソースデータベースとターゲットデータベースを設定します。

警告

ソースデータベースとターゲットデータベースを設定した後、ページの上部に表示される制限を読むことをお勧めします。そうしないと、タスクが失敗したり、データの不一致が発生します。

セクション	パラメーター	説明
N/A	タスク名	タスクの名前。 DTSはタスクに名前を自動的に割り当てます。タスクを簡単に識別できるように、わかりやすい名前を指定することをお勧めします。一意のタスク名を指定する必要はありません。
ソースデータベース	データベースタイプ	移行元ディスクのタイプを設定します。 [PostgreSQL] を選択します。
	アクセス方法	ソースインスタンスのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。
	インスタンスリージョン	ソースApsaraDB RDS for PostgreSQLインスタンスが存在するリージョン。
	インスタンスID	ソースApsaraDB RDS for PostgreSQLインスタンスのID。
	データベース名	ApsaraDB RDS for PostgreSQLインスタンスのソースデータベースの名前。
	データベースアカウント	ソースApsaraDB RDS for PostgreSQLインスタンスの特権アカウント。アカウントはデータベースの所有者である必要があります。 ApsaraDB RDS For PostgreSQLインスタンスのアカウントを作成し、このアカウントに権限を付与する方法の詳細については、「アカウントの作成」および「データベースの作成」をご参照ください。説明ソースApsaraDB RDS for PostgreSQLインスタンスのバージョンが9.4で、DML操作のみを同期する場合、データベースアカウントにはREPLICATION権限のみが必要です。
	データベースパスワード	データベースアカウントのパスワードを設定します。
宛先データベース	データベースタイプ	ターゲットデータベースのタイプ。 [MySQL] を選択します。
	アクセス方法	ターゲットインスタンスのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。
	インスタンスリージョン	ターゲットApsaraDB RDS for MySQLインスタンスが存在するリージョン。
	RDSインスタンスID	移行先ApsaraDB RDS for MySQLインスタンスのID。
	データベースアカウント	移行先ApsaraDB RDS for MySQLインスタンスのデータベースアカウント。アカウントには、ターゲットデータベースに対する読み取りおよび書き込み権限が必要です。
	データベースパスワード	データベースアカウントのパスワードを設定します。
	暗号化	データベースへの接続を暗号化するかどうかを指定します。ビジネス要件に基づいて、[非暗号化] または [SSL暗号化] を選択します。 SSL暗号化を選択した場合、データ同期タスクを設定する前に、ApsaraDB RDS for MySQLインスタンスのSSL暗号化を有効にする必要があります。詳細については、「SSL暗号化機能の設定」をご参照ください。

ページの下部で、[接続をテストして続行] をクリックします。
ソースまたはターゲットデータベースがAlibaba Cloudデータベースインスタンス (ApsaraDB RDS for MySQLインスタンスやApsaraDB for MongoDBインスタンスなど) の場合、DTSは自動的にDTSサーバーのCIDRブロックをインスタンスのホワイトリストに追加します。ソースデータベースまたはターゲットデータベースがElastic Compute Service (ECS) インスタンスでホストされている自己管理データベースの場合、DTSサーバーのCIDRブロックがECSインスタンスのセキュリティグループルールに自動的に追加されます。ECSインスタンスがデータベースにアクセスできるようにする必要があります。ソースデータベースまたはターゲットデータベースが、データセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供される自己管理データベースである場合、DTSサーバーのCIDRブロックをデータベースのホワイトリストに手動で追加して、DTSがデータベースにアクセスできるようにする必要があります。詳細については、「DTSサーバーのCIDRブロックをオンプレミスデータベースのセキュリティ設定に追加する」をご参照ください。
警告
DTSサーバーのCIDRブロックがデータベースまたはインスタンスのホワイトリスト、またはECSセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。したがって、DTSを使用してデータを同期する前に、潜在的なリスクを理解して認識し、次の対策を含む予防策を講じる必要があります。VPNゲートウェイ、またはSmart Access Gateway。

同期するオブジェクトと詳細設定を設定します。

基本設定

パラメーター	説明
同期タイプ	デフォルトでは、増分データ同期が選択されています。 [フルデータ同期] のみを選択できます。 [スキーマ同期] は選択できません。事前チェックが完了すると、DTSは選択したオブジェクトの履歴データをソースデータベースからターゲットデータベースに同期します。履歴データは、その後の増分同期の基礎となる。
競合テーブルの処理モード	事前チェックエラーとレポートエラー: ターゲットデータベースに、ソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかを確認します。ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合は、事前チェックに合格します。それ以外の場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。説明オブジェクト名マッピング機能を使用して、ターゲットデータベースに同期されるテーブルの名前を変更できます。この機能は、ソースデータベースとターゲットデータベースに同じテーブル名が含まれていて、ターゲットデータベースのテーブルを削除または名前変更できない場合に使用できます。詳細については、「マップオブジェクト名」をご参照ください。エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。警告 [エラーを無視して続行] を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。ソースデータベースとターゲットデータベースが同じスキーマを持ち、データレコードがターゲットデータベースの既存のデータレコードと同じ主キー値を持つ場合: 完全データ同期中、DTSはデータレコードをターゲットデータベースに同期しません。ターゲットデータベースの既存のデータレコードが保持されます。増分データ同期中、DTSはデータレコードをターゲットデータベースに同期します。ターゲットデータベースの既存のデータレコードが上書きされます。ソースデータベースとターゲットデータベースのスキーマが異なる場合、データの初期化に失敗したり、一部の列のみが同期されたり、データ同期タスクが失敗したりすることがあります。注意して操作してください。
ソースオブジェクト	[ソースオブジェクト] セクションから1つ以上のオブジェクトを選択し、アイコンをクリックして [選択済みオブジェクト] セクションにオブジェクトを追加します。説明同期するオブジェクトとして、列、テーブル、またはデータベースを選択できます。同期するオブジェクトとしてテーブルまたは列を選択した場合、DTSはビュー、トリガー、ストアドプロシージャなどの他のオブジェクトをターゲットデータベースに同期しません。
[選択済みオブジェクト]	同期先のインスタンスに同期するオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。詳細については、「単一オブジェクトの名前のマッピング」をご参照ください。一度に複数のオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションの右上隅にある [一括編集] をクリックします。詳細については、「一度に複数のオブジェクト名をマップする」をご参照ください。説明特定のデータベースまたはテーブルで実行されるSQL操作を選択するには、次の手順を実行します。[選択されたオブジェクト] セクションで、オブジェクトを右クリックします。表示されるダイアログボックスで、同期するSQL操作を選択します。同期できるSQL操作の詳細については、このトピックの「同期できるSQL操作」をご参照ください。データをフィルタリングするWHERE条件を指定するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。表示されるダイアログボックスで、条件を指定します。条件を指定する方法の詳細については、「SQL条件を使用したデータのフィルタリング」をご参照ください。

詳細設定

パラメーター	説明
Set Alerts	データ同期タスクのアラートを設定するかどうかを指定します。タスクが失敗するか、同期レイテンシが指定されたしきい値を超えると、アラート送信先は通知を受け取ります。有効な値： No: アラートを設定しません。 Yes: アラートを設定します。この場合、アラートしきい値とアラート連絡先も設定する必要があります。詳細については、「DTSタスクの作成時のモニタリングとアラートの設定」をご参照ください。
失敗した接続のリトライ時間範囲の指定	失敗した接続のリトライ時間範囲。データ同期タスクの開始後にソースデータベースまたはターゲットデータベースの接続に失敗した場合、DTSはその時間範囲内ですぐに接続を再試行します。有効な値: 10 ~ 1440 単位: 分。デフォルト値: 720 パラメーターを30より大きい値に設定することを推奨します。 DTSが指定された時間範囲内にソースデータベースとターゲットデータベースに再接続すると、DTSはデータ同期タスクを再開します。それ以外の場合、データ同期タスクは失敗します。説明同じソースまたはターゲットデータベースを持つ複数のDTSタスクに対して異なるリトライ時間範囲を設定した場合、設定された最短のリトライ時間範囲が優先されます。 DTSが接続を再試行すると、DTSインスタンスに対して課金されます。業務要件に基づいて再試行時間範囲を指定することを推奨します。ソースインスタンスとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。
ETLの設定	抽出、変換、および読み込み (ETL) 機能を設定するかどうかを指定します。詳細については、「ETLとは」をご参照ください。有効な値： Yes: ETL機能を設定します。コードエディターでデータ処理ステートメントを入力できます。詳細については、「データ移行またはデータ同期タスクでのETLの設定」をご参照ください。 No: ETL機能を設定しません。

ページの下部にある [次へ: タスク設定と事前チェック] をクリックします。
ポインタを 次：タスク設定の保存と事前チェック に移動し、[OpenAPIパラメーターのプレビュー] をクリックして、インスタンスを設定するために呼び出されるAPI操作のパラメーター設定を表示します。
説明
- データ同期タスクを開始する前に、DTSは事前チェックを実行します。データ同期タスクは、タスクが事前チェックに合格した後にのみ開始できます。
- タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。原因に基づいて問題をトラブルシューティングした後、再度事前チェックを実行します。
- 事前チェック中にアイテムに対してアラートがトリガーされた場合:
  アラートアイテムを無視できない場合は、失敗したアイテムの横にある [詳細の表示] をクリックして問題のトラブルシューティングを行います。次に、もう一度プレチェックを実行します。
  アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されたメッセージボックスで、[OK] をクリックします。次に、[再度事前チェック] をクリックして、事前チェックを再度実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
成功率が100% になるまで待ちます。次に、[次へ: インスタンスの購入] をクリックします。

[インスタンスの購入] ページで、データ同期インスタンスの課金方法とインスタンスクラスのパラメーターを設定します。下表に、各パラメーターを説明します。

セクション	パラメーター	説明
新しいインスタンスクラス	Billing Method	サブスクリプション: インスタンスの作成時にインスタンスの料金を支払います。サブスクリプションの課金方法は、長期使用の場合、従量課金の課金方法よりも費用対効果が高くなります。従量課金: 従量課金インスタンスは1時間ごとに課金されます。従量課金方法は、短期使用に適しています。従量課金インスタンスが不要になった場合は、従量課金インスタンスをリリースしてコストを削減できます。
	リソースグループ	インスタンスが実行されるリソースグループ。デフォルト値: Default resource group 詳細については、「リソース管理とは」をご参照ください。
	インスタンスクラス	DTSは、異なるパフォーマンスを提供するさまざまな同期仕様を提供します。同期速度は、選択した同期仕様によって異なります。ビジネスシナリオに基づいて同期仕様を選択できます。詳細については、「データ同期インスタンスの仕様」をご参照ください。
	サブスクリプション期間	サブスクリプションの課金方法を選択した場合は、サブスクリプション期間と作成するインスタンスの数を設定します。サブスクリプション期間は、1〜9か月、1年、2年、3年、または5年とすることができる。説明このパラメーターは、サブスクリプションの課金方法を選択した場合にのみ使用できます。

[読み取り] チェックボックスをオンにして、[データ送信サービス (従量課金) サービス規約] に同意します。
[購入と開始] をクリックして、データ同期タスクを開始します。タスクリストでタスクの進行状況を確認できます。