PolarDB for PostgreSQLクラスターからApsaraDB RDS for PostgreSQLインスタンスへのデータ移行 - Data Transmission Service

このトピックでは、data Transmission Service (DTS) を使用して、PolarDB for PostgreSQLクラスターからApsaraDB RDS for PostgreSQLインスタンスにデータを移行する方法について説明します。

前提条件

ソースPolarDB for PostgreSQLクラスターが作成されました。詳細については、「クラスターの作成」をご参照ください。
移行先のApsaraDB RDS for PostgreSQLインスタンスが作成されました。詳細については、「インスタンスの作成」をご参照ください。
ソースPolarDB for PostgreSQLクラスターのwal_levelパラメーターはlogicalに設定されています。詳細は、「クラスターパラメーターの指定」をご参照ください。
ターゲットデータベースの使用可能なストレージ容量は、ソースデータベースのデータの合計サイズよりも大きくなります。

使用上の注意

説明

スキーマの移行中に、DTSは外部キーをソースデータベースからターゲットデータベースに移行します。
完全データ移行および増分データ移行中、DTSはセッションレベルで外部キーに対する制約チェックおよびカスケード操作を一時的に無効にします。データ移行中にソースデータベースに対してカスケード更新および削除操作を実行すると、データの不整合が発生する可能性があります。

カテゴリ	説明
ソースデータベースの制限	ソースPolarDB for PostgreSQLクラスターから移行するテーブルには、プライマリキーまたはUNIQUE NOT NULLインデックスが含まれている必要があります。ソースデータベースに実行時間の長いトランザクションがあり、データ移行タスクに増分データ移行が含まれている場合、実行時間の長いトランザクションが送信される前に生成されたライトアヘッドロギング (WAL) ログはクリアされないため、蓄積され、ソースデータベースのストレージスペースが不十分になります。ソースPolarDB for PostgreSQLクラスターでプライマリ /セカンダリの切り替えを実行する場合は、論理レプリケーションスロットのフェールオーバー機能を有効にする必要があります。これにより、論理サブスクリプションの中断を防ぎ、データ移行タスクを期待どおりに実行できます。詳細については、「論理レプリケーションスロットフェールオーバー」をご参照ください。ソースデータベースで実行する操作の制限: スキーマ移行中および完全データ移行中は、DDL文を実行してデータベースまたはテーブルのスキーマを変更しないでください。それ以外の場合、データ移行タスクは失敗します。フルデータ移行のみを実行する場合は、データ移行中にソースデータベースにデータを書き込まないでください。それ以外の場合、ソースデータベースとターゲットデータベース間でデータの不一致が発生します。データの一貫性を確保するために、移行タイプとしてスキーマ移行、完全データ移行、および増分データ移行を選択することを推奨します。
その他の制限	完全データ移行中、同時INSERT操作により、ターゲットデータベースのテーブルが断片化されます。完全データ移行が完了すると、移行先データベースの使用表領域のサイズが移行元データベースのサイズよりも大きくなります。 DTSは、過去7日以内に失敗したデータ移行タスクを再開しようとします。ワークロードをターゲットデータベースに切り替える前に、失敗したタスクを停止またはリリースする必要があります。 `REVOKE`ステートメントを実行して、DTSがターゲットデータベースにアクセスするために使用するアカウントの書き込み権限を取り消すこともできます。それ以外の場合、データ移行タスクが再開された後、ソースデータベースのデータがターゲットデータベースのデータを上書きします。 DTSは、シーケンスなどのメタデータの有効性をチェックしません。メタデータの有効性を手動で確認する必要があります。増分データ移行中、DTSはソースデータベースにレプリケーションスロットを作成してデータをレプリケートします。レプリケーションスロットの先頭に`dts_sync_` があります。 DTSは、このレプリケーションスロットを使用して、過去15分以内にソースデータベースの増分ログを取得できます。説明 DTSインスタンスがリリースされると、レプリケーションスロットは自動的に削除されます。ソースデータベースのパスワードを変更した場合、またはIPアドレスホワイトリストからDTSのIPアドレスを削除した場合、レプリケーションスロットを自動的に削除することはできません。ソースデータベースの可用性を確保するには、ソースデータベースのレプリケーションスロットを手動で削除して、レプリケーションスロットが積み重ならないようにする必要があります。データ移行タスクがリリースまたは失敗した場合、DTSは自動的にレプリケーションスロットを削除します。ソースデータベースでプライマリ /セカンダリの切り替えを実行する場合は、セカンダリデータベースにログインして、レプリケーションスロットを手動で削除する必要があります。ワークロードがターゲットデータベースに切り替えられた後、新しく書き込まれたシーケンスは、ソースデータベースのシーケンスの最大値から増加しません。したがって、ワークロードをターゲットデータベースに切り替える前に、ソースデータベース内のシーケンスの最大値を照会する必要があります。次に、クエリされた最大値をターゲットデータベースのシーケンスの開始値として指定する必要があります。次のステートメントを実行して、ソースデータベース内のシーケンスの最大値を照会できます。 `do language plpgsql $$ declare nsp name; rel name; val int8; begin for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S' loop execute format($_$select last_value from %I.%I$_$, nsp, rel) into val; raise notice '%', format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1); end loop; end; $$;` 完全または増分データ移行タスクを実行する場合、移行元データベースから移行するテーブルに外部キー、トリガー、またはイベントトリガーが含まれ、移行先データベースのアカウントが特権アカウントまたはスーパーユーザーロールの権限を持つアカウントである場合、DTSは、完全または増分データ移行中にセッションレベルで一時的にsession_replication_roleパラメーターをレプリカに設定します。ターゲットデータベースのアカウントに権限がない場合は、手動でsession_replication_roleパラメーターをターゲットデータベースのレプリカに設定する必要があります。完全または増分データ移行中にsession_replication_roleパラメーターをレプリカに設定した後、ソースデータベースでカスケード更新または削除操作が実行されると、データの不整合が発生する可能性があります。データ移行タスクがリリースされた後、session_replication_roleパラメーターの値をoriginに変更できます。

課金

移行タイプ	インスタンス設定料金	インターネットトラフィック料金
スキーマ移行とフルデータ移行	無料です。	インターネット経由でAlibaba Cloudからデータが移行された場合にのみ課金されます。詳細については、「課金の概要」をご参照ください。
増分データ移行	有料。詳細については、「課金の概要」をご参照ください。

移行タイプ

スキーマ移行
DTSは、選択したオブジェクトのスキーマをソースデータベースからターゲットデータベースに移行します。
完全なデータ移行
DTSは、必要なオブジェクトの履歴データをソースデータベースからターゲットデータベースに移行します。
増分データ移行
完全データ移行が完了すると、DTSは増分データをソースデータベースからターゲットデータベースに移行します。増分データ移行により、データ移行中に自己管理型アプリケーションのサービスを中断することなく、データをスムーズに移行できます。

増分移行をサポートするSQL操作

操作タイプ	SQL文
DML	挿入、更新、および削除
DDL	DDL操作は、2020年10月1日以降に作成されたデータ移行タスクでのみ移行できます。重要 5月12日より前に作成されたデータ移行タスク、2023 DDL操作を移行するには、データ移行タスクを設定する前に、ソースデータベースにトリガーと関数を作成してDDL情報を取得する必要があります。詳細については、「トリガーと関数を使用してPostgreSQLデータベースの増分DDL移行を実装する」をご参照ください。増分データ移行は、BITタイプのデータをサポートしていません。ソースデータベースのデータベースアカウントが特権アカウントの場合、データ移行タスクで次のDDLステートメントを移行できます。テーブルとドロップテーブルの作成 ALTER TABLE (RENAME TABLE、ADD COLUMN、ADD COLUMN DEFAULT、ALTER COLUMN TYPE、DROP COLUMN、ADD CONSTRAINT、ADD CONSTRAINT CHECK、およびALTER COLUMN DROP DEFAULTを含む) TRUNCATE TABLE (ソースPolarDB for PostgreSQLクラスターのデータベースエンジンバージョンは、PostgreSQL V11以降である必要があります) 。テーブルにインデックスを作成する重要 CASCADEやRESTRICTなど、DDLステートメントの追加情報を移行することはできません。 `SET session_replication_role = replica`ステートメントが実行されているセッションからDDLステートメントを移行することはできません。 FUNCTIONなどのメソッドを呼び出すことによって実行されるDDLステートメントは移行できません。ソースデータベースによって一度に送信されたSQL文にDML文とDDL文の両方が含まれている場合、DTSはDDL文を移行しません。ソースデータベースによって一度に送信されたSQL文に、移行されないDDL文が含まれている場合、DTSはDDL文を移行しません。

データベースアカウントに必要な権限

データベースタイプ	スキーマ移行	完全なデータ移行	増分データ移行	関連ドキュメント
PolarDB for PostgreSQLクラスター	特権アカウントの権限			データベースアカウントの作成
RDS PostgreSQL	移行するオブジェクトに対するCREATEおよびUSAGE権限	スキーマ所有者の権限	スキーマ所有者の権限	アカウントの作成

手順

[データ移行タスク] ページに移動します。
1. データ管理 (DMS) コンソールにログインします。
2. 上部のナビゲーションバーで、ポインタをDTSの上に移動します。
3. DTS (DTS) > データ移行を選択します。
説明
- 実際の操作は、DMSコンソールのモードとレイアウトによって異なります。詳細については、「シンプルモード」および「DMSコンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。
- 新しいDTSコンソールのデータ移行ページに行くこともできます。
データ移行タスクの右側にあるドロップダウンリストから、データ移行インスタンスが存在するリージョンを選択します。
説明
新しいDTSコンソールを使用する場合は、左上隅にデータ移行インスタンスが存在するリージョンを選択する必要があります。

[タスクの作成] をクリックします。 [データ移行タスクの作成] ページで、ソースデータベースとターゲットデータベースを設定します。次の表にパラメーターを示します。

セクション	パラメーター	説明
非該当	タスク名	DTSタスクの名前。タスク名は自動生成されます。タスクを簡単に識別できるように、わかりやすい名前を指定することをお勧めします。一意のタスク名を指定する必要はありません。
ソースデータベース	データベースタイプ	移行元ディスクのタイプを設定します。 PolarDB for PostgreSQL を選択します。
	アクセス方法	ソースデータベースのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。
	インスタンスリージョン	ソースPolarDB for PostgreSQLクラスターが存在するリージョン。
	Alibaba Cloudアカウント全体でのデータの複製	Alibaba Cloudアカウント間でデータを移行するかどうかを指定します。この例では、[いいえ] が選択されています。
	インスタンスID	ソースPolarDB for PostgreSQLクラスターのID。
	データベース名	PolarDB for PostgreSQLクラスター内のソースデータベースの名前。
	データベースアカウント	PolarDB for PostgreSQLクラスターのデータベースアカウント。
	データベースパスワード	データベースインスタンスへのアクセスに使用されるパスワード。
宛先データベース	データベースタイプ	ターゲットデータベースのタイプ。 [PostgreSQL] を選択します。
	アクセス方法	ターゲットデータベースのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。
	インスタンスリージョン	移行先のApsaraDB RDS for PostgreSQLインスタンスが存在するリージョン。
	インスタンスID	移行先のApsaraDB RDS for PostgreSQLインスタンスのID。
	データベース名	ApsaraDB RDS for PostgreSQLインスタンスのターゲットデータベースの名前。
	データベースアカウント	移行先ApsaraDB RDS for PostgreSQLインスタンスのデータベースアカウント。
	データベースパスワード	データベースインスタンスへのアクセスに使用されるパスワード。
	暗号化	ソースデータベースへの接続を暗号化するかどうかを指定します。このパラメーターは、ビジネス要件に基づいて設定できます。この例では、非暗号化が選択されています。ソースデータベースへのSSL暗号化接続を確立する場合は、次の手順を実行します。SSL 暗号化を選択し、必要に応じてCA 証明書、クライアント証明書、クライアント証明書の秘密鍵をアップロードし、クライアント証明書の秘密鍵のパスワードを指定します。説明自己管理型PostgreSQLデータベースの暗号化をSSL 暗号化に設定した場合、CA 証明書をアップロードする必要があります。クライアント証明書を使用する場合は、クライアント証明書とクライアント証明書の秘密鍵をアップロードし、クライアント証明書の秘密鍵のパスワードを指定する必要があります。 ApsaraDB RDS For PostgreSQLインスタンスにSSL暗号化を設定する方法については、「SSL暗号化」をご参照ください。

ページの下部で、[接続のテストと続行] をクリックします。
、ソースまたはターゲットデータベースがAlibaba Cloudデータベースインスタンス (ApsaraDB RDS for MySQL、ApsaraDB for MongoDBインスタンスなど) の場合、DTSは自動的にDTSサーバーのCIDRブロックをインスタンスのIPアドレスホワイトリストに追加します。ソースデータベースまたはターゲットデータベースがElastic Compute Service (ECS) インスタンスでホストされている自己管理データベースの場合、DTSサーバーのCIDRブロックがECSインスタンスのセキュリティグループルールに自動的に追加されます。ECSインスタンスがデータベースにアクセスできることを確認する必要があります。自己管理データベースが複数のECSインスタンスでホストされている場合、DTSサーバーのCIDRブロックを各ECSインスタンスのセキュリティグループルールに手動で追加する必要があります。ソースデータベースまたはターゲットデータベースが、データセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供される自己管理データベースである場合、DTSサーバーのCIDRブロックをデータベースのIPアドレスホワイトリストに手動で追加して、DTSがデータベースにアクセスできるようにする必要があります。詳細については、「DTSサーバーのCIDRブロックの追加」トピックの「DTSサーバーのCIDRブロック」セクションをご参照ください。
警告
DTSサーバーのパブリックCIDRブロックがデータベースインスタンスのホワイトリストまたはECSインスタンスのセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。したがって、DTSを使用してデータを移行する前に、潜在的なリスクを理解して認識し、ユーザー名とパスワードのセキュリティの強化、公開されるポートの制限、API呼び出しの認証、ホワイトリストまたはセキュリティグループルールの定期的なチェック、CIDRブロックの禁止、またはExpress Connectを使用したデータベースインスタンスのDTSへの接続、VPNゲートウェイ、またはSmart Access Gateway。

移行するオブジェクトと詳細設定を設定します。

パラメーター	説明
移行タイプ	フルデータ移行のみを実行するには、[スキーマ移行] と [フルデータ移行] を選択します。データ移行中のサービスの継続性を確保するには、[スキーマ移行] 、[フルデータ移行] 、および [増分データ移行] を選択します。説明増分データ移行を選択しない場合、データ移行中にソースデータベースにデータを書き込まないことを推奨します。これにより、ソースデータベースとターゲットデータベース間のデータの整合性が確保されます。
競合テーブルの処理モード	エラーの事前チェックと報告: ターゲットデータベースに、ソースデータベースのテーブルと同じ名前を使用するテーブルが含まれているかどうかを確認します。ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合は、事前チェックに合格します。それ以外の場合、事前チェック中にエラーが返され、データ移行タスクを開始できません。説明ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれていて、ターゲットデータベース内のテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに移行されるテーブルの名前を変更できます。詳細については、「マップオブジェクト名」をご参照ください。エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。警告エラーを無視して続行を選択すると、データの不整合が発生し、ビジネスが次の潜在的なリスクにさらされる可能性があります。ソースデータベースとターゲットデータベースが同じスキーマを持ち、データレコードがターゲットデータベースの既存のデータレコードと同じプライマリキーを持つ場合、次のシナリオが発生する可能性があります。完全データ移行中、DTSはデータレコードを移行先データベースに移行しません。ターゲットデータベースの既存のデータレコードが保持されます。増分データ移行中に、DTSはデータレコードを移行先データベースに移行します。ターゲットデータベースの既存のデータレコードが上書きされます。ソースデータベースとターゲットデータベースのスキーマが異なる場合、特定の列のみが移行されるか、データ移行タスクが失敗します。作業は慎重に行ってください。
宛先インスタンスでのオブジェクト名の大文字化	ターゲットインスタンスのデータベース名、テーブル名、および列名の大文字化。デフォルトでは、DTSデフォルトポリシーが選択されています。他のオプションを選択して、オブジェクト名の大文字化がソースまたはターゲットデータベースの大文字化と一致していることを確認できます。詳細については、「ターゲットインスタンスのオブジェクト名の大文字化の指定」をご参照ください。
ソースオブジェクト	ソースオブジェクトセクションから1つ以上のオブジェクトを選択します。アイコンをクリックして、選択中のオブジェクトセクションにオブジェクトを追加します。
[選択済みオブジェクト]	移行先インスタンスに移行するオブジェクトの名前を変更するには、選択中のオブジェクトセクションでオブジェクトを右クリックします。詳細については、「オブジェクト名のマップ」トピックの「単一オブジェクトの名前のマップ」セクションをご参照ください。一度に複数のオブジェクトの名前を変更するには、選択中のオブジェクトセクションの右上隅にある一括編集をクリックします。詳細については、「オブジェクト名のマップ」トピックの「一度に複数のオブジェクト名をマップする」セクションをご参照ください。説明オブジェクト名マッピング機能を使用してオブジェクトの名前を変更すると、そのオブジェクトに依存する他のオブジェクトの移行に失敗する可能性があります。

[次へ：詳細設定] をクリックして詳細設定を構成します。

パラメーター	説明
タスクのスケジュールに使用する専用クラスターの選択	既定では、専用クラスターを指定しない場合、DTSは共有クラスターへのデータ移行タスクをスケジュールします。データ移行タスクの安定性を向上させたい場合は、専用クラスターを購入してください。詳細については、「DTS専用クラスターの概要」をご参照ください。
失敗した接続の再試行時間	失敗した接続のリトライ時間範囲。データ移行タスクの開始後にソースデータベースまたはターゲットデータベースの接続に失敗した場合、DTSは再試行時間範囲内ですぐに接続を再試行します。有効な値: 10 ~ 1440 単位は分です。デフォルト値: 720 パラメーターを30より大きい値に設定することを推奨します。指定した再試行時間内にDTSがソースデータベースとターゲットデータベースに再接続された場合、DTSはデータ移行タスクを再開します。それ以外の場合、データ移行タスクは失敗します。説明同じソースまたはターゲットデータベースを共有する複数のデータ移行タスクに対して異なるリトライ時間範囲を指定した場合、後で指定される値が優先されます。 DTSが接続を再試行すると、DTSインスタンスに対して課金されます。業務要件に基づいて再試行時間範囲を指定することを推奨します。ソースデータベースとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。	その他の問題の再試行時間範囲。たとえば、データ移行タスクの開始後にDDLまたはDML操作の実行に失敗した場合、DTSは再試行時間範囲内ですぐに操作を再試行します。有効な値: 1 ~ 1440 単位は分です。デフォルト値は 10 です。パラメーターを10より大きい値に設定することを推奨します。指定された再試行時間内に失敗した操作が正常に実行された場合、DTSはデータ移行タスクを再開します。それ以外の場合、データ移行タスクは失敗します。重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。パラメーターの値は、失敗した接続の再試行時間パラメーターの値よりも小さくする必要があります。
完全移行率を制限するかどうか	フルデータ移行のスロットリングを有効にするかどうかを指定します。完全データ移行中、DTSはソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。これは、データベースサーバの負荷を増加させる可能性がある。ビジネス要件に基づいて、フルデータ移行のスロットリングを有効にできます。スロットリングを設定するには、1 秒あたりのソースデータベースのクエリ率 QPS 、1 秒あたりの完全移行の行数 RPS、1 秒あたりの完全移行データ量 (MB) BPS パラメーターを設定する必要があります。これにより、移行先データベースサーバーの負荷が軽減されます。説明このパラメーターは、移行タイプパラメーターに完全データ移行を選択した場合にのみ設定できます。
増分移行率を制限するかどうか	増分データ移行のスロットリングを有効にするかどうかを指定します。スロットリングを設定するには、1 秒あたりの増分移行の行数 RPSと1 秒あたりの増分移行データ量 (MB) BPS パラメーターを設定する必要があります。これにより、移行先データベースサーバーの負荷が軽減されます。説明このパラメーターは、移行タイプパラメーターに増分データ移行を選択した場合にのみ設定できます。
環境タグ	DTSインスタンスを識別するために使用される環境タグ。ビジネス要件に基づいて環境タグを選択できます。この例では、このパラメーターを設定する必要はありません。
ETL の設定	抽出、変換、および読み込み (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETLとは何ですか? 」をご参照ください。有効な値： Yes: ETL機能を設定します。コードエディターでデータ処理ステートメントを入力できます。詳細については、「データ移行またはデータ同期タスクでのETLの設定」をご参照ください。 No: ETL機能を設定しません。
監視アラート	データ移行タスクのアラートを設定するかどうかを指定します。タスクが失敗するか、移行の待ち時間が指定されたしきい値を超えると、アラート送信先は通知を受け取ります。有効な値： No: アラートを設定しません。 Yes: アラートを設定します。この場合、アラートしきい値とアラート通知設定詳細については、「モニタリングとアラートの設定」トピックの「DTSタスクを作成するときのモニタリングとアラートの設定」をご参照ください。

タスク設定を保存し、事前チェックを実行します。
- 関連するAPI操作を呼び出してDTSタスクを設定するときに指定するパラメーターを表示するには、ポインターを 次：タスク設定の保存と事前チェック に移動し、OpenAPI パラメーターのプレビュー をクリックします。
- パラメーターを表示または表示する必要がない場合は、ページ下部の 次：タスク設定の保存と事前チェック をクリックします。
説明
- データ移行タスクを開始する前に、DTSは事前チェックを実行します。データ移行タスクは、タスクが事前チェックに合格した後にのみ開始できます。
- タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析した後、問題のトラブルシューティングを行います。次に、もう一度プレチェックを実行します。
- 事前チェック中にアイテムに対してアラートがトリガーされた場合:
  アラートアイテムを無視できない場合は、失敗したアイテムの横にある [詳細の表示] をクリックして問題のトラブルシューティングを行います。次に、もう一度プレチェックを実行します。
  アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されたメッセージボックスで、[OK] をクリックします。次に、[再度事前チェック] をクリックして、事前チェックを再度実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
成功率が100% になるまで待ちます。次に、[次へ: インスタンスの購入] をクリックします。

[インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを設定します。下表にパラメーターを示します。

セクション	パラメーター	説明
新しいインスタンスクラス	リソースグループ	データ移行インスタンスが属するリソースグループ。デフォルト値: Default resource group 詳細については、「リソース管理とは」をご参照ください。
新しいインスタンスクラス	インスタンスクラス	DTSは、移行速度が異なるインスタンスクラスを提供します。ビジネスシナリオに基づいてインスタンスクラスを選択できます。詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。

読み取りと選択データ伝送サービス (従量課金) サービス規約.
[購入して開始] をクリックします。表示されるメッセージで、 [OK] をクリックします。
[データ移行] ページでタスクの進行状況を確認できます。