このトピックでは、data Transmission Service (DTS) を使用して、自己管理型PostgreSQLデータベースからPolarDB for PostgreSQL (Compatible with Oracle) クラスターにデータを移行する方法について説明します。
前提条件
移行先のPolarDB for PostgreSQL (Compatible with Oracle) クラスターが作成されます。 詳細については、「PolarDB For PostgreSQL (Compatible with Oracle) クラスターの作成」をご参照ください。
移行先のPolarDB for PostgreSQL (Compatible with Oracle) クラスターの使用可能なストレージ容量は、自己管理型PostgreSQLデータベースのデータの合計サイズよりも大きくなっています。
使用状況ノート
スキーマの移行中に、DTSは外部キーをソースデータベースからターゲットデータベースに移行します。
完全データ移行および増分データ移行中、DTSはセッションレベルで外部キーに対する制約チェックおよびカスケード操作を一時的に無効にします。 データ移行中にソースデータベースに対してカスケード更新および削除操作を実行すると、データの不整合が発生する可能性があります。
制限タイプ | 説明 |
ソースデータベースの制限 |
|
その他の制限 |
|
特別なケース |
|
課金
移行タイプ | インスタンス設定料金 | インターネットトラフィック料金 |
スキーマ移行とフルデータ移行 | 無料です。 | インターネット経由でAlibaba Cloudからデータが移行された場合にのみ課金されます。 詳細については、「課金の概要」をご参照ください。 |
増分データ移行 | 有料。 詳細については、「課金の概要」をご参照ください。 |
移行タイプ
スキーマ移行
DTSは、選択したオブジェクトのスキーマをソースデータベースからターゲットデータベースに移行します。
完全なデータ移行
DTSは、必要なオブジェクトの履歴データをソースデータベースからターゲットデータベースに移行します。
増分データ移行
完全データ移行が完了すると、DTSは増分データをソースデータベースからターゲットデータベースに移行します。 増分データ移行により、データ移行中に自己管理型アプリケーションのサービスを中断することなく、データをスムーズに移行できます。
増分移行可能なSQL操作
操作タイプ | SQL文 |
DML | 挿入、更新、および削除 |
DDL |
|
データベースアカウントに必要な権限
データベース | スキーマ移行 | 完全なデータ移行 | 増分データ移行 |
自己管理型 PostgreSQL データベース | pg_catalogの使用権限 | 移行するオブジェクトに対するSELECT権限 | スーパーユーザー |
PolarDB for PostgreSQL (Oracle互換) クラスター | データベース所有者の権限。 重要 データベースの作成時にデータベース所有者を指定できます。 | ||
データベースアカウントを作成し、そのアカウントに権限を付与する方法については、以下のトピックを参照してください。
自己管理型PostgreSQLデータベース: CREATE USERおよびGRANT
PolarDB for PostgreSQL (Oracle互換) クラスター: データベースアカウントの作成
準備
ソースデータベースがAmazon RDS For PostgreSQLインスタンスである場合の準備方法の詳細については、「Amazon RDS for PostgreSQLインスタンスからApsaraDB RDS for PostgreSQLインスタンスへの増分データの移行」トピックの開始前のセクションを参照してください。 ソースデータベースがAmazon Aurora PostgreSQLインスタンスである場合の準備方法の詳細については、「Amazon Aurora PostgreSQLインスタンスからApsaraDB RDS For PostgreSQLインスタンスへの完全データの移行」トピックの準備1: Amazon Aurora PostgreSQLインスタンスのインバウンドルールの編集セクションを参照してください。
この例では、Linuxサーバー上で実行される自己管理型PostgreSQLデータベースが使用されます。
自己管理型PostgreSQLデータベースのバージョンが10.1以降の場合は、データ移行タスクを設定する前に、次の操作を実行する必要があります。
自己管理型PostgreSQLデータベースが存在するサーバーにログオンします。
postgresql.conf設定ファイルを変更します。wal_levelパラメーターをlogicalに設定し、max_wal_sendersパラメーターとmax_replication_slotsパラメーターの値が、セルフマネージドPostgreSQLデータベースで使用されているレプリケーションスロットの数と、ソースデータベースがセルフマネージドPostgreSQLデータベースであるDTSインスタンスの数の合計よりも大きいことを確認します。# - Settings - wal_level = logical # minimal, replica, or logical # (change requires restart) ...... # - Sending Server(s) - # Set these on the master and on any standby that will send replication data. max_wal_senders = 10 # max number of walsender processes # (change requires restart) #wal_keep_segments = 0 # in logfile segments, 16MB each; 0 disables #wal_sender_timeout = 60s # in milliseconds; 0 disables max_replication_slots = 10 # max number of replication slots # (change requires restart)説明設定ファイルを変更した後、自己管理型PostgreSQLデータベースを再起動して、パラメーター設定を有効にします。
DTSサーバーのCIDRブロックを、自己管理型PostgreSQLデータベースのpg_hba.conf構成ファイルに追加します。 ターゲットデータベースと同じリージョンにあるDTSサーバーのCIDRブロックのみを追加します。 詳細については、「DTSサーバーのCIDRブロックの追加」をご参照ください。
説明設定ファイルを変更した後、
SELECT pg_reload_conf();ステートメントを実行するか、自己管理型PostgreSQLデータベースを再起動して、パラメーター設定を有効にします。pg_hba.conf設定ファイルの詳細については、「pg_hba.confファイル」をご参照ください。 pg_hba.confファイルのIPアドレスを
0.0.0.0/0に設定している場合は、この手順をスキップします。 次の図は、設定を示しています。
移行するオブジェクトのデータベースとスキーマの情報に基づいて、移行先クラスターに対応するデータベースとスキーマを作成します。
自己管理型PostgreSQLデータベースのバージョンが9.4.8〜10.0の場合、データ移行タスクを設定する前に次の操作を実行する必要があります。
PostgreSQLソースコードを公式Webサイトからダウンロードし、ソースコードをコンパイルし、PostgreSQLをインストールします。
からソースコードをダウンロードします。PostgreSQL公式ウェブサイトは、自己管理型PostgreSQLデータベースのバージョンに基づいています。
を実行します。Run the
スド /configure,sudo make、およびsudo make installコマンドを順番に実行して、ソースコードを設定およびコンパイルし、PostgreSQLをインストールします。重要PostgreSQLをコンパイルしてインストールする場合、PostgreSQLのOSバージョンはGNUコンパイラコレクション (GCC) のバージョンと一致している必要があります。
を実行したときにエラーが発生した場合、
スド /configureコマンドを変更すると、エラーメッセージに基づいてコマンドを変更できます。 たとえば、エラーメッセージがreadlineライブラリが見つかりません。 -- without-readlineを使用して、readlineサポートを無効にします。に変更することができます。スド /configure -- without-readline.別の方法を使用してPostgreSQLをインストールする場合は、同じオペレーティングシステムバージョンとGCCバージョンを持つテスト環境でali_decodingプラグインをコンパイルする必要があります。
DTSが提供するali_decodingプラグインをダウンロードし、プラグインをコンパイルしてインストールします。
ダウンロードali_decoding.
コンパイルおよびインストールされているPostgreSQLのcontribディレクトリに、ali_decodingディレクトリをコピーします。
ali_decodingディレクトリに移動し、Makefileファイルの内容を次のスクリプトに置き換えます。
# contrib/ali_decoding/Makefile MODULE_big = ali_decoding MODULES = ali_decoding OBJS = ali_decoding.o DATA = ali_decoding--0.0.1.sql ali_decoding--unpackaged--0.0.1.sql EXTENSION = ali_decoding NAME = ali_decoding #subdir = contrib/ali_decoding #top_builddir = ../.. #include $(top_builddir)/src/Makefile.global #include $(top_srcdir)/contrib/contrib-global.mk #PG_CONFIG = /usr/pgsql-9.6/bin/pg_config #pgsql_lib_dir := $(shell $(PG_CONFIG) --libdir) #PGXS := $(shell $(PG_CONFIG) --pgxs) #include $(PGXS) # Run the following commands to install the ali_decoding plug-in: ifdef USE_PGXS PG_CONFIG = pg_config PGXS := $(shell $(PG_CONFIG) --pgxs) include $(PGXS) else subdir = contrib/ali_decoding top_builddir = ../.. include $(top_builddir)/src/Makefile.global include $(top_srcdir)/contrib/contrib-global.mk endifali_decodingディレクトリに移動し、
sudo makeとsudo make installコマンドを順番に実行して、ali_decodingプラグインをコンパイルし、ali_decodingプラグインのインストールに必要なファイルを取得します。指定したディレクトリにファイルをコピーします。
移行するオブジェクトのデータベースとスキーマの情報に基づいて、移行先クラスターに対応するデータベースとスキーマを作成します。
手順
[データ移行タスク] ページに移動します。
データ管理 (DMS) コンソールにログインします。
上部のナビゲーションバーで、ポインタをDTSの上に移動します。
を選択します。
説明実際の操作は、DMSコンソールのモードとレイアウトによって異なります。 詳細については、「シンプルモード」および「DMSコンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。
新しいDTSコンソールのデータ移行ページに行くこともできます。
データ移行タスクの右側にあるドロップダウンリストから、データ移行インスタンスが存在するリージョンを選択します。
説明新しいDTSコンソールを使用する場合は、左上隅にデータ移行インスタンスが存在するリージョンを選択する必要があります。
[タスクの作成] をクリックします。 表示されるページで、ソースデータベースとターゲットデータベースを設定します。
警告ソースインスタンスとターゲットインスタンスを選択した後、ページの上部に表示される制限を読むことを推奨します。 これは、データ移行タスクの作成と実行に役立ちます。
カテゴリ
パラメーター
説明
非該当
タスク名
タスクの名前。 タスク名は自動生成されます。 タスクを識別するために、有益な名前を指定することを推奨します。 一意のタスク名を指定する必要はありません。
ソースデータベース
データベースタイプ
移行元ディスクのタイプを設定します。 [PostgreSQL] を選択します。
アクセス方法
ターゲットデータベースのアクセス方法。 Express Connect、VPN Gateway、またはSmart Access Gatewayを選択します。
説明ソースデータベースが自己管理データベースである場合、データベースのネットワーク環境を準備する必要があります。 詳細については、「準備の概要」をご参照ください。
インスタンスリージョン
自己管理型PostgreSQLデータベースが存在するリージョン。
Alibaba Cloudアカウント全体でのデータの複製
Alibaba Cloudアカウント間でデータを移行するかどうかを指定します。 この例では、[いいえ] が選択されています。
接続済みVPC
自己管理型PostgreSQLデータベースに接続されている仮想プライベートクラウド (VPC) 。
IPアドレス
自己管理型PostgreSQLデータベースのサーバーIPアドレス。
ポート番号
自己管理型PostgreSQLデータベースのサービスポート番号。 デフォルト値5432。
データベース名
自己管理型PostgreSQLデータベースの名前。
データベースアカウント
自己管理型PostgreSQLデータベースのアカウント。 アカウントに必要な権限の詳細については、「データベースアカウントに必要な権限」をご参照ください。
データベースパスワード
データベースインスタンスへのアクセスに使用されるパスワード。
宛先データベース
データベースタイプ
ターゲットデータベースのタイプ。 PolarDB (Oracle と互換性) を選択します。
アクセス方法
ターゲットデータベースのアクセス方法。 Express Connect、VPN Gateway、またはSmart Access Gatewayを選択します。
インスタンスリージョン
ターゲットPolarDB for PostgreSQL (Compatible with Oracle) クラスターが存在するリージョン。
接続済みVPC
移行先のPolarDB for PostgreSQL (Compatible with Oracle) クラスターに接続されているVPCのID。 VPC IDは、移行先クラスターの [概要] ページで確認できます。
ドメイン名またはIPアドレス
ターゲットPolarDB for PostgreSQL (Compatible with Oracle) クラスターのプライマリノードのIPアドレス。
説明コンピューターでpingコマンドを実行して、宛先PolarDB for PostgreSQL (Compatible with Oracle) クラスターへのアクセスに使用されるIPアドレスを取得できます。
ポート番号
ターゲットデータベースのサービスポート番号。 デフォルト値: 1521
データベース名
ターゲットPolarDB for PostgreSQL (Compatible with Oracle) クラスター内のデータベースの名前。
データベースアカウント
ターゲットPolarDB for PostgreSQL (Compatible with Oracle) クラスターのデータベースアカウント。 アカウントに必要な権限の詳細については、「このトピックのデータベースアカウントに必要な権限」セクションをご参照ください。
データベースパスワード
データベースインスタンスへのアクセスに使用されるパスワード。
自己管理データベースにIPアドレスホワイトリストが設定されている場合は、DTSサーバーのCIDRブロックをIPアドレスホワイトリストに追加します。 次に、接続テスト をクリックします。
警告DTSサーバーのパブリックCIDRブロックがデータベースインスタンスのホワイトリストまたはECSインスタンスのセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。 したがって、DTSを使用してデータを移行する前に、潜在的なリスクを理解して認識し、ユーザー名とパスワードのセキュリティの強化、公開されるポートの制限、API呼び出しの認証、ホワイトリストまたはセキュリティグループルールの定期的なチェック、CIDRブロックの禁止、またはExpress Connectを使用したデータベースインスタンスのDTSへの接続、VPNゲートウェイ、またはSmart Access Gateway。
移行するオブジェクトと詳細設定を設定します。
パラメーター
説明
移行タイプ
フルデータ移行のみを実行するには、[スキーマ移行] と [フルデータ移行] を選択します。
データ移行中のサービスの継続性を確保するには、[スキーマ移行] 、[フルデータ移行] 、および [増分データ移行] を選択します。
説明増分データ移行を選択しない場合、データ移行中にソースデータベースにデータを書き込まないことを推奨します。 これにより、ソースデータベースとターゲットデータベース間のデータの整合性が確保されます。
競合テーブルの処理モード
エラーの事前チェックと報告: ターゲットデータベースに、ソースデータベースのテーブルと同じ名前を使用するテーブルが含まれているかどうかを確認します。 ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合は、事前チェックに合格します。 それ以外の場合、事前チェック中にエラーが返され、データ移行タスクを開始できません。
説明ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれていて、ターゲットデータベース内のテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに移行されるテーブルの名前を変更できます。 詳細については、「マップオブジェクト名」をご参照ください。
エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが次の潜在的なリスクにさらされる可能性があります。
ソースデータベースとターゲットデータベースが同じスキーマを持ち、データレコードがターゲットデータベースの既存のデータレコードと同じプライマリキーを持つ場合、次のシナリオが発生する可能性があります。
完全データ移行中、DTSはデータレコードを移行先データベースに移行しません。 ターゲットデータベースの既存のデータレコードが保持されます。
増分データ移行中に、DTSはデータレコードを移行先データベースに移行します。 ターゲットデータベースの既存のデータレコードが上書きされます。
ソースデータベースとターゲットデータベースのスキーマが異なる場合、特定の列のみが移行されるか、データ移行タスクが失敗します。 作業は慎重に行ってください。
ソースオブジェクト
[ソースオブジェクト] セクションから1つ以上のオブジェクトを選択します。
アイコンをクリックして、[選択済みオブジェクト] セクションにオブジェクトを追加します。 説明移行するオブジェクトとして、列、テーブル、またはスキーマを選択できます。 移行するオブジェクトとしてテーブルまたは列を選択した場合、DTSは、ビュー、トリガー、ストアドプロシージャなどの他のオブジェクトを移行先データベースに移行しません。
[選択済みオブジェクト]
移行先インスタンスに移行するオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 詳細については、「単一オブジェクトの名前のマッピング」をご参照ください。
一度に複数のオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションの右上隅にある [一括編集] をクリックします。 詳細については、「一度に複数のオブジェクト名をマップする」をご参照ください。
説明オブジェクト名マッピング機能を使用してオブジェクトの名前を変更すると、そのオブジェクトに依存する他のオブジェクトの移行に失敗する可能性があります。
データをフィルタリングするWHERE条件を指定するには、[選択済みオブジェクト] セクションでテーブルを右クリックします。 表示されるダイアログボックスで、条件を指定します。 詳細については、「SQL条件を使用したデータのフィルタリング」をご参照ください。
特定のデータベースまたはテーブルで実行されたSQL操作を選択するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 表示されるダイアログボックスで、移行するSQL操作を選択します。 増分移行可能なSQL文の詳細については、このトピックの「増分移行可能なSQL操作」をご参照ください。
[次へ: 詳細設定] をクリックして詳細設定を構成します。
パラメーター
説明
Set Alerts
データ移行タスクのアラートを設定するかどうかを指定します。 タスクが失敗するか、移行の待ち時間が指定されたしきい値を超えると、アラート送信先は通知を受け取ります。 有効な値：
No: アラートを設定しません。
Yes: アラートを設定します。 この場合、アラートしきい値と アラート通知設定 詳細については、「モニタリングとアラートの設定」トピックの「DTSタスクを作成するときのモニタリングとアラートの設定」をご参照ください。
失敗した接続の再試行時間
失敗した接続のリトライ時間範囲。 データ移行タスクが失敗した場合、DTSはその時間範囲内ですぐに接続を再試行します。 有効な値: 10 ~ 1440 単位は分です。 デフォルト値: 120 パラメーターを30より大きい値に設定することを推奨します。 指定された再試行時間内にDTSがソースデータベースとターゲットデータベースに再接続すると、DTSはデータ移行タスクを再開します。 それ以外の場合、データ移行タスクは失敗します。
説明ソースまたはターゲットデータベースが同じである複数のデータ移行タスクに対して異なるリトライ時間範囲を指定した場合、最も短いリトライ時間範囲が優先されます。
DTSが接続を再試行すると、DTSインスタンスに対して課金されます。 業務要件に基づいて再試行時間範囲を指定することを推奨します。 ソースインスタンスとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
その他の問題の再試行時間範囲。 たとえば、データ移行タスクの開始後にDDLまたはDML操作の実行に失敗した場合、DTSは再試行時間範囲内ですぐに操作を再試行します。 有効な値: 1 ~ 1440 単位は分です。 デフォルト値は 10 です。 パラメーターを10より大きい値に設定することを推奨します。 指定された再試行時間内に失敗した操作が正常に実行された場合、DTSはデータ移行タスクを再開します。 それ以外の場合、データ移行タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値よりも小さくする必要があります。
ETLの設定
抽出、変換、および読み込み (ETL) 機能を有効にするかどうかを指定します。 詳細については、「ETLとは何ですか? 」をご参照ください。有効な値：
Yes: ETL機能を設定します。 コードエディターでデータ処理ステートメントを入力できます。 詳細については、「データ移行またはデータ同期タスクでのETLの設定」をご参照ください。
No: ETL機能を設定しません。
ページの下部で、次：タスク設定の保存と事前チェック をクリックします。
ポインタを 次：タスク設定の保存と事前チェック に移動し、[OpenAPIパラメーターのプレビュー] をクリックして、関連するAPI操作を呼び出してDTSタスクを設定するときに指定するパラメーターを表示できます。
説明データ移行タスクを開始する前に、DTSは事前チェックを実行します。 データ移行タスクは、タスクが事前チェックに合格した後にのみ開始できます。
タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。 チェック結果に基づいて原因を分析した後、問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。
事前チェック中にアイテムに対してアラートがトリガーされた場合:
アラートアイテムを無視できない場合は、失敗したアイテムの横にある [詳細の表示] をクリックして問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。
アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。 表示されたメッセージボックスで、[OK] をクリックします。 次に、[再度事前チェック] をクリックして、事前チェックを再度実行します。 アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
成功率が100% になるまで待ちます。 次に、[次へ: インスタンスの購入] をクリックします。
[インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを設定します。 下表にパラメーターを示します。
セクション
パラメーター
説明
新しいインスタンスクラス
リソースグループ
データ移行インスタンスが属するリソースグループ。 デフォルト値: Default resource group 詳細については、「リソース管理とは 」をご参照ください。
インスタンスクラス
DTSは、移行速度が異なるインスタンスクラスを提供します。 ビジネスシナリオに基づいてインスタンスクラスを選択できます。 詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。
読んで同意するデータ伝送サービス (従量課金) サービス規約チェックボックスを選択します。
[購入して開始] をクリックします。 表示されるメッセージで、 [OK] をクリックします。
[データ移行] ページでタスクの進行状況を確認できます。