Data Transmission Service:セルフマネージドOracleデータベースからApache KafkaインスタンスのMessage Queueへのデータの移行

使用上の注意

• DTSは、完全データ移行中にソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。 これは、データベースサーバの負荷を増加させる可能性がある。 データベースのパフォーマンスが悪い場合、仕様が低い場合、またはデータ量が多い場合、データベースサービスが利用できなくなる可能性があります。 たとえば、ソースデータベースで多数の低速SQLクエリが実行されている場合、テーブルにプライマリキーがない場合、またはターゲットデータベースでデッドロックが発生する場合、DTSは大量の読み取りおよび書き込みリソースを占有します。 データを移行する前に、移行元データベースと移行先データベースのパフォーマンスに対するデータ移行の影響を評価します。 オフピーク時にデータを移行することを推奨します。 たとえば、ソースデータベースとターゲットデータベースのCPU使用率が30% 未満の場合にデータを移行できます。

• データ移行タスクが失敗して停止すると、DTSは自動的にタスクを再開します。 ワークロードをターゲットデータベースに切り替える前に、データ移行タスクを停止またはリリースしてください。 それ以外の場合、タスクの再開後に、ソースデータベースのデータがターゲットデータベースのデータを上書きします。

• 自己管理型OracleデータベースがReal Application Cluster (RAC) アーキテクチャでデプロイされ、Alibaba Cloud仮想プライベートクラウド (VPC) を介してDTSに接続されている場合、Oracle RACのSingle Client Access Name (SCAN) IPアドレスと各ノードの仮想IPアドレス (VIP) をVPCに接続し、ルートを設定する必要があります。 この設定により、DTSタスクが期待どおりに実行できるようになります。 詳細については、「VPN Gatewayを使用したデータセンターのDTSへの接続」をご参照ください。

  重要

  DTSコンソールでソースOracleデータベースを構成する場合、Oracle RACのSCAN IPアドレスをデータベースエンドポイントまたはIPアドレスとして指定できます。

• Oracleデータベースのバージョンが12c以降の場合、移行するテーブルの名前の長さは30バイトを超えることはできません。

• 移行元データベースで移行するテーブルには、PRIMARY KEYまたはUNIQUE制約が必要であり、すべてのフィールドが一意である必要があります。 そうでない場合、宛先データベースは重複するデータレコードを含み得る。

課金ルール

移行タイプ

始める前に

自己管理型Oracleデータベースにログインし、データ収集に使用するアカウントを作成し、そのアカウントに権限を付与します。

データベースアカウントを作成し、データベースアカウントに権限を付与する方法の詳細については、以下のトピックを参照してください。

自己管理型Oracleデータベース: CREATE USERおよびGRANT

ログ記録を有効にし、Oracleデータベース・アカウントにきめ細かい権限を付与する

1. アーカイブロギングと補足ロギングを有効にします。

   タイプ	手順
   アーカイブロギング	次のステートメントを実行して、アーカイブログを有効にします。 shutdown immediate; startup mount; alter database archivelog; alter database open; archive log list;
   補足ロギング	ビジネス要件に基づいて、データベースまたはテーブルレベルで補足ログを有効にします。 説明 データベースレベルの補足ログを有効にして、Data Transmission Service (DTS) タスクの安定性を確保できます。 テーブルレベルの補足ロギングを有効にして、ソースOracleデータベースのディスク使用量を減らすことができます。 データベースレベルの補足ロギングの有効化 次のステートメントを実行して、最小限の補足ロギングを有効にします。 alter database add supplemental log data; 次のステートメントを実行して、データベースレベルで主キーと一意キーの補足ログを有効にします。 alter database add supplemental log data (primary key,unique index) columns; テーブルレベルの補足ロギングの有効化 次のステートメントを実行して、最小限の補足ロギングを有効にします。 alter database add supplemental log data; 次のいずれかの方法を使用して、テーブルレベルの補足ログを有効にします。 テーブルレベルでプライマリキーの補足ログを有効にする alter table table_name add supplemental log data (primary key) columns; すべての列でテーブルレベルの補足ログを有効にする alter table tb_name add supplemental log data (all) columns;
   強制ロギング	次のステートメントを実行して、強制ロギングを有効にします。 alter database force logging;

2. Oracleデータベースアカウントにきめ細かい権限を付与します。

   Oracleバージョン9i ~ 11g Oracleバージョン12c ~ 19cマルチテナントアーキテクチャを使用するOracleバージョン12c ~ 19cの

   # rdsdt_dtsacctという名前のデータベースアカウントを作成し、そのアカウントに権限を付与します。
   rdsdt_dtsacctによるIDENTIFIEDユーザーrdsdt_dtsacctを作成します。rdsdt_dtsacctにセッション作成を付与します。rdsdt_dtsacctへの接続を許可します。rdsdt_dtsacctにリソースを付与します。sys.dbms_logmnrでrdsdt_dtsacctに実行を許可します。V_$LOGMNR_LOGSでrdsdt_dtsacctにselectを付与します。all_objectsのselectをrdsdt_dtsacctに付与します。all_tab_colsのselectをrdsdt_dtsacctに付与します。dba_registryのselectをrdsdt_dtsacctに付与します。rdsdt_dtsacctに任意のテーブルを選択します。rdsdt_dtsacctへのトランザクションの選択を許可します。-- v$log特権
   v_$ logのselectをrdsdt_dtsacctに付与します。-- v$logfile特権
   v_$ logfileのselectをrdsdt_dtsacctに付与します。-- v$archived_log特権
   v_$ archived_logでrdsdt_dtsacctにselectを付与します。-- v $パラメータ特権
   v_$ パラメータのselectをrdsdt_dtsacctに付与します。-- v $データベース特権
   v_$ データベースのselectをrdsdt_dtsacctに付与します。-- v$active_instances特権
   v_$ active_instancesのselectをrdsdt_dtsacctに付与します。-- v $インスタンス特権
   v_$ インスタンスのselectをrdsdt_dtsacctに付与します。-- v$logmnr_content権限
   v_$ logmnr_contentsのselectをrdsdt_dtsacctに付与します。-- システムテーブル
   sys.USE R$ の選択をrdsdt_dtsacctに付与します。select on SYS.OBJ $をrdsdt_dtsacctに付与します。select on SYS.COL $をrdsdt_dtsacctに付与します。select on SYS.IND $をrdsdt_dtsacctに付与します。select on SYS.ICOL $をrdsdt_dtsacctに付与します。select on SYS.CDEF $をrdsdt_dtsacctに付与します。select on SYS.CCOL $をrdsdt_dtsacctに付与します。select on SYS.TABPART $をrdsdt_dtsacctに付与します。select on SYS.TABSUBPART $をrdsdt_dtsacctに付与します。select on SYS.TABCOMPART $をrdsdt_dtsacctに付与します。select_catalog_roleをrdsdt_dtsacctに付与します。
   

   # プラガブルデータベース (PDB) に切り替えます。 rdsdt_dtsacctという名前のデータベースアカウントを作成し、そのアカウントに権限を付与します。
   ALTER SESSION SETコンテナ=ORCLPDB1;
   rdsdt_dtsacctによるIDENTIFIEDユーザーrdsdt_dtsacctを作成します。rdsdt_dtsacctにセッション作成を付与します。rdsdt_dtsacctへの接続を許可します。rdsdt_dtsacctにリソースを付与します。sys.dbms_logmnrでrdsdt_dtsacctに実行を許可します。all_objectsのselectをrdsdt_dtsacctに付与します。all_tab_colsのselectをrdsdt_dtsacctに付与します。dba_registryのselectをrdsdt_dtsacctに付与します。rdsdt_dtsacctに任意のテーブルを選択します。rdsdt_dtsacctへのトランザクションの選択を許可します。-- v$log特権
   v_$ logのselectをrdsdt_dtsacctに付与します。-- v$logfile特権
   v_$ logfileのselectをrdsdt_dtsacctに付与します。-- v$archived_log特権
   v_$ archived_logでrdsdt_dtsacctにselectを付与します。-- v $パラメータ特権
   v_$ パラメータのselectをrdsdt_dtsacctに付与します。-- v $データベース特権
   v_$ データベースのselectをrdsdt_dtsacctに付与します。-- v$active_instances特権
   v_$ active_instancesのselectをrdsdt_dtsacctに付与します。-- v $インスタンス特権
   v_$ インスタンスのselectをrdsdt_dtsacctに付与します。-- v$logmnr_content権限
   v_$ logmnr_contentsのselectをrdsdt_dtsacctに付与します。sys.USE R$ の選択をrdsdt_dtsacctに付与します。select on SYS.OBJ $をrdsdt_dtsacctに付与します。select on SYS.COL $をrdsdt_dtsacctに付与します。select on SYS.IND $をrdsdt_dtsacctに付与します。select on SYS.ICOL $をrdsdt_dtsacctに付与します。select on SYS.CDEF $をrdsdt_dtsacctに付与します。select on SYS.CCOL $をrdsdt_dtsacctに付与します。select on SYS.TABPART $をrdsdt_dtsacctに付与します。select on SYS.TABSUBPART $をrdsdt_dtsacctに付与します。select on SYS.TABCOMPART $をrdsdt_dtsacctに付与します。-- V$PDBS特権
   V_$PDBSのselectをrdsdt_dtsacctに付与します。v $データベースで選択をrdsdt_dtsacctに付与します。dba_objectsのselectをrdsdt_dtsacctに付与します。DBA_TAB_COMMENTSの選択をrdsdt_dtsacctに付与します。dba_tab_colsのselectをrdsdt_dtsacctに付与します。select_catalog_roleをrdsdt_dtsacctに付与します。# コンテナデータベース (CDB) のルートコンテナであるCDB$ROOTに切り替えます。 データベースアカウントを作成し、アカウントに権限を付与します。
   ALTER SESSION SETコンテナ=CDB$ROOT;
   # rdsdt_dtsacctという名前のデータベースアカウントを作成し、そのアカウントに権限を付与します。 Oracleデータベースのデフォルト・パラメータを変更する必要があります。 
   alterセッションセット "_ORACLE_SCRIPT"=true;
   rdsdt_dtsacctによるIDENTIFIEDユーザーrdsdt_dtsacctを作成します。rdsdt_dtsacctにセッション作成を付与します。rdsdt_dtsacctへの接続を許可します。v_$ logmnr_contentsのselectをrdsdt_dtsacctに付与します。rdsdt_dtsacctへのログインを許可します。EXECUTE_CATALOG_ROLEをrdsdt_dtsacctに付与します。sys.dbms_logmnrでrdsdt_dtsacctに実行を許可します。
   

   # rdsdt_dtsacctという名前のデータベースアカウントを作成し、そのアカウントに権限を付与します。
   rdsdt_dtsacctによるIDENTIFIEDユーザーrdsdt_dtsacctを作成します。rdsdt_dtsacctにセッション作成を付与します。rdsdt_dtsacctへの接続を許可します。rdsdt_dtsacctにリソースを付与します。V_$LOGMNR_LOGSでrdsdt_dtsacctにselectを付与します。all_objectsのselectをrdsdt_dtsacctに付与します。all_tab_colsのselectをrdsdt_dtsacctに付与します。dba_registryのselectをrdsdt_dtsacctに付与します。rdsdt_dtsacctに任意のテーブルを選択します。rdsdt_dtsacctへのトランザクションの選択を許可します。v $データベースで選択をrdsdt_dtsacctに付与します。dba_objectsのselectをrdsdt_dtsacctに付与します。DBA_TAB_COMMENTSの選択をrdsdt_dtsacctに付与します。dba_tab_colsのselectをrdsdt_dtsacctに付与します。-- v$log特権
   v_$ logのselectをrdsdt_dtsacctに付与します。-- v$logfile特権
   v_$ logfileのselectをrdsdt_dtsacctに付与します。-- v$archived_log特権
   v_$ archived_logでrdsdt_dtsacctにselectを付与します。-- v $パラメータ特権
   v_$ パラメータのselectをrdsdt_dtsacctに付与します。-- v $データベース特権
   v_$ データベースのselectをrdsdt_dtsacctに付与します。-- v$active_instances特権
   v_$ active_instancesのselectをrdsdt_dtsacctに付与します。-- v $インスタンス特権
   v_$ インスタンスのselectをrdsdt_dtsacctに付与します。-- v$logmnr_content権限
   v_$ logmnr_contentsのselectをrdsdt_dtsacctに付与します。sys.USE R$ の選択をrdsdt_dtsacctに付与します。select on SYS.OBJ $をrdsdt_dtsacctに付与します。select on SYS.COL $をrdsdt_dtsacctに付与します。select on SYS.IND $をrdsdt_dtsacctに付与します。select on SYS.ICOL $をrdsdt_dtsacctに付与します。select on SYS.CDEF $をrdsdt_dtsacctに付与します。select on SYS.CCOL $をrdsdt_dtsacctに付与します。select on SYS.TABPART $をrdsdt_dtsacctに付与します。select on SYS.TABSUBPART $をrdsdt_dtsacctに付与します。select on SYS.TABCOMPART $をrdsdt_dtsacctに付与します。rdsdt_dtsacctへのログインを許可します。EXECUTE_CATALOG_ROLEをrdsdt_dtsacctに付与します。sys.dbms_logmnrでrdsdt_dtsacctに実行を許可します。select_catalog_roleをrdsdt_dtsacctに付与します。

手順

1. DTSコンソールにログインします。

   説明

   データ管理 (DMS) コンソールにリダイレクトされている場合は、のアイコンをクリックして、以前のバージョンのDTSコンソールに移動します。

2. 左側のナビゲーションウィンドウで、[データ移行] をクリックします。

3. [移行タスク] ページの上部で、移行先インスタンスが存在するリージョンを選択します。

4. ページの右上隅にある [移行タスクの作成] をクリックします。

5. ソースデータベースとターゲットデータベースを設定します。

   

   セクション	パラメーター	説明
   非該当	タスク名	DTSが自動的に生成するタスク名。 簡単に識別できるように、ビジネス要件を示す名前を指定することを推奨します。 一意の名前を使用する必要はありません。
   移行元データベース	インスタンスタイプ	ソースデータベースのアクセス方法。 この例では、パブリックIPアドレスを持つユーザー作成データベースが選択されています。 説明 ソースの自己管理データベースが別のタイプの場合は、自己管理データベースに必要な環境を設定する必要があります。 詳細については、「準備の概要」をご参照ください。
   	インスタンスリージョン	インスタンスタイプとして [パブリックIPアドレスを持つユーザー作成データベース] を選択した場合、[インスタンスリージョン] パラメーターを指定する必要はありません。 説明 自己管理型OracleデータベースにIPアドレスホワイトリストが構成されている場合は、DTSサーバーのCIDRブロックをデータベースのIPアドレスホワイトリストに追加する必要があります。 [インスタンスリージョン] の横にある [DTS IP を取得する] をクリックして、DTS サーバーの CIDR ブロックを取得します。
   	データベースエンジン	移行元ディスクのタイプを設定します。 [Oracle] を選択します。
   	Hostname or IP Address	自己管理型Oracleデータベースへの接続に使用されるエンドポイント。 この例では、データベースのパブリックIPアドレスが使用されます。
   	ポート番号	自己管理型Oracleデータベースのサービス・ポート番号。 デフォルト値: 1521 説明 自己管理型Oracleデータベースのサービス・ポートは、インターネット経由でアクセスできる必要があります。
   	インスタンスタイプ	自己管理型Oracleデータベースのアーキテクチャ・タイプ。 [非RACインスタンス] を選択した場合、SIDパラメーターを指定する必要があります。 RACまたはPDBインスタンスを選択した場合、サービス名パラメーターを指定する必要があります。
   	データベースアカウント	自己管理型Oracleデータベースのアカウント。 アカウントに必要な権限については、「開始前」をご参照ください。
   	データベースパスワード	自己管理型Oracleデータベースのアカウントのパスワード。 説明 ソースデータベースに関する情報を指定した後、[データベースパスワード] の横にある [接続のテスト] をクリックして、情報が有効かどうかを確認できます。 情報が有効な場合は、[合格] メッセージが表示されます。 [失敗] メッセージが表示されたら、[失敗] の横にある [チェック] をクリックします。 次に、チェック結果に基づいて情報を変更します。
   ターゲットデータベース	インスタンスタイプ	ソースデータベースのアクセス方法。 Express Connect、または VPN Gateway、または Smart Access Gateway 経由で接続されたユーザー作成のデータベース を選択します。 説明 インスタンスタイプパラメーターにApache KafkaのMessage Queueを指定することはできません。 Apache KafkaのMessage Queueを自己管理Kafkaクラスターとして使用して、データ同期を設定できます。
   	インスタンスリージョン	Apache Kafkaインスタンスの宛先Message Queueが存在するリージョン。
   	ピア VPC	Apache Kafkaインスタンスの宛先Message Queueが属する仮想プライベートクラウド (VPC) のID。 VPC IDを取得するには、次の操作を実行します。Message Queue for Apache Kafkaコンソールにログインし、Message Queue for Apache Kafkaインスタンスのインスタンス詳細ページに移動します。 [設定情報] セクションで、VPC IDを表示します。
   	データベースエンジン	ターゲットデータベースのタイプ。 Kafkaを選択します。
   	IP アドレス	Message Queue for Apache KafkaインスタンスのDefault Endpointパラメーターに含まれるIPアドレス。 説明 IPアドレスを取得するには、次の操作を実行します。Message Queue for Apache Kafkaコンソールにログインし、Message Queue for Apache Kafkaインスタンスのインスタンス詳細ページに移動します。 [インスタンス情報] タブの [エンドポイント情報] セクションで、[デフォルトのエンドポイント] パラメーターに含まれるIPアドレスを表示します。
   	ポート番号	Message Queue for Apache Kafkaインスタンスのサービスポート番号。 デフォルト値: 9092
   	データベースアカウント	Message Queue for Apache Kafkaインスタンスへのログインに使用されるデータベースアカウント。 説明 Apache KafkaインスタンスのMessage QueueがVPCインスタンスタイプの場合、データベースアカウントおよびデータベースパスワードパラメーターを指定する必要はありません。
   	データベースパスワード	Message Queue for Apache Kafkaインスタンスへのログインに使用されるデータベースアカウントのパスワード。
   	トピック	トピックの横にある [トピックリストの取得] をクリックし、ドロップダウンリストからトピックを選択します。
   	DDLを保存するためのトピック	DDLを保存するトピックの横にある [トピックリストの取得] をクリックし、ドロップダウンリストからトピックを選択します。 このトピックは、DDL情報を格納するために使用されます。 このパラメーターを指定しない場合、DDL情報はtopicパラメーターで指定されたトピックに格納されます。
   	Kafkaバージョン	Message Queue for Apache Kafkaインスタンスのバージョン。
   	暗号化	接続先クラスターへの接続を暗号化するかどうかを指定します。 ビジネスとセキュリティの要件に基づいて、[非暗号化] または [SCRAM-SHA 256] を選択します。
   	Kafkaスキーマレジストリを使用するかどうか	Kafka Schema Registryは、メタデータの提供レイヤーを提供します。 Avroスキーマを保存および取得するためのRESTful APIを提供します。 いいえ: Kafka Schema Registryを使用しません。 はい: Kafka Schema Registryを使用します。 この場合、AvroスキーマのKafka Schema Registryに登録されているURLまたはIPアドレスを入力する必要があります。

6. ページの右下隅にある [ホワイトリストと次への設定] をクリックします。

   警告

   DTSサーバーのCIDRブロックがデータベースまたはインスタンスのホワイトリスト、またはECSセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。 したがって、DTSを使用してデータを移行する前に、潜在的なリスクを理解して認識し、次の対策を含む予防策を講じる必要があります。VPNゲートウェイ、またはSmart Access Gateway。

7. 移行タイプ、移行ポリシー、および移行するオブジェクトを選択します。

   

   パラメータまたは設定	説明
   移行タイプ	[スキーマ移行] 、[フルデータ移行] 、および [増分データ移行] を選択します。 重要 増分データ移行が選択されていない場合、完全データ移行中にソースデータベースにデータを書き込まないことを推奨します。 これにより、ソースデータベースとターゲットデータベース間のデータの整合性が確保されます。
   Kafkaで使用するデータ形式を選択する	Kafkaクラスターに移行されるデータは、Avro形式で保存されます。 Avroスキーマに基づいて、移行されたデータを解析する必要があります。 詳細については、「DTS Avroスキーマ」をご参照ください。
   データをKafkaパーティションに移行するためのポリシーを選択する	ビジネス要件に基づいて移行ポリシーを選択します。 詳細については、「データをKafkaパーティションに移行するためのポリシーの指定」をご参照ください。
   移行するオブジェクトの選択	[使用可能] セクションから1つ以上のテーブルを選択し、アイコンをクリックして、[選択済み] セクションにテーブルを追加します。 説明 DTSは、テーブル名をステップ5で選択したトピックの名前にマップします。 トピック名の変更方法の詳細については、「オブジェクト名のマッピング」をご参照ください。
   オブジェクトの名前を変更するかどうかを指定する	オブジェクト名マッピング機能を使用して、移行先インスタンスに移行されるオブジェクトの名前を変更できます。 詳細は、オブジェクト名のマッピングをご参照ください。
   ソースデータベースまたはターゲットデータベースへの接続が失敗した場合のリトライ時間範囲の指定	デフォルトでは、DTSがソースデータベースまたはターゲットデータベースへの接続に失敗した場合、DTSは次の12時間以内に再試行します。 業務要件に基づいて再試行時間範囲を指定できます。 指定された再試行時間内にDTSがソースまたはターゲットデータベースに再接続された場合、DTSはデータ移行タスクを再開します。 それ以外の場合、データ移行タスクは失敗します。 説明 DTSがソースデータベースとターゲットデータベースへの再接続を試みる再試行時間内に、DTSインスタンスの使用に対して課金されます。 業務要件に基づいて再試行時間範囲を指定することを推奨します。 ソースインスタンスとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。

8. ページの右下隅にある [事前チェック] をクリックします。

   重要

   • データ移行タスクを開始する前に、事前チェックが実行されます。 データ移行タスクは、タスクが事前チェックに合格した後にのみ開始できます。

   • タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にあるアイコンをクリックして詳細を表示できます。

     • 原因に基づいて問題をトラブルシューティングした後、再度事前チェックを実行できます。

     • 問題をトラブルシューティングする必要がない場合は、失敗した項目を無視して、再度事前チェックを実行できます。

9. タスクが事前チェックに合格したら、[次へ] をクリックします。

10. [設定の確認] ダイアログボックスで、[チャネル仕様] パラメーターを指定し、[データ送信サービス (従量課金) サービス規約] を選択します。

11. [購入と開始] をクリックして、データ移行タスクを開始します。

データ移行タスクの停止

• フルデータ移行

  フルデータ移行中にタスクを手動で停止しないでください。 そうしないと、システムはすべてのデータを移行できません。 移行タスクが自動的に終了するまで待ちます。

• 増分データ移行

  増分データ移行中、タスクは自動的に終了しません。 移行タスクを手動で停止する必要があります。

  1. タスクの進行状況バーに [増分データ移行] と [移行タスクは遅延しません] が表示されるまで待ちます。 その後、ソースデータベースへのデータの書き込みを数分間停止します。 場合によっては、進行状況バーに増分データ移行の遅延時間が表示されます。

  2. 増分データ移行のステータスが移行タスクが遅延なしに変更された後、移行タスクを手動で停止します。