Data Transmission Service:PolarDB-X 2.0インスタンスからElasticsearchクラスターへのデータの移行

前提条件

• MySQL 5.7と互換性のあるソースPolarDB-Xインスタンスが作成されました。

• 移行先のElasticsearchクラスターが作成されました。 詳細については、「Elasticsearchクラスターの作成」をご参照ください。

• 移行元インスタンスと移行先クラスターのエンジンバージョンがサポートされています。 詳細については、「データ移行シナリオの概要」をご参照ください。

• 移行先Elasticsearchクラスターの使用可能なストレージ容量が、移行元PolarDB-Xインスタンスのデータの合計サイズよりも大きいこと。

制限事項

課金

移行タイプ

• スキーマ移行

  DTSは、選択したオブジェクトのスキーマをソースデータベースからターゲットデータベースに移行します。

• 完全なデータ移行

  DTSは、必要なオブジェクトの履歴データをソースデータベースからターゲットデータベースに移行します。

• 増分データ移行

  完全データ移行が完了すると、DTSは増分データをソースデータベースからターゲットデータベースに移行します。 増分データ移行により、データ移行中に自己管理型アプリケーションのサービスを中断することなく、データをスムーズに移行できます。

増分データ移行中に移行できるSQL操作

マッピング

PolarDB-XでサポートされているMySQLデータ型は、Elasticsearchでサポートされているデータ型と完全には一致しません。 DTSは、異種データベース間のデータ型マッピングに基づいて、スキーマ移行中にソースデータベースのデータ型をElasticsearchクラスターのデータ型に変換します。 詳細については、「異種データベース間のデータ型マッピング」をご参照ください。

データベースアカウントに必要な権限

手順

1. [データ移行タスク] ページに移動します。

   1. データ管理 (DMS) コンソール にログインします。

   2. 上部のナビゲーションバーで、ポインタをDTSの上に移動します。

   3. DTS (DTS) > データ移行を選択します。

   説明

   • 実際の操作は、DMSコンソールのモードとレイアウトによって異なります。 詳細については、「シンプルモード」および「DMSコンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。

   • 新しいDTSコンソールのデータ移行ページに行くこともできます 。

2. データ移行タスクの右側にあるドロップダウンリストから、データ移行インスタンスが存在するリージョンを選択します。

   説明

   新しいDTSコンソールを使用する場合は、左上隅にデータ移行インスタンスが存在するリージョンを選択する必要があります。

3. [タスクの作成] をクリックします。 [データ移行タスクの作成] ページで、ソースデータベースとターゲットデータベースを設定します。 次の表にパラメーターを示します。

   警告

   ソースデータベースとターゲットデータベースを設定した後、ページの上部に表示される制限を読むことを推奨します。 そうしないと、タスクが失敗したり、データの不一致が発生します。

   セクション	パラメーター	説明
   非該当	タスク名	タスクの名前。 タスク名は自動生成されます。 タスクを識別するために、有益な名前を指定することを推奨します。 一意のタスク名を指定する必要はありません。
   ソースデータベース	既存のDMSデータベースインスタンスの選択	使用するデータベースインスタンス。 ビジネス要件に基づいて、既存のインスタンスを使用するかどうかを選択できます。 既存のインスタンスを選択すると、DTSはデータベースのパラメーターを自動的に入力します。 既存のインスタンスを選択しない場合は、次のデータベース情報を設定する必要があります。
   	データベースタイプ	移行元ディスクのタイプを設定します。 [PolarDB-X 2.0] を選択します。
   	アクセス方法	ソースデータベースのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。
   	インスタンスリージョン	ソースPolarDB-Xインスタンスが存在するリージョン。
   	インスタンスID	ソースPolarDB-XインスタンスのID。
   	データベースアカウント	ソースPolarDB-Xインスタンスのデータベースアカウント。 アカウントに必要な権限の詳細については、このトピックの「データベースアカウントに必要な権限」をご参照ください。
   	データベースパスワード	データベースインスタンスへのアクセスに使用されるパスワード。
   宛先データベース	既存のDMSデータベースインスタンスの選択	使用するデータベースインスタンス。 ビジネス要件に基づいて、既存のインスタンスを使用するかどうかを選択できます。 既存のインスタンスを選択すると、DTSはデータベースのパラメーターを自動的に入力します。 既存のインスタンスを選択しない場合は、次のデータベース情報を設定する必要があります。
   	データベースタイプ	ターゲットデータベースのタイプ。 [Elasticsearch] を選択します。
   	アクセス方法	ターゲットデータベースのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。
   	インスタンスリージョン	ターゲットElasticsearchクラスターが存在するリージョン。
   	インスタンスID	移行先のElasticsearchクラスターのID。
   	データベースアカウント	移行先Elasticsearchクラスターのデータベースアカウント。 アカウントに必要な権限の詳細については、このトピックの「データベースアカウントに必要な権限」をご参照ください。
   	データベースパスワード	データベースインスタンスへのアクセスに使用されるパスワード。

4. ページの下部で、[接続のテストと続行] をクリックします。

   、ソースまたはターゲットデータベースがAlibaba Cloudデータベースインスタンス (ApsaraDB RDS for MySQL、ApsaraDB for MongoDBインスタンスなど) の場合、DTSは自動的にDTSサーバーのCIDRブロックをインスタンスのIPアドレスホワイトリストに追加します。 ソースデータベースまたはターゲットデータベースがElastic Compute Service (ECS) インスタンスでホストされている自己管理データベースの場合、DTSサーバーのCIDRブロックがECSインスタンスのセキュリティグループルールに自動的に追加されます。ECSインスタンスがデータベースにアクセスできることを確認する必要があります。 自己管理データベースが複数のECSインスタンスでホストされている場合、DTSサーバーのCIDRブロックを各ECSインスタンスのセキュリティグループルールに手動で追加する必要があります。 ソースデータベースまたはターゲットデータベースが、データセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供される自己管理データベースである場合、DTSサーバーのCIDRブロックをデータベースのIPアドレスホワイトリストに手動で追加して、DTSがデータベースにアクセスできるようにする必要があります。 詳細については、「DTSサーバーのCIDRブロックの追加」トピックの「DTSサーバーのCIDRブロック」セクションをご参照ください。

   警告

   DTSサーバーのパブリックCIDRブロックがデータベースインスタンスのホワイトリストまたはECSインスタンスのセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。 したがって、DTSを使用してデータを移行する前に、潜在的なリスクを理解して認識し、ユーザー名とパスワードのセキュリティの強化、公開されるポートの制限、API呼び出しの認証、ホワイトリストまたはセキュリティグループルールの定期的なチェック、CIDRブロックの禁止、またはExpress Connectを使用したデータベースインスタンスのDTSへの接続、VPNゲートウェイ、またはSmart Access Gateway。

5. 移行するオブジェクトと詳細設定を設定します。

   パラメーター	説明
   移行タイプ	フルデータ移行のみを実行するには、[スキーマ移行] と [フルデータ移行] を選択します。 データ移行中のサービスの継続性を確保するには、[スキーマ移行] 、[フルデータ移行] 、および [増分データ移行] を選択します。 説明 増分データ移行を選択しない場合、データ移行中にソースデータベースにデータを書き込まないことを推奨します。 これにより、ソースデータベースとターゲットデータベース間のデータの整合性が確保されます。
   競合テーブルの処理モード	エラーの事前チェックと報告: ターゲットデータベースに、ソースデータベースのテーブルと同じ名前を使用するテーブルが含まれているかどうかを確認します。 ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合は、事前チェックに合格します。 それ以外の場合、事前チェック中にエラーが返され、データ移行タスクを開始できません。 説明 ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれていて、ターゲットデータベース内のテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに移行されるテーブルの名前を変更できます。 詳細については、「マップオブジェクト名」をご参照ください。 エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。 警告 エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが次の潜在的なリスクにさらされる可能性があります。 ソースデータベースとターゲットデータベースが同じスキーマを持ち、データレコードがターゲットデータベースの既存のデータレコードと同じプライマリキーを持つ場合、次のシナリオが発生する可能性があります。 完全データ移行中、DTSはデータレコードを移行先データベースに移行しません。 ターゲットデータベースの既存のデータレコードが保持されます。 増分データ移行中に、DTSはデータレコードを移行先データベースに移行します。 ターゲットデータベースの既存のデータレコードが上書きされます。 ソースデータベースとターゲットデータベースのスキーマが異なる場合、特定の列のみが移行されるか、データ移行タスクが失敗します。 作業は慎重に行ってください。
   インデックス名	テーブル名 [テーブル名] を選択した場合、ターゲットElasticsearchクラスターに作成されたインデックス名はテーブル名と同じになります。 この例では、orderが使用されます。 データベースName_Table名 [データベース名_テーブル名] を選択した場合、ターゲットElasticsearchクラスターに作成されたインデックス名は、[データベース名_テーブル名] の形式になります。 この例では、dtstest_orderが使用されます。
   ソースオブジェクト	ソースオブジェクト セクションから1つ以上のオブジェクトを選択します。 アイコンをクリックし、[選択済みオブジェクト] セクションにオブジェクトを追加します。 説明 移行するオブジェクトとして、列、テーブル、またはスキーマを選択できます。 移行するオブジェクトとしてテーブルまたは列を選択した場合、DTSは、ビュー、トリガー、ストアドプロシージャなどの他のオブジェクトを移行先データベースに移行しません。
   [選択済みオブジェクト]	移行先インスタンスに移行するオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 詳細については、「単一オブジェクトの名前のマッピング」をご参照ください。 一度に複数のオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションの右上隅にある [一括編集] をクリックします。 詳細については、「一度に複数のオブジェクト名をマップする」をご参照ください。 説明 オブジェクト名マッピング機能を使用してオブジェクトの名前を変更すると、そのオブジェクトに依存する他のオブジェクトの移行に失敗する可能性があります。 データをフィルタリングするWHERE条件を指定するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 表示されるダイアログボックスで、条件を指定します。 詳細については、「フィルター条件の指定」をご参照ください。 特定のデータベースまたはテーブルで実行されたSQL操作を選択するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 表示されるダイアログボックスで、移行するSQL操作を選択します。 移行できるSQL操作の詳細については、「増分データ移行中に移行できるSQL操作」をご参照ください。

6. 次へ：詳細設定をクリックして詳細設定を設定します。

   パラメーター	説明
   Set Alerts	データ移行タスクのアラートを設定するかどうかを指定します。 タスクが失敗するか、移行の待ち時間が指定されたしきい値を超えると、アラート送信先は通知を受け取ります。 有効な値： No: アラートを設定しません。 Yes: アラートを設定します。 この場合、アラートしきい値と アラート通知設定 詳細については、「モニタリングとアラートの設定」トピックの「DTSタスクを作成するときのモニタリングとアラートの設定」をご参照ください。
   失敗した接続の再試行時間	失敗した接続のリトライ時間範囲。 データ移行タスクの開始後にソースデータベースまたはターゲットデータベースの接続に失敗した場合、DTSはその時間範囲内ですぐに接続を再試行します。 有効な値: 10 ~ 1440 単位は分です。 デフォルト値: 720 パラメーターを30より大きい値に設定することを推奨します。 DTSが指定された時間範囲内にソースデータベースとターゲットデータベースに再接続すると、DTSはデータ移行タスクを再開します。 それ以外の場合、データ移行タスクは失敗します。 説明 ソースまたはターゲットデータベースが同じである複数のデータ移行タスクに対して異なるリトライ時間範囲を設定した場合、設定された最短のリトライ時間範囲が優先されます。 DTSが接続を再試行すると、DTSインスタンスに対して課金されます。 業務要件に基づいて再試行時間範囲を指定することを推奨します。 ソースインスタンスとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。
   シャード設定	ターゲットElasticsearchクラスターのインデックスのシャード構成に基づくプライマリシャードとレプリカシャードの数。
   文字列インデックス	ターゲットElasticsearchクラスターのインデックスに文字列をコンパイルするために使用されるメソッドです。 analyzed: インデックス作成前に文字列が分析されます。 特定のアナライザーを選択する必要があります。 アナライザーの種類の詳細については、「組み込みアナライザーリファレンス」をご参照ください。 not analyze: 文字列は元の値でインデックスされます。 no: 文字列はインデックス付けされません。
   タイムゾーン	DATETIMEやTIMESTAMPなどの日付と時刻のデータ型のタイムゾーン。 移行先Elasticsearchクラスターへのデータ移行中に、タイムゾーンを選択できます。 説明 移行先クラスターの日付と時刻のデータ型にタイムゾーンが必要ない場合は、日付と時刻のデータ型にドキュメントタイプを指定する必要があります。
   DOCID	パラメーターのデフォルト値は、Elasticsearchクラスターのテーブルのプライマリキーです。 テーブルにプライマリキーがない場合、パラメーターの値は、Elasticsearchによって自動的に生成されるID列になります。
   ETLの設定	抽出、変換、および読み込み (ETL) 機能を有効にするかどうかを指定します。 詳細については、「ETLとは何ですか?」をご参照ください。 有効な値： Yes: ETL機能を設定します。 コードエディターでデータ処理ステートメントを入力できます。 詳細については、「データ移行またはデータ同期タスクでのETLの設定」をご参照ください。 No: ETL機能を設定しません。
   順方向および逆方向タスクのハートビートテーブル sql を削除	DTSインスタンスの実行中に、ハートビートテーブルのSQL操作をソースデータベースに書き込むかどうかを指定します。 有効な値： Yes: ハートビートテーブルにSQL操作を書き込みません。 この場合、DTSインスタンスのレイテンシが表示され得る。 No: ハートビートテーブルにSQL操作を書き込みます。 この場合、ソースデータベースの物理バックアップやクローニングなどの機能が影響を受ける可能性があります。

7. ページの下部で、[次へ]: [データベースフィールドとテーブルフィールドの設定] をクリックします。 表示されるページで、移行先Elasticsearchクラスターに移行するテーブルの_ルーティングポリシーと_id値を設定します。

   カテゴリ	説明
   Set _routing	ターゲットElasticsearchクラスターの特定のシャードにドキュメントを保存するかどうかを指定します。 詳細については、「 _routing」をご参照ください。 有効な値： Yes: ルーティングのカスタム列を指定できます。 No :_id値はルーティングに使用されます。 説明 ターゲットElasticsearchクラスターのバージョンが7. xの場合、[いいえ] を選択する必要があります。
   _idの値	主キー列 複数の列が1つの複合主キーにマージされます。 ビジネスキー ビジネスキーを選択した場合は、ビジネスキー列も指定する必要があります。

8. ページの下部で、次：タスク設定の保存と事前チェック をクリックします。

   ポインタを 次：タスク設定の保存と事前チェック に移動し、[OpenAPIパラメーターのプレビュー] をクリックして、関連するAPI操作を呼び出してDTSタスクを設定するときに指定するパラメーターを表示できます。

   説明

   • データ移行タスクを開始する前に、DTSは事前チェックを実行します。 データ移行タスクは、タスクが事前チェックに合格した後にのみ開始できます。

   • タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。 チェック結果に基づいて原因を分析した後、問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。

   • 事前チェック中にアイテムに対してアラートがトリガーされた場合:

     • アラートアイテムを無視できない場合は、失敗したアイテムの横にある [詳細の表示] をクリックして問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。

     • アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。 表示されたメッセージボックスで、[OK] をクリックします。 次に、[再度事前チェック] をクリックして、事前チェックを再度実行します。 アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。

9. 成功率が100% になるまで待ちます。 次に、[次へ: インスタンスの購入] をクリックします。

10. [インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを設定します。 下表にパラメーターを示します。

    セクション	パラメーター	説明
    新しいインスタンスクラス	リソースグループ	データ移行インスタンスが属するリソースグループ。 デフォルト値: Default resource group 詳細については、「リソース管理とは 」をご参照ください。
    	インスタンスクラス	DTSは、移行速度が異なるインスタンスクラスを提供します。 ビジネスシナリオに基づいてインスタンスクラスを選択できます。 詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。

11. 読んで同意するデータ伝送サービス (従量課金) サービス規約チェックボックスを選択します。

12. [購入して開始] をクリックします。 表示されるメッセージで、 [OK] をクリックします。

    [データ移行] ページでタスクの進行状況を確認できます。

インデックスとデータを確認する

データ移行タスクの状態が [実行中] に変わった後、データ視覚化ツールKibanaを使用してElasticsearchクラスターに接続できます。 これにより、インデックスが作成され、データが期待どおりに移行されているかどうかを確認できます。 Kibanaコンソールへのログイン方法の詳細については、「Kibanaコンソールへのログイン」をご参照ください。