このトピックでは、Data Transmission Service (DTS) を使用して ApsaraDB RDS for MySQL を Alibaba Cloud Elasticsearch に移行する方法について説明します。
前提条件
-
ターゲットの Elasticsearch インスタンスを作成済みである必要があります。詳細については、「Alibaba Cloud Elasticsearch インスタンスの作成」をご参照ください。
-
完全なデータ移行を実行する場合、宛先インスタンスのストレージ領域は、ソースデータベースのストレージ領域より大きい必要があります。
考慮事項
スキーマ移行中、DTS はソースデータベースから宛先データベースへ外部キーを移行します。
完全なデータ移行および増分データ移行中、DTS はセッションレベルで一時的に制約チェックおよび外部キーのカスケード操作を無効化します。タスク実行中にソースデータベースでカスケード更新または削除操作が発生した場合、データ不整合が発生する可能性があります。
|
種別 |
説明 |
|
ソースデータベースの制限事項 |
|
|
その他の制限事項 |
|
|
特殊ケース |
|
課金
|
移行タイプ |
インスタンス構成料金 |
インターネットトラフィック料金 |
|
スキーマ移行および完全なデータ移行 |
無料です。 |
宛先データベースの アクセス方法 パラメーターが パブリック IP アドレス に設定されている場合、インターネットトラフィック料金が発生します。詳細については、「課金の概要」をご参照ください。 |
|
増分データ移行 |
課金対象です。詳細については、「課金の概要」をご参照ください。 |
移行タイプの説明
-
スキーマ移行
DTS は、移行対象のスキーマ定義をソースデータベースから宛先データベースに移行します。
-
完全移行
DTS は、指定された移行対象のすべての既存データをソースデータベースから宛先データベースに移行します。
-
増分移行
完全移行が完了した後、DTS はソースデータベースから宛先データベースへ増分データの更新を移行します。増分移行により、自己管理アプリケーションを中断することなく、スムーズなデータ移行が可能です。
増分移行でサポートされる SQL 操作
|
操作タイプ |
SQL 操作文 |
|
DML |
INSERT、UPDATE、DELETE 説明
DTS は、UPDATE 文を使用してフィールドを削除する操作の移行をサポートしていません。 |
データベースアカウントの権限
|
データベース |
スキーマ移行 |
完全移行 |
増分移行 |
アカウントの作成および権限付与 |
|
RDS MySQL インスタンス |
SELECT 権限 |
SELECT 権限 |
REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW、および SELECT 権限 |
|
|
Elasticsearch インスタンス |
データベースアカウントには読み取りおよび書き込み権限が必要です(通常は elastic)。 |
|||
データ型のマッピング
ソースデータベースと Elasticsearch インスタンスではサポートされるデータ型が異なるため、データ型を直接マッピングできない場合があります。初期スキーマ同期中、DTS は宛先 Elasticsearch インスタンスがサポートするデータ型に基づいてデータ型をマッピングします。詳細については、「初期スキーマ同期におけるデータ型のマッピング」をご参照ください。
説明DTS は、スキーマ移行中に
mappingパラメーターをdynamic内に設定しません。このパラメーターの動作は、Elasticsearch インスタンスの設定に依存します。ソースデータが JSON 形式である場合、テーブル内のすべての行において、同じキーの値が同一のデータ型であることを確認してください。そうしないと、DTS が同期エラーを報告する可能性があります。詳細については、「dynamic」をご参照ください。以下の表は、Elasticsearch とリレーショナルデータベース間のマッピングを示しています。
Elasticsearch
リレーショナルデータベース
インデックス
データベース
タイプ
テーブル
ドキュメント
行
フィールド
列
マッピング
データベーススキーマ
操作手順
-
以下のいずれかの方法で、宛先リージョンの移行タスク一覧ページに移動します。
DTS コンソールから
-
Data Transmission Service (DTS) コンソール にログインします。
-
左側のナビゲーションウィンドウで、データの移行 をクリックします。
-
ページの左上隅で、移行インスタンスが配置されているリージョンを選択します。
DMS コンソールから
説明実際の操作は、DMS コンソールのモードおよびレイアウトによって異なる場合があります。詳細については、「シンプルモードコンソール」および「DMS コンソールのレイアウトおよびスタイルのカスタマイズ」をご参照ください。
-
Data Management (DMS) コンソール にログインします。
-
トップメニューで、 の順に選択します。
-
データ移行タスク の右側で、移行インスタンスが配置されているリージョンを選択します。
-
-
タスクの作成 をクリックして、タスク設定ページに移動します。
-
ソースおよび宛先データベースを設定します。
カテゴリ
設定
説明
なし
タスク名
DTS がタスク名を自動生成します。識別しやすいように、説明的な名前を指定することを推奨します。名前は一意である必要はありません。
ソースデータベース
既存の接続情報の選択
-
システムに追加済み(作成または保存済み)のデータベースインスタンスを使用する場合、ドロップダウンリストから目的のデータベースインスタンスを選択してください。下記のデータベース情報は自動的に設定されます。
説明DMS コンソールでは、このパラメーターは DMS データベースインスタンスの選択 と呼ばれます。
-
データベースインスタンスをシステムに登録していない場合、または登録済みのインスタンスを使用する必要がない場合は、下記のデータベース情報を手動で設定してください。
データベースタイプ
MySQL を選択します。
アクセス方法
クラウドインスタンス を選択します。
インスタンスリージョン
ソースの RDS MySQL インスタンスのリージョンを選択します。
Alibaba Cloud アカウント間ですか
本例では、同一 Alibaba Cloud アカウント内での移行です。アカウント間移行ではない に設定します。
RDS インスタンス ID
ソースの RDS MySQL インスタンス ID を選択します。
データベースアカウント
ソースの RDS MySQL インスタンスのデータベースアカウントを入力します。権限要件については、「データベースアカウントに必要な権限」をご参照ください。
データベースパスワード
データベースアカウントに対応するパスワードを入力します。
暗号化
必要に応じて、非暗号化 または SSL 暗号化 を選択します。 SSL 暗号化 を選択した場合は、事前に RDS for MySQL インスタンスの SSL 暗号化を有効にする必要があります。 詳細については、「クラウド証明書を使用して SSL 暗号化をすばやく有効にする」をご参照ください。
宛先データベース
既存の接続情報の選択
-
システムに追加済み(作成または保存済み)のデータベースインスタンスを使用する場合、ドロップダウンリストから目的のデータベースインスタンスを選択してください。下記のデータベース情報は自動的に設定されます。
説明DMS コンソールでは、このパラメーターは DMS データベースインスタンスの選択 と呼ばれます。
-
データベースインスタンスをシステムに登録していない場合、または登録済みのインスタンスを使用する必要がない場合は、下記のデータベース情報を手動で設定してください。
データベースタイプ
Elasticsearch を選択します。
アクセス方法
クラウドインスタンス を選択します。
インスタンスリージョン
ターゲットの Elasticsearch インスタンスが配置されているリージョンを選択します。
タイプ
クラスターエディション または サーバーレス をご要件に応じて選択してください。
インスタンス ID
ターゲットの Elasticsearch インスタンス ID を選択します。
データベースアカウント
Elasticsearch インスタンスに接続するために使用するアカウントを入力します。つまり、[ログイン名] を入力します。これは、Elasticsearch インスタンスを作成した際に入力したものです。デフォルト アカウントは elastic です。
データベースパスワード
データベースアカウントに対応するパスワードを入力します。
暗号化
必要に応じて、HTTP または HTTPS を選択します。
-
-
設定が完了したら、ページ下部の 接続をテストして続行 をクリックします。
説明-
DTS サービスの IP アドレス範囲を、ソースおよび宛先データベースのセキュリティ設定に自動または手動で追加し、DTS サーバーからのアクセスを許可してください。詳細については、「DTS サーバーの IP アドレスをホワイトリストに追加」をご参照ください。
-
ソースまたは宛先データベースが自己管理データベース(アクセス方法 が Alibaba Cloud インスタンス でない)である場合、表示される DTS サーバーの CIDR ブロック ダイアログボックスで、接続テスト をクリックする必要があります。
-
-
タスクオブジェクトを設定します。
-
オブジェクト設定 ページで、移行対象のオブジェクトを設定します。
設定
説明
移行タイプ
-
完全移行のみを実行する場合、スキーマ移行 および 完全データ移行 の両方を選択します。
-
ダウンタイムなしで移行を実行する場合、スキーマ移行、完全データ移行、および 増分データ移行 を選択します。
説明-
スキーマ移行 を選択しない場合、宛先データベースにデータを受信するデータベースおよびテーブルが存在することを保証する必要があります。また、必要に応じて、選択中のオブジェクト ボックス内のオブジェクト名マッピング機能も使用できます。
-
増分データ移行 を選択しない場合、データ移行中にソースインスタンスへの新規データの書き込みを禁止し、データ整合性を確保してください。
競合テーブルの処理モード
-
エラーの事前チェックと報告:宛先データベースに同名のテーブルが存在するかどうかをチェックします。同名のテーブルが存在しない場合、事前チェックは成功します。同名のテーブルが存在する場合、事前チェックでエラーが報告され、データ移行タスクは開始されません。
説明宛先データベースのテーブルが同名であり、簡単に削除または名前変更できない場合、宛先データベースのテーブル名を変更できます。詳細については、「オブジェクト名マッピング」をご参照ください。
-
エラーを無視して続行:同名のテーブルのチェックをスキップします。
警告エラーを無視して続行 を選択すると、データ不整合および業務リスクが発生する可能性があります。例:
-
テーブルスキーマが一致しており、宛先データベースのレコードとソースデータベースのレコードでプライマリキー値が同一の場合:
-
完全移行中、DTS は宛先データベースのレコードを保持し、ソースデータベースのレコードは移行されません。
-
増分移行中、DTS は宛先データベースのレコードを保持せず、ソースデータベースのレコードが宛先データベースのレコードを上書きします。
-
-
テーブルスキーマが一致していない場合、一部の列のデータのみが移行されるか、移行が失敗する可能性があります。慎重に操作してください。
-
インデックス名
-
テーブル名 を選択した場合、ターゲットの Elasticsearch インスタンスで作成されるインデックス名は、テーブル名と一致します。
-
データベース名_テーブル名 を選択した場合、ターゲットの Elasticsearch インスタンスで作成されるインデックス名は、データベース名、アンダースコア (_)、テーブル名の順に連結されます。
説明インデックス名のマッピング設定は、すべてのテーブルに適用されます。
宛先インスタンスでのオブジェクト名の大文字化
宛先インスタンスにおける移行対象オブジェクト(データベース、テーブル、列など)の名前の大文字小文字区別ポリシーを設定できます。デフォルトでは、DTS のデフォルトポリシー が選択されています。また、ソースまたは宛先データベースのデフォルトポリシーと大文字小文字区別を一致させることもできます。詳細については、「宛先データベースにおけるオブジェクト名の大文字小文字区別」をご参照ください。
ソースオブジェクト
ソースオブジェクト ボックスで、移行対象のオブジェクトをクリックし、
をクリックして 選択済みオブジェクト ボックスに移動します。[選択済みオブジェクト]
移行後のフィールド名を変更するには、選択済みオブジェクト エリアで対応するテーブル名を右クリックし、ターゲットの Elasticsearch インスタンスにおけるテーブルのインデックス名、タイプ名などの情報を設定した後、OK をクリックします。詳細については、「単一テーブル列マッピング」をご参照ください。
説明-
インデックス名およびタイプ名でサポートされる特殊文字は、アンダースコア (_) のみです。
-
SQL フィルター条件を設定して、移行対象のデータをフィルターできます。フィルター条件を満たすデータのみが宛先インスタンスに移行されます。詳細については、「SQL 条件によるタスクデータのフィルタリング」をご参照ください。
-
-
詳細設定へ をクリックして、高度なパラメーターを設定します。
設定
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、DTS は共有クラスター上でタスクをスケジュールします。選択する必要はありません。より安定したタスクを実行したい場合は、専用クラスター を購入して DTS 移行タスクを実行できます。
失敗した接続の再試行時間
移行タスクが開始された後、ソースまたは宛先データベースへの接続が失敗した場合、DTS はエラーを報告し、直ちに接続のリトライを開始します。デフォルトのリトライ時間は 720 分です。リトライ時間を 10~1440 分の範囲でカスタマイズできます。30 分以上に設定することを推奨します。指定された時間内に DTS がソースおよび宛先データベースに再接続できた場合、移行タスクは自動的に再開されます。それ以外の場合、タスクは失敗します。
説明-
同一のソースまたは宛先を共有する複数の DTS インスタンスの場合、ネットワークリトライ時間は、最後に作成されたタスクの設定によって決定されます。
-
接続リトライ期間中もタスクに対して課金されるため、業務要件に応じてリトライ時間をカスタマイズするか、ソースおよび宛先データベースインスタンスが解放された直後に DTS インスタンスを解放することを推奨します。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
移行タスクが開始された後、ソースまたは宛先データベースで DDL または DML 実行例外などの接続以外の問題が発生した場合、DTS はエラーを報告し、直ちに操作のリトライを開始します。デフォルトのリトライ時間は 10 分です。リトライ時間を 1~1440 分の範囲でカスタマイズできます。10 分以上に設定することを推奨します。指定されたリトライ時間内に関連操作が成功した場合、移行タスクは自動的に再開されます。それ以外の場合、タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 の値は、失敗した接続の再試行時間 の値より小さくする必要があります。
シャード構成
ターゲットの Elasticsearch インスタンスにおけるインデックスの最大シャード構成に基づき、インデックスのプライマリシャードおよびレプリカシャードの数を設定します。
文字列インデックス
ターゲットの Elasticsearch インスタンスにおける文字列のインデックス作成方法です。
-
analyzed:文字列をまず解析し、その後インデックス化します。特定のアナライザも選択する必要があります。アナライザの種類および機能については、「アナライザ」をご参照ください。
-
not analyzed:解析を行わず、元の値をそのままインデックス化します。
-
no:インデックス化しません。
タイムゾーン
DTS が DATETIME や TIMESTAMP などの時刻型データをターゲットの Elasticsearch インスタンスに移行する場合、タイムゾーンを選択できます。
説明宛先インスタンスにおける時刻型データにタイムゾーンを含める必要がない場合、事前に宛先インスタンスにおけるこの時刻型データのドキュメントタイプを設定する必要があります。
DOCID
DOCID は、デフォルトでテーブルのプライマリキーです。テーブルにプライマリキーがない場合、DOCID は Elasticsearch が自動生成する ID 列になります。
環境タグ
インスタンスを識別するために、必要に応じて環境タグを選択します。本例では選択する必要はありません。
ETL 機能の設定
抽出・変換・書き出し (ETL) 機能を有効化するかどうかを選択します。「ETL とは?」をご参照ください。有効な値は以下のとおりです。
-
○:ETL 機能を有効化します。コードエディタにデータ処理文を入力します。「データ移行またはデータ同期タスクにおける ETL の設定」をご参照ください。
-
×:ETL 機能を無効化します。
順方向および逆方向タスクのハートビートテーブル SQL を削除
DTS インスタンス実行中に、ハートビート SQL 情報をソースデータベースに書き込むかどうかを選択します。
○:ハートビート SQL 情報はソースデータベースに書き込まれません。これにより、DTS インスタンスが遅延を報告する可能性があります。
×:ハートビート SQL 情報をソースデータベースに書き込みます。これにより、ソースデータベースの物理バックアップおよびクローン作成などの機能に干渉する可能性があります。
監視アラート
業務要件に応じて、アラートの設定およびアラート通知の受信を行うかどうかを選択します。
-
×:アラートを設定しません。
-
○:アラートを設定するには、アラートしきい値 および アラート通知 を設定します。移行が失敗した場合や遅延がしきい値を超えた場合、システムからアラート通知が送信されます。
-
-
設定が完了したら、ページ下部の 次へ:テーブルフィールドの設定 をクリックして、宛先の Elasticsearch における移行対象テーブルの _routing ポリシーおよび _id 値を設定します。
種別
説明
_routing 設定の有無
_routing を設定すると、宛先 Elasticsearch インスタンスの特定のシャードにドキュメントをルーティングできます。「_routing」をご参照ください。
-
はい を選択した場合、ルーティングに使用する列をカスタマイズできます。
-
いいえ を選択した場合、_id がルーティングに使用されます。
説明作成する宛先 Elasticsearch インスタンスのバージョンが 7.x の場合、必ず いいえ を選択してください。
_routing 列
ルーティングに使用する列を選択します。
説明このパラメーターは、_routing の設定 を はい に設定した場合のみ設定する必要があります。
_id 値
ドキュメント ID として使用する列を選択します。
-
-
-
タスクを保存して事前チェックを実行します。
-
API 操作呼び出し時にこのインスタンスの設定パラメーターを表示するには、次:タスク設定の保存と事前チェック ボタンにポインターを合わせ、表示される吹き出しで OpenAPI パラメーターのプレビュー をクリックします。
-
API パラメーターの表示が必要ない場合、または表示を終了した場合は、ページ下部の 次:タスク設定の保存と事前チェック をクリックします。
説明-
移行タスクが開始される前に、DTS が事前チェックを実行します。チェックに合格した場合のみ、タスクが開始されます。
-
事前チェックが失敗した場合、失敗したチェック項目の横にある 詳細を表示 をクリックし、プロンプトに従って問題を修正した後、再度事前チェックを実行してください。
-
事前チェックで警告が報告された場合:
-
無視できないチェック項目については、失敗した項目の横にある 詳細を表示 をクリックし、プロンプトに従って問題を修正した後、再度事前チェックを実行してください。
-
無視可能なチェック項目については、アラートの詳細を確認、無視、OK、および 再度事前チェックを実行 をクリックしてアラート項目を無視し、再度事前チェックを実行できます。警告を無視した場合、データ不整合などの問題が発生し、業務にリスクを及ぼす可能性があります。
-
-
-
インスタンスを購入します。
成功率 が 100 % の場合、次:インスタンスの購入 をクリックします。
-
購入 ページで、データ移行インスタンスのリンク仕様を選択します。以下の表をご参照ください。
カテゴリ
パラメーター
説明
新しいインスタンスクラス
リソースグループの設定
インスタンスが属するリソースグループを選択します。デフォルト値は「デフォルトリソースグループ」です。詳細については、「Resource Management とは?」をご参照ください。
インスタンスクラス
DTS は、さまざまなパフォーマンスレベルの移行仕様を提供しています。リンク仕様は移行速度に影響します。業務シナリオに応じて仕様を選択できます。詳細については、「データ移行リンク仕様」をご参照ください。
-
Data Transmission Service (従量課金) 利用規約 を読み、同意してください。
-
購入して起動 をクリックします。表示される OK ダイアログボックスで、OK をクリックします。
移行タスクの進行状況は、データ移行タスク 一覧ページで確認できます。
説明-
移行タスクに増分移行が含まれていない場合、完全移行が完了するとタスクは自動的に停止します。タスクが停止した後、その ステータス は 完了 に変わります。
-
移行タスクに増分移行が含まれている場合、タスクは自動的に停止しません。増分移行タスクは継続して実行されます。増分移行タスクが実行中の場合、タスクの ステータス は 実行中 になります。
-