このトピックでは、Data Transmission Service (DTS) を使用して PolarDB-X 2.0 から MaxCompute にデータを移行する方法について説明します。
前提条件
MaxCompute を有効化し、MaxCompute プロジェクトを作成します。 詳細については、「MaxCompute の有効化」および「MaxCompute プロジェクトの作成」をご参照ください。
MaxCompute ホワイトリストを設定して、DTS が MaxCompute にアクセスできるようにします。 詳細については、「Alibaba Cloud サービスが MaxCompute にアクセスするためのホワイトリストの設定」をご参照ください。
Alibaba Cloud アカウントの AccessKey ペアを作成して保存していること。 詳細については、「AccessKey ペアの作成」をご参照ください。
注意事項
タイプ | 説明 |
ソースデータベースの制限 |
|
その他の制限 |
|
その他の注意事項 | DTS は、ソースデータベースの `dts_health_check`.`ha_health_check` テーブルを定期的に更新して、バイナリログのオフセットを進めます。 |
課金
移行タイプ | リンク構成料金 | パブリックネットワークトラフィック料金 |
スキーマ移行と完全なデータ移行 | 無料。 | この例は無料です。 説明 ターゲットデータベースの アクセス方法 が パブリック IP アドレス の場合、データ転送コストが発生します。 詳細については、「課金概要」をご参照ください。 |
増分データ移行 | これは有料サービスです。 詳細については、「課金概要」をご参照ください。 |
移行タイプ
スキーマ移行
DTS は、移行するテーブルのスキーマ定義をソースデータベースから MaxCompute に移行します。 初期化中、DTS はテーブル名に `_base` サフィックスを追加します。 たとえば、ソーステーブルが `customer` の場合、MaxCompute のテーブルは `customer_base` になります。
完全移行
DTS は、ソースデータベースのテーブルからすべての既存データを MaxCompute の `_base` テーブルに移行します。 たとえば、ソースデータベースの `customer` テーブルのデータは、MaxCompute の `customer_base` テーブルに移行されます。 このデータは、後続の増分データ移行のベースラインとして機能します。
説明このテーブルは、完全ベースラインテーブルとも呼ばれます。
増分移行
DTS は MaxCompute に増分ログテーブルを作成します。 テーブル名は `DestinationTableName_log` の形式で、`customer_log` などです。 次に、DTS はソースデータベースからこのテーブルに増分データをリアルタイムで移行します。
説明増分ログテーブルの構造の詳細については、「増分ログテーブルの構造」をご参照ください。
増分移行でサポートされる SQL 操作
操作タイプ | SQL 文 |
DML | INSERT, UPDATE, DELETE |
DDL | ADD COLUMN 説明 属性を含む ADD COLUMN 操作は移行できません。 |
データベースアカウントに必要な権限
データベース | スキーマ移行 | 完全移行 | 増分移行 |
PolarDB-X 2.0 インスタンス | SELECT 権限 | SELECT 権限 | 移行するオブジェクトに対する REPLICATION SLAVE、REPLICATION CLIENT、および SELECT 権限。 説明 権限の付与方法については、「データ同期中のアカウント権限の問題」をご参照ください。 |
MaxCompute | 読み取りおよび書き込み権限 | ||
データ型マッピング
詳細については、「初期スキーマ同期のデータ型マッピング」をご参照ください。
手順
次のいずれかの方法でデータ移行ページに移動し、データ移行インスタンスが存在するリージョンを選択します。
DTS コンソール
DTS コンソールにログインします。
左側のナビゲーションウィンドウで、データの移行 をクリックします。
ページの左上隅で、データ移行インスタンスが存在するリージョンを選択します。
DMS コンソール
説明実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。 詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。
DMS コンソールにログインします。
上部のナビゲーションバーで、ポインターを に移動します。
[データ移行タスク] の右側にあるドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。
タスクの作成 をクリックして、タスク設定ページに移動します。
ソースデータベースとターゲットデータベースを設定します。 次の表にパラメーターを示します。
警告ソースインスタンスと宛先インスタンスを選択した後、ページ上部の [制限] を注意深く読んで、移行タスクが正常に作成および実行できることを確認することをお勧めします。
カテゴリ
設定
説明
N/A
タスク名
DTS は自動的にタスク名を生成します。 識別しやすいように、わかりやすい名前を指定します。 名前は一意である必要はありません。
ソースデータベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。 DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。 詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスの選択] ドロップダウンリストからデータベースインスタンスを選択できます。
DTS へのインスタンスの登録に失敗した場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を設定する必要があります。
データベースタイプ
[PolarDB-X 2.0] を選択します。
アクセス方法
[クラウドインスタンス] を選択します。
インスタンスリージョン
ソース PolarDB-X 2.0 インスタンスが存在するリージョンを選択します。
クロスアカウント
この例では、同じ Alibaba Cloud アカウントに属するインスタンス間でデータを移行する方法を示します。 [いいえ] を選択します。
インスタンス ID
ソース PolarDB-X 2.0 インスタンスの ID を選択します。
データベースアカウント
ソース PolarDB-X 2.0 インスタンスのデータベースアカウントを入力します。 必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースパスワード
データベースアカウントのパスワードを入力します。
宛先データベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。 DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。 詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスの選択] ドロップダウンリストからデータベースインスタンスを選択できます。
DTS へのインスタンスの登録に失敗した場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を設定する必要があります。
データベースタイプ
[MaxCompute] を選択します。
アクセス方法
[クラウドインスタンス] を選択します。
インスタンスリージョン
宛先 MaxCompute プロジェクトが存在するリージョンを選択します。
プロジェクト
宛先 MaxCompute プロジェクトの名前を入力します。
Alibaba Cloud アカウントの AccessKey ID
「前提条件」セクションで準備した AccessKey ペアを入力します。
Alibaba Cloud アカウントの AccessKey Secret
ページの下部で、[接続性のテストと続行] をクリックします。
説明DTS サーバーの CIDR ブロックが、ソースデータベースとターゲットデータベースのセキュリティ設定に自動または手動で追加され、DTS サーバーからのアクセスが許可されることを確認してください。 詳細については、「DTS サーバーの IP アドレスをホワイトリストに追加する」をご参照ください。
[OK] をクリックして、MaxCompute アカウントに権限を付与します。
移行するオブジェクトを設定します。
オブジェクト設定 ページで、移行するオブジェクトを設定します。
設定
説明
移行タイプ
完全なデータ移行のみを実行するには、[スキーマ移行] と [完全なデータ移行] を選択します。
データ移行中のサービス継続性を確保するには、[スキーマ移行]、[完全なデータ移行]、および [増分データ移行] を選択します。
説明[スキーマ移行] を選択しない場合は、データを受信するためにターゲットデータベースにデータベースとテーブルが作成され、[選択したオブジェクト] でオブジェクト名マッピング機能が有効になっていることを確認してください。
[増分データ移行] を選択しない場合は、データ移行中にソースデータベースにデータを書き込まないことをお勧めします。 これにより、ソースデータベースとターゲットデータベース間のデータ整合性が確保されます。
競合テーブルの処理モード
エラーの事前チェックと報告: ターゲットデータベースにソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかをチェックします。 ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合、事前チェックは合格します。 そうしないと、事前チェック中にエラーが返され、データ移行タスクを開始できません。
説明ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれており、ターゲットデータベースのテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに移行されるテーブルの名前を変更できます。 詳細については、「オブジェクト名のマッピング」をご参照ください。
エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが次の潜在的なリスクにさらされる可能性があります。
ソースデータベースとターゲットデータベースのスキーマが同じで、データレコードのプライマリキーがターゲットデータベースの既存のデータレコードと同じ場合、次のシナリオが発生する可能性があります。
完全なデータ移行中、DTS はデータレコードをターゲットデータベースに移行しません。 ターゲットデータベースの既存のデータレコードは保持されます。
増分データ移行中、DTS はデータレコードをターゲットデータベースに移行します。 ターゲットデータベースの既存のデータレコードは上書きされます。
ソースデータベースとターゲットデータベースのスキーマが異なる場合、特定の列のみが移行されるか、データ移行タスクが失敗します。 注意して進めてください。
[追加列ルール]
DTS が MaxCompute にデータを移行すると、宛先テーブルにいくつかの追加列が追加されます。 追加列の名前が宛先テーブルの既存の列と競合する場合、データ移行は失敗します。 必要に応じて [新しいルール] または [古いルール] を選択します。
警告追加列ルールを選択する前に、追加列の名前が宛先テーブルの既存の列と競合するかどうかを評価してください。
増分データテーブルのパーティション定義
必要に応じてパーティション名を選択します。 パーティションの詳細については、「パーティション」をご参照ください。
移行先インスタンスでのオブジェクト名の大文字化
宛先インスタンスのデータベース名、テーブル名、列名の大文字/小文字。 デフォルトでは、[DTS のデフォルトポリシー] が選択されています。 他のオプションを選択して、オブジェクト名の大文字/小文字がソースまたはターゲットデータベースのものと一致するようにすることができます。 詳細については、「宛先インスタンスのオブジェクト名の大文字/小文字を指定する」をご参照ください。
ソースオブジェクト
ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択します。
アイコンをクリックして、オブジェクトを [選択したオブジェクト] セクションに追加します。説明テーブルレベルで移行するオブジェクトを選択できます。
選択中のオブジェクト
宛先インスタンスに移行するオブジェクトの名前を変更するには、[選択したオブジェクト] セクションでオブジェクトを右クリックします。 詳細については、「単一オブジェクトの名前をマッピングする」をご参照ください。
一度に複数のオブジェクトの名前を変更するには、[選択したオブジェクト] セクションの右上隅にある [一括編集] をクリックします。 詳細については、「一度に複数のオブジェクト名をマッピングする」をご参照ください。
説明オブジェクト名マッピング機能を使用すると、マッピングされたオブジェクトに依存する他のオブジェクトの移行が失敗する可能性があります。
WHERE 句を使用してデータをフィルター処理するには、[選択したオブジェクト] ボックスでソーステーブルを右クリックし、表示されるダイアログボックスでフィルター条件を設定します。
データベースまたはテーブルレベルで移行する SQL 操作を選択するには、[選択したオブジェクト] ボックスで移行オブジェクトを右クリックし、表示されるダイアログボックスで目的の SQL 操作を選択します。
詳細設定へ をクリックして詳細設定を行います。
設定
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、専用クラスターを指定しない場合、DTS はデータ移行タスクを共有クラスターにスケジュールします。 データ移行タスクの安定性を向上させたい場合は、専用クラスターを購入してください。 詳細については、「DTS 専用クラスターとは」をご参照ください。
失敗した接続の再試行時間
失敗した接続のリトライ時間範囲。 データ移行タスクの開始後にソースまたはターゲットデータベースへの接続に失敗した場合、DTS はリトライ時間範囲内で直ちに接続をリトライします。 有効値: 10～1,440。 単位: 分。 デフォルト値: 720。 パラメーターを 30 より大きい値に設定することをお勧めします。 指定されたリトライ時間範囲内に DTS がソースおよびターゲットデータベースに再接続されると、DTS はデータ移行タスクを再開します。 そうしないと、データ移行タスクは失敗します。
説明同じソースまたはターゲットデータベースを共有する複数のデータ移行タスクに異なるリトライ時間範囲を指定した場合、後で指定した値が優先されます。
DTS が接続をリトライすると、DTS インスタンスに対して課金されます。 ビジネス要件に基づいてリトライ時間範囲を指定することをお勧めします。 ソースデータベースと宛先インスタンスがリリースされた後、できるだけ早く DTS インスタンスをリリースすることもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
その他の問題のリトライ時間範囲。 たとえば、データ移行タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS はリトライ時間範囲内で直ちに操作をリトライします。 有効値: 1～1440。 単位: 分。 デフォルト値: 10。 パラメーターを 10 より大きい値に設定することをお勧めします。 指定されたリトライ時間範囲内に失敗した操作が正常に実行されると、DTS はデータ移行タスクを再開します。 そうしないと、データ移行タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値より小さくする必要があります。
完全移行率を制限するかどうか
完全なデータ移行のスロットリングを有効にするかどうかを指定します。 完全なデータ移行中、DTS はソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。 これにより、データベースサーバーの負荷が増加する可能性があります。 ビジネス要件に基づいて、完全なデータ移行のスロットリングを有効にすることができます。 スロットリングを設定するには、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを設定する必要があります。 これにより、ターゲットデータベースサーバーの負荷が軽減されます。
説明このパラメーターは、移行タイプ パラメーターで 完全データ移行 を選択した場合にのみ設定できます。
増分移行率を制限するかどうか
増分データ移行のスロットリングを有効にするかどうかを指定します。 スロットリングを設定するには、1 秒あたりの増分移行の行数 RPS および 1 秒あたりの増分移行データ量 (MB) BPS パラメーターを設定する必要があります。 これにより、ターゲットデータベースサーバーの負荷が軽減されます。
説明このパラメーターは、移行タイプ パラメーターで 増分データ移行 を選択した場合にのみ設定できます。
順方向および逆方向タスクのハートビートテーブル SQL を削除
DTS インスタンスの実行中にハートビートテーブルに対する SQL 操作をソースデータベースに書き込むかどうかを指定します。 有効な値:
[はい]: ハートビートテーブルに対する SQL 操作を書き込みません。 この場合、DTS インスタンスの遅延が表示されることがあります。
[いいえ]: ハートビートテーブルに対する SQL 操作を書き込みます。 この場合、ソースデータベースの物理バックアップやクローン作成などの機能が影響を受ける可能性があります。
環境タグ
環境タグを選択してインスタンスを識別できます。 この例では、タグを選択する必要はありません。
ETL の設定
抽出・変換・書き出し (ETL) 機能を有効にするかどうかを指定します。 詳細については、「ETL とは」をご参照ください。 有効な値:
[はい]: ETL 機能を設定します。 コードエディタにデータ処理文を入力できます。 詳細については、「データ移行またはデータ同期タスクで ETL を設定する」をご参照ください。
[いいえ]: ETL 機能を設定しません。
監視アラート
データ移行タスクのアラートを設定するかどうかを指定します。 タスクが失敗した場合、または移行遅延が指定されたしきい値を超えた場合、アラート連絡先は通知を受け取ります。 有効な値:
[いいえ]: アラートを設定しません。
[はい]: アラートを設定します。 この場合、アラートのしきい値とアラート通知設定も設定する必要があります。 詳細については、「監視とアラートの設定」トピックの「DTS タスク作成時の監視とアラートの設定」セクションをご参照ください。
タスク設定を保存し、事前チェックを実行します。
関連する API 操作を呼び出して DTS タスクを設定する際に指定するパラメーターを表示するには、次：タスク設定の保存と事前チェック にポインターを合わせ、OpenAPI パラメーターのプレビュー をクリックします。
パラメーターを表示する必要がない場合、または表示した場合は、ページの下部にある 次：タスク設定の保存と事前チェック をクリックします。
説明データ移行タスクを開始する前に、DTS は事前チェックを実行します。 タスクが事前チェックに合格した後にのみ、データ移行タスクを開始できます。
タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。 チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。 その後、再度事前チェックを実行します。
事前チェック中に項目のアラートがトリガーされた場合:
アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックして問題をトラブルシューティングします。 その後、再度事前チェックを実行します。
アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。 表示されるメッセージで、[OK] をクリックします。 次に、[再度事前チェック] をクリックして、再度事前チェックを実行します。 アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
インスタンスを購入します。
[成功率] が [100%] になるまで待ちます。 次に、[次へ: インスタンスの購入] をクリックします。
[インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを設定します。 次の表にパラメーターを示します。
セクション
パラメーター
説明
新しいインスタンスクラス
リソースグループ
データ移行インスタンスが属するリソースグループ。 デフォルト値: [デフォルトリソースグループ]。 詳細については、「Resource Management とは」をご参照ください。
インスタンスクラス
DTS は、移行速度が異なるインスタンスクラスを提供します。 ビジネスシナリオに基づいてインスタンスクラスを選択できます。 詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。
チェックボックスをオンにして、[Data Transmission Service (従量課金) サービス規約] を読んで同意します。
[購入して開始] をクリックします。 表示されるメッセージで、[OK] をクリックします。
[データ移行] ページでタスクの進行状況を表示できます。
説明データ移行タスクが増分データの移行に使用できない場合、タスクは自動的に停止します。 [ステータス] セクションに [完了] が表示されます。
データ移行タスクが増分データの移行に使用できる場合、タスクは自動的に停止しません。 増分データ移行タスクは停止も完了もしません。 [ステータス] セクションに [実行中] が表示されます。
増分ログテーブルの構造
MaxCompute で set odps.sql.allow.fullscan=true; コマンドを実行して、全表スキャンを許可するプロジェクトプロパティを設定する必要があります。
DTS が MySQL データベースから MaxCompute の増分ログテーブルに増分データを移行する場合、次の表に示すように、増分データとパーティションに加えてメタデータを格納します。
フィールド | 説明 |
record_id | 増分ログのレコード ID。 これはログの一意の識別子です。 説明
|
operation_flag | 操作タイプ。 有効な値:
|
utc_timestamp | 操作のタイムスタンプ。バイナリログからのタイムスタンプ (UTC 時間) です。 |
before_flag | すべての列値が更新前の値であるかどうかを示します。 有効な値: Y または N。 |
after_flag | すべての列値が更新後の値であるかどうかを示します。 有効な値: Y または N。 |