Data Transmission Service (DTS) を使用すると、PolarDB for MySQL クラスターから Doris データベースにデータを移行して、大規模なデータ分析を行うことができます。このトピックでは、ECS インスタンスにデプロイされた Doris データベースをターゲットデータベースとして使用する手順について説明します。
前提条件
ターゲットとなる Doris データベースが作成されていること。このデータベースの利用可能なストレージ容量は、ソースの PolarDB for MySQL クラスターが使用するストレージ容量よりも大きい必要があります。
ソースデータベースとターゲットデータベースでサポートされているバージョンの詳細については、「移行ソリューションの概要」をご参照ください。
注意事項
カテゴリ | 説明 |
ソースデータベースの制限 |
|
その他の制限 |
|
課金
移行タイプ | リンク構成料金 | データ転送料金 |
スキーマ移行と完全データ移行 | 無料です。 | この例では無料です。 説明 ターゲットデータベースの アクセス方法 が パブリック IP アドレス に設定されている場合、データ転送料金が課金されます。詳細については、「課金の概要」をご参照ください。 |
増分データ移行 | 課金されます。詳細については、「課金の概要」をご参照ください。 |
増分移行でサポートされる SQL 操作
操作タイプ | SQL 文 |
DML | INSERT、UPDATE、および DELETE |
DDL |
|
データベースアカウントに必要な権限
データベース | スキーマ移行 | 完全移行 | 増分移行 |
ソース PolarDB for MySQL クラスター | SELECT 権限 | SELECT 権限 | 読み取り/書き込み権限 |
ターゲット Doris データベース | データベースに対するアクセス権限 (Usage_priv) および読み取り/書き込み権限 (Select_priv、Load_priv、Alter_priv、Create_priv、および Drop_priv) | ||
データベースアカウントの作成と権限付与:
PolarDB for MySQL クラスターについては、「データベースアカウントの作成と管理」をご参照ください。
Doris データベースについては、「認証と権限付与」をご参照ください。
操作手順
以下のいずれかの方法でデータ移行ページに移動し、データ移行インスタンスが存在するリージョンを選択します。
DTS コンソール
DTS コンソールにログインします。
左側のナビゲーションウィンドウで、データの移行 をクリックします。
ページの左上隅で、データ移行インスタンスが存在するリージョンを選択します。
DMS コンソール
説明実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルをカスタマイズ」をご参照ください。
DMS コンソールにログインします。
上部のナビゲーションバーで、ポインターを に移動します。
[データ移行タスク] の右側にあるドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。
タスクの作成 をクリックして、タスク構成ページに移動します。
ソースデータベースとターゲットデータベースを構成します。以下の表にパラメーターを示します。
カテゴリ
構成
説明
N/A
タスク名
DTS タスクの名前。DTS は自動的にタスク名を生成します。タスクを簡単に識別できるような、わかりやすい名前を指定することを推奨します。一意のタスク名を指定する必要はありません。
移行元データベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの以下のデータベースパラメーターを自動的に入力します。詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスを選択] ドロップダウンリストからデータベースインスタンスを選択できます。
DTS へのインスタンスの登録に失敗した場合、または DTS に登録されているインスタンスを使用する必要がない場合は、以下のデータベース情報を構成する必要があります。
データベースタイプ
PolarDB for MySQL を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
ソース PolarDB for MySQL クラスターが存在するリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
この例では、現在の Alibaba Cloud アカウントのデータベースインスタンスが使用されます。× を選択します。
PolarDB クラスター ID
ソース PolarDB for MySQL クラスターの ID を選択します。
データベースアカウント
ソース PolarDB for MySQL クラスターのデータベースアカウントを入力します。必要な権限の詳細については、「データベースアカウントに必要な権限」をご参照ください。
データベースのパスワード
データベースインスタンスへのアクセスに使用されるパスワード。
暗号化
必要に応じて接続メソッドを選択します。SSL 暗号化の詳細については、「SSL 暗号化の設定」をご参照ください。
移行先データベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの以下のデータベースパラメーターを自動的に入力します。詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスを選択] ドロップダウンリストからデータベースインスタンスを選択できます。
DTS へのインスタンスの登録に失敗した場合、または DTS に登録されているインスタンスを使用する必要がない場合は、以下のデータベース情報を構成する必要があります。
データベースタイプ
[Doris] を選択します。
アクセス方法
ターゲットデータベースのデプロイメント場所に基づいて接続タイプを選択します。この例では、ECS 上の自己管理データベース を選択します。
説明他の接続タイプを使用して自己管理データベースに接続する場合は、準備も行う必要があります。詳細については、「事前準備」をご参照ください。
インスタンスのリージョン
ターゲットの Doris データベースが存在するリージョンを選択します。
ECS インスタンス ID
ターゲットの Doris データベースがデプロイされている ECS インスタンスの ID を選択します。
説明ターゲットの Doris データベースが複数の ECS インスタンスにデプロイされている場合 (たとえば、BE または FE ノードが他の ECS インスタンスにデプロイされている場合)、ノードがデプロイされている各 ECS インスタンスのセキュリティルールに DTS サーバーの CIDR ブロックを手動で追加する必要があります。
ポート番号
ターゲットの Doris データベースのサービスポートを入力します。デフォルト値は 9030 です。
データベースアカウント
ターゲットの Doris データベースのデータベースアカウントを入力します。必要な権限の詳細については、「データベースアカウントに必要な権限」をご参照ください。
データベースのパスワード
データベースインスタンスへのアクセスに使用されるパスワード。
ページの下部で [接続テストと次へ] をクリックし、表示される [DTS サーバーの CIDR ブロック] ダイアログボックスで 接続テスト をクリックします。
説明DTS サーバーの CIDR ブロックが、ソースデータベースとターゲットデータベースのセキュリティ設定に自動または手動で追加され、DTS サーバーからのアクセスが許可されていることを確認してください。詳細については、「DTS サーバーの IP アドレスをホワイトリストに追加」をご参照ください。
移行するオブジェクトを構成します。
オブジェクト設定 ページで、移行するオブジェクトを構成します。
構成
説明
移行タイプ
完全データ移行のみを実行するには、スキーマ移行 と 完全データ移行 の両方を選択します。
データ移行中のサービス継続性を確保するには、スキーマ移行、完全データ移行、および 増分データ移行 を選択します。
重要PolarDB for MySQL クラスターから Doris データベースにデータを移行した後、データ型が変換されます。スキーマ移行 を選択しない場合は、データ移行の前に、ターゲットの Doris データベースに Unique Key モデルまたは Duplicate Key モデルを使用するテーブルを作成する必要があります。詳細については、このトピックの「データ型のマッピング」および「追加の列情報」セクション、および「Unique Key モデル」をご参照ください。
データ整合性を確保するため、増分データ移行 が選択されていない場合は、データ移行中にソースインスタンスにデータを書き込まないでください。
競合するテーブルの処理モード
エラーの事前チェックと報告:ターゲットデータベースに同じ名前のテーブルが存在するかどうかをチェックします。同じ名前のテーブルが存在しない場合、このチェック項目は合格します。同じ名前のテーブルが存在する場合、事前チェックフェーズでエラーが報告され、データ移行タスクは開始されません。
説明ターゲットデータベースで同じ名前のテーブルを削除または名前変更できない場合は、ターゲットデータベースでテーブルの名前を変更できます。詳細については、「テーブルと列の名前をマッピング」をご参照ください。
エラーを無視して続行:ターゲットデータベースに同じ名前のテーブルが存在するかどうかのチェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が生じ、ビジネスにリスクをもたらす可能性があります。例:
テーブルスキーマが一致し、DTS がターゲットデータベースでソースデータベースのレコードと同じプライマリキー値を持つレコードを検出した場合、DTS はターゲットクラスターのレコードを保持しません。ソースデータベースのレコードがターゲットデータベースのレコードを上書きします。
テーブルスキーマが一致しない場合、一部の列のデータのみが移行されるか、移行が失敗する可能性があります。注意して進めてください。
移行先インスタンスでのオブジェクト名の大文字化
ターゲットインスタンスのデータベース名、テーブル名、列名の大文字/小文字の区別。デフォルトでは、[DTS デフォルトポリシー] が選択されています。オブジェクト名の大文字/小文字の区別がソースまたはターゲットデータベースと一致するように、他のオプションを選択できます。詳細については、「ターゲットインスタンスでのオブジェクト名の大文字/小文字の区別を指定」をご参照ください。
ソースオブジェクト
ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択します。
アイコンをクリックして、オブジェクトを 選択中のオブジェクト セクションに追加します。説明移行するオブジェクトとして、データベースまたはテーブルを選択できます。
選択中のオブジェクト
ターゲットインスタンスで移行オブジェクトの名前を変更するには、選択中のオブジェクト で移行オブジェクトを右クリックします。詳細については、「スキーマ、テーブル、列名のマッピング」をご参照ください。
移行タイプ が スキーマ移行 に設定され、オブジェクトがテーブル粒度で選択され、バケット数 (
bucket_countパラメーター) を設定する必要がある場合は、選択中のオブジェクト リストで移行するテーブルを右クリックします。パラメーター設定 エリアで、パラメーター設定の有効化 を ○ に設定し、要件に基づいて パラメーター値 を設定してから、[OK] をクリックします。
説明データベースまたはテーブルレベルで増分移行の SQL 操作を選択するには、選択中のオブジェクト で移行するオブジェクトを右クリックし、表示されるダイアログボックスで目的の SQL 操作を選択します。
データをフィルタリングするための WHERE 条件を設定するには、選択中のオブジェクト セクションで移行するテーブルを右クリックし、表示されるダイアログボックスでフィルター条件を設定します。詳細については、「フィルター条件の設定」をご参照ください。
オブジェクト名マッピング機能を使用する場合、マッピングされたオブジェクトに依存する他のオブジェクトの移行が失敗する可能性があります。
詳細設定へ をクリックして、詳細設定を構成します。
構成
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、専用クラスターを指定しない場合、DTS は共有クラスターにデータ移行タスクをスケジュールします。データ移行タスクの安定性を向上させたい場合は、専用クラスターを購入してください。詳細については、「DTS 専用クラスターとは」をご参照ください。
失敗した接続の再試行時間
失敗した接続のリトライ時間範囲。データ移行タスクの開始後にソースまたはターゲットデータベースへの接続に失敗した場合、DTS はリトライ時間範囲内ですぐに接続をリトライします。有効な値:10~1,440。単位:分。デフォルト値:720。パラメーターを 30 より大きい値に設定することを推奨します。指定されたリトライ時間範囲内に DTS がソースおよびターゲットデータベースに再接続されると、DTS はデータ移行タスクを再開します。そうでない場合、データ移行タスクは失敗します。
説明同じソースまたはターゲットデータベースを共有する複数のデータ移行タスクに異なるリトライ時間範囲を指定した場合、後で指定された値が優先されます。
DTS が接続をリトライする際、DTS インスタンスに対して課金されます。ビジネス要件に基づいてリトライ時間範囲を指定することを推奨します。また、ソースデータベースとターゲットインスタンスがリリースされた後、できるだけ早く DTS インスタンスをリリースすることもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
その他の問題のリトライ時間範囲。たとえば、データ移行タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS はリトライ時間範囲内にすぐに操作をリトライします。有効な値:1~1440。単位:分。デフォルト値:10。パラメーターを 10 より大きい値に設定することを推奨します。指定されたリトライ時間範囲内に失敗した操作が正常に実行されると、DTS はデータ移行タスクを再開します。そうでない場合、データ移行タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値より小さくする必要があります。
完全移行率を制限するかどうか
完全データ移行の速度制限を有効にするかどうかを指定します。完全データ移行中、DTS はソースデータベースとターゲットデータベースの読み取り/書き込みリソースを使用します。これにより、データベースサーバーの負荷が増加する可能性があります。ビジネス要件に基づいて、完全データ移行の速度制限を有効にできます。速度制限を構成するには、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを構成する必要があります。これにより、ターゲットデータベースサーバーの負荷が軽減されます。
説明このパラメーターは、移行タイプ パラメーターで 完全データ移行 を選択した場合にのみ構成できます。
増分移行率を制限するかどうか
増分データ移行の速度制限を有効にするかどうかを指定します。速度制限を構成するには、1 秒あたりの増分移行の行数 RPS と 1 秒あたりの増分移行データ量 (MB) BPS パラメーターを構成する必要があります。これにより、ターゲットデータベースサーバーの負荷が軽減されます。
説明このパラメーターは、移行タイプ パラメーターで 増分データ移行 を選択した場合にのみ構成できます。
順方向および逆方向タスクのハートビートテーブル SQL を削除
ビジネスニーズに基づき、DTS インスタンスの実行中にハートビート SQL 情報をソースデータベースに書き込むかどうかを選択します。
[はい]:ハートビート SQL 情報はソースデータベースに書き込まれません。これにより、DTS インスタンスが遅延を報告する可能性があります。
[いいえ]:ハートビート SQL 情報をソースデータベースに書き込みます。これにより、ソースデータベースの物理バックアップやクローニングなどの機能に干渉する可能性があります。
環境タグ
必要に応じて、インスタンスを識別するための環境タグを選択できます。この例では、タグを選択する必要はありません。
ETL 機能の設定
抽出、変換、ロード (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETL とは」をご参照ください。有効な値:
[はい]:ETL 機能を構成します。コードエディタにデータ処理文を入力できます。詳細については、「データ移行またはデータ同期タスクで ETL を構成」をご参照ください。
[いいえ]:ETL 機能を構成しません。
監視アラート
データ移行タスクのアラートを構成するかどうかを指定します。タスクが失敗した場合、または移行遅延が指定されたしきい値を超えた場合、アラート連絡先は通知を受け取ります。有効な値:
[いいえ]:アラートを構成しません。
[はい]:アラートを構成します。この場合、アラートのしきい値とアラート通知設定も構成する必要があります。詳細については、「モニタリングとアラートの構成」トピックの「DTS タスク作成時のモニタリングとアラートの構成」セクションをご参照ください。
オプション:上記の設定を完了した後、次:データベースおよびテーブルのフィールド設定 をクリックして、ターゲットテーブルの プライマリキー列の追加、配布キー、および エンジンの選択 を設定します。
説明このステップは、タスクオブジェクト構成中に 移行タイプ で スキーマ移行 を選択した場合にのみ利用可能です。その後、定義ステータス で すべて を選択して変更を行うことができます。
プライマリキー列の追加 は、複数の列で構成される複合プライマリキーにすることができます。プライマリキー列の追加 から 1 つ以上の列を 配布キー として選択する必要があります。
テーブルにプライマリキーも一意制約もない場合は、エンジンの選択 を [duplicate] に設定する必要があります。そうしないと、インスタンスの障害やデータ損失の原因となる可能性があります。
タスク設定を保存し、事前チェックを実行します。
関連する API 操作を呼び出して DTS タスクを構成する際に指定するパラメーターを表示するには、ポインターを 次:タスク設定の保存と事前チェック に移動し、OpenAPI パラメーターのプレビュー をクリックします。
パラメーターを表示する必要がない場合、または表示済みの場合は、ページの下部にある 次:タスク設定の保存と事前チェック をクリックします。
説明データ移行タスクを開始する前に、DTS は事前チェックを実行します。タスクが事前チェックに合格した後にのみ、データ移行タスクを開始できます。
タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。その後、再度事前チェックを実行します。
事前チェック中に項目のアラートがトリガーされた場合:
アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックして問題をトラブルシューティングします。その後、再度事前チェックを実行します。
アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。[詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されるメッセージで、[OK] をクリックします。その後、[再度事前チェック] をクリックして再度事前チェックを実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスに潜在的なリスクがもたらされる可能性があります。
インスタンスを購入します。
[成功率] が [100%] になるまで待ちます。その後、[次へ:インスタンスの購入] をクリックします。
[インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを構成します。以下の表にパラメーターを示します。
セクション
パラメーター
説明
新しいインスタンスクラス
リソースグループ
データ移行インスタンスが属するリソースグループ。デフォルト値:[デフォルトリソースグループ]。詳細については、「Resource Management とは」をご参照ください。
インスタンスクラス
DTS は、移行速度が異なるインスタンスクラスを提供します。ビジネスシナリオに基づいてインスタンスクラスを選択できます。詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。
[Data Transmission Service (従量課金) サービス規約] を読み、チェックボックスをオンにして同意します。
[購入して開始] をクリックします。表示されるメッセージで、[OK] をクリックします。
[データ移行] ページでタスクの進行状況を確認できます。
説明データ移行タスクが増分データの移行に使用できない場合、タスクは自動的に停止します。[ステータス] セクションに [完了] が表示されます。
データ移行タスクが増分データの移行に使用できる場合、タスクは自動的に停止しません。増分データ移行タスクは決して停止または完了しません。[ステータス] セクションに [実行中] が表示されます。
データ型のマッピング
カテゴリ | PolarDB for MySQL のデータ型 | Doris のデータ型 |
数値 | TINYINT | TINYINT |
TINYINT UNSIGNED | SMALLINT | |
SMALLINT | SMALLINT | |
SMALLINT UNSIGNED | INT | |
MEDIUMINT | INT | |
MEDIUMINT UNSIGNED | BIGINT | |
INT | INT | |
INT UNSIGNED | BIGINT | |
BIGINT | BIGINT | |
BIGINT UNSIGNED | LARGEINT | |
BIT(M) | INT | |
Decimal | Decimal 説明 ZEROFILL はサポートされていません。 | |
Numeric | Decimal | |
Float | Float | |
Double | DOUBLE | |
| BOOLEAN | |
日付と時刻 | DATE | DATEV2 |
DATETIME[(fsp)] | DATETIMEV2 | |
Timestamp[(fsp)] | DATETIMEV2 | |
Time[(fsp)] | VARCHAR | |
YEAR[(4)] | INT | |
文字列 |
| VARCHAR 重要 データ損失を避けるため、CHAR および VARCHAR(n) 型のデータは、ターゲットの Doris データベースに移行された後、VARCHAR(4*n) に変換されます。
|
| STRING | |
| STRING | |
| STRING | |
ENUM | STRING | |
SET | STRING | |
JSON | STRING |
追加の列情報
以下の表は、DTS によって自動的に追加されるか、または Duplicate モデルを使用するターゲットテーブルに手動で追加する必要がある追加の列について説明しています。
名前 | データ型 | デフォルト値 | 説明 |
_is_deleted | Int | 0 | データが削除されたかどうかを示します。
|
_version | Bigint | 0 |
|
_record_id | Bigint | 0 |
|