このトピックでは、Data Management (DMS) で構成された論理データベースから AnalyticDB for MySQL V3.0 クラスタに Data Transmission Service (DTS) を使用してデータを同期する方法について説明します。データ同期後、AnalyticDB for MySQL を使用して、社内ビジネスインテリジェンス (BI) システム、インタラクティブクエリシステム、リアルタイムレポートシステムを構築できます。
前提条件
論理データベースが DMS で構成されていること。論理データベースは、複数の PolarDB for MySQL クラスタのデータベースシャードに基づいて作成されます。詳細については、「論理データベース」をご参照ください。
DMS 物理データベースをホストする PolarDB for MySQL クラスタが同じリージョンにあり、同じデータベースアカウントとパスワードを共有していること。データベースアカウントには、物理データベースに対する読み取り権限が必要です。詳細については、「データベースアカウントの作成と管理」をご参照ください。
宛先の AnalyticDB for MySQL V3.0 クラスタが作成されていること。詳細については、「クラスタの作成」をご参照ください。
AnalyticDB for MySQL V3.0 クラスタの使用可能なストレージ容量が、DMS 論理データベースのデータの合計サイズよりも大きいこと。
制限事項
スキーマ同期の際、DTS はソースデータベースから宛先データベースに外部キーを同期しません。
完全同期および増分同期の際、DTS はセッションレベルで外部キーに対する制約チェックとカスケード操作を一時的に無効にします。データ同期中にソースデータベースでカスケード更新および削除操作を実行すると、データの不整合が発生する可能性があります。
カテゴリ | 説明 |
ソースデータベースの制限 |
|
その他の制限 |
|
課金
| 同期タイプ | タスク構成料金 |
| スキーマ同期と完全同期 | 無料。 |
| 増分同期 | 課金されます。詳細については、「課金の概要」をご参照ください。 |
サポートされている同期トポロジ
一方向 1 対 1 同期
一方向 1 対多同期
一方向多対 1 同期
DTS でサポートされている同期トポロジの詳細については、「同期トポロジ」をご参照ください。
同期可能な SQL 操作
操作タイプ | SQL 文 |
DML | INSERT、UPDATE、および DELETE 説明 宛先 AnalyticDB for MySQL V3.0 クラスタにデータが書き込まれると、UPDATE 文は自動的に REPLACE INTO 文に変換されます。 UPDATE 文が主キーで実行された場合、UPDATE 文は DELETE 文と INSERT 文に変換されます。 |
手順
次のいずれかの方法を使用して [データ同期] ページに移動し、データ同期インスタンスが存在するリージョンを選択します。
DTS コンソール
DTS コンソール にログオンします。
左側のナビゲーションウィンドウで、データ同期 をクリックします。
ページの左上隅で、データ同期インスタンスが存在するリージョンを選択します。
DMS コンソール
説明実際の手順は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。
DMS コンソール にログオンします。
上部のナビゲーションバーで、[データ + AI] にポインタを移動し、 を選択します。
データ同期タスク の右側にあるドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。
タスクの作成 をクリックして、タスク構成ページに移動します。
ソースデータベースと宛先データベースを構成します。次の表にパラメータを示します。
警告ソースデータベースと宛先データベースを構成した後、ページに表示される [制限事項] を読んでおくことをお勧めします。そうでない場合、タスクが失敗したり、データの不整合が発生したりする可能性があります。
セクション
パラメータ
説明
該当なし
タスク名
DTS タスクの名前。 DTS はタスク名を自動的に生成します。タスクを簡単に識別できる説明的な名前を指定することをお勧めします。一意のタスク名を指定する必要はありません。
ソースデータベース
データベースタイプ
ソースデータベースのタイプ。 [DMS LogicDB] を選択します。
アクセス方法
ソースデータベースのアクセス方法。 [Alibaba Cloud インスタンス] を選択します。
インスタンスリージョン
DMS 論理データベースが存在するリージョン。
データベースアカウント
DMS 物理データベースをホストする PolarDB for MySQL クラスタで共有されるデータベースアカウントとパスワード。データベースアカウントには、物理データベースに対する読み取り権限が必要です。詳細については、「データベースアカウントの作成と管理」をご参照ください。
データベースパスワード
データベースへのアクセスに使用するパスワード。
宛先データベース
データベースタイプ
宛先データベースのタイプ。 [AnalyticDB For MySQL 3.0] を選択します。
アクセス方法
宛先データベースのアクセス方法。 [Alibaba Cloud インスタンス] を選択します。
インスタンスリージョン
宛先 AnalyticDB for MySQL V3.0 クラスタが存在するリージョン。
[インスタンス ID]
宛先 AnalyticDB for MySQL V3.0 クラスタの ID。
データベースアカウント
宛先 AnalyticDB for MySQL V3.0 クラスタのデータベースアカウント。アカウントには、宛先データベースに対する読み取りおよび書き込み権限が必要です。
データベースパスワード
データベースへのアクセスに使用するパスワード。
ページの下部にある 接続をテストして続行 をクリックします。
説明DTS サーバーの CIDR ブロックをソースデータベースと宛先データベースのセキュリティ設定に自動または手動で追加して、DTS サーバーからのアクセスを許可できることを確認してください。詳細については、「DTS サーバーの CIDR ブロックの追加」をご参照ください。
同期するオブジェクトを構成します。
オブジェクト設定 ステップで、同期するオブジェクトを構成します。
パラメータ
説明
同期の種類
同期タイプ。デフォルトでは、[増分データ同期] が選択されています。[スキーマ同期] と [フルデータ同期] も選択する必要があります。事前チェックが完了すると、DTS は選択したオブジェクトの既存データをソースデータベースからデスティネーションクラスターに同期します。既存データは、後続の増分同期の基礎となります。
説明[フルデータ同期] が選択されている場合、CREATE TABLE 文を実行して作成されたテーブルのスキーマとデータをターゲットデータベースに同期できます。
競合するテーブルの処理モード
エラーの事前チェックと報告: ターゲットデータベースに、ソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかを確認します。ソースデータベースとターゲットデータベースに同じテーブル名を持つテーブルが含まれていない場合、事前チェックは合格です。それ以外の場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。
説明ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれており、ターゲットデータベースのテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに同期されるテーブルの名前を変更できます。詳細については、「データベース、テーブル、および列名マッピング」をご参照ください。
エラーを無視して続行: ソースデータベースとターゲットデータベースで同じテーブル名の事前チェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
ソースデータベースとターゲットデータベースのスキーマが同じで、ターゲットデータベースのデータレコードのプライマリキー値または一意キー値がソースデータベースのデータレコードと同じである場合:
完全同期中は、DTS はデータレコードをターゲットデータベースに同期しません。ターゲットデータベースの既存のデータレコードは保持されます。
増分同期中は、DTS はデータレコードをターゲットデータベースに同期します。ターゲットデータベースの既存のデータレコードは上書きされます。
ソースデータベースとターゲットデータベースのスキーマが異なる場合、データの初期化に失敗する可能性があります。この場合、一部の列のみが同期されるか、データ同期タスクが失敗します。注意して進めてください。
ソースオブジェクト
ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択し、
アイコンをクリックして 選択中のオブジェクト セクションにオブジェクトを追加します。説明同期するオブジェクトとして、列、テーブル、またはデータベースを選択できます。同期するオブジェクトとしてテーブルまたは列を選択した場合、DTS はビュー、トリガー、ストアドプロシージャなどの他のオブジェクトをターゲットデータベースに同期しません。
データベースを同期するオブジェクトとして選択した場合、DTS は次のデフォルトルールに基づいてデータを同期します。
ソースデータベース内で同期されるテーブルに、単一列のプライマリキーまたは複合プライマリキーなどのプライマリキーがある場合、プライマリキー列は分散キーとして指定されます。
ソースデータベース内で同期されるテーブルにプライマリキーがない場合、ターゲットテーブルに自動採番主キー列が自動的に生成されます。これにより、ソースデータベースとターゲットデータベース間でデータの不整合が発生する可能性があります。
選択済みオブジェクト
宛先インスタンスに同期するオブジェクトの名前を変更するには、選択中のオブジェクト セクションでオブジェクトを右クリックします。詳細については、「オブジェクト名のマッピング」トピックの「個々のデータベース、テーブル、および列名のマッピング」セクションをご参照ください。
複数のオブジェクトの名前を一度に変更するには、選択中のオブジェクト セクションの右上隅にある 一括編集 をクリックします。詳細については、「オブジェクト名のマッピング」トピックの「データベース、テーブル、および列名の一括マッピング」セクションをご参照ください。
説明特定のデータベースまたはテーブルで実行される SQL 操作を選択するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。表示されるダイアログボックスで、同期する SQL 操作を選択します。
WHERE 条件を指定してデータをフィルタリングするには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。表示されるダイアログボックスで、条件を指定します。詳細については、「フィルター条件を指定する」をご参照ください。
同期設定を構成します。次の表にパラメータを示します。次へ：詳細設定
パラメーター
説明
専用タスクスケジューリングクラスター
デフォルトでは、専用クラスターを指定しない場合、DTS は共有クラスターにタスクをスケジュールします。データ同期タスクの安定性を向上させるには、専用クラスターを購入します。詳細については、「DTS 専用クラスターとは」をご参照ください。
失敗した接続の再試行時間
接続失敗時のリトライ時間範囲です。データ同期タスクの開始後にソースデータベースまたはターゲットデータベースへの接続に失敗した場合、DTS はこの時間範囲内で直ちに接続を再試行します。有効値: 10 ～ 1440。単位: 分。デフォルト値: 720。このパラメーターには 30 より大きい値を設定することをお勧めします。DTS が指定された時間範囲内にソースデータベースとターゲットデータベースに再接続すると、DTS はデータ同期タスクを再開します。そうでない場合、データ同期タスクは失敗します。
説明同じソースデータベースまたはターゲットデータベースを持つ複数のデータ同期タスクに異なるリトライ時間範囲を指定した場合、最も短いリトライ時間範囲が優先されます。
DTS が接続を再試行すると、DTS インスタンスに対して課金されます。ビジネス要件に基づいてリトライ時間範囲を指定することをお勧めします。また、ソースインスタンスと宛先インスタンスが解放された後、できるだけ早く DTS インスタンスを解放することもできます。
その他の問題のリトライ時間
その他の問題のリトライ時間の範囲です。たとえば、データ同期タスクの開始後に DDL または DML 操作が実行に失敗した場合、DTS は指定された時間範囲内で操作をすぐにリトライします。有効値：1 ～ 1440。単位：分。デフォルト値：10。このパラメーターには 10 より大きい値を設定することをお勧めします。指定された時間範囲内で失敗した操作が正常に実行された場合、DTS はデータ同期タスクを再開します。それ以外の場合、データ同期タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値よりも小さくなければなりません。
完全同期のスロットリングを有効にする
完全同期中、DTS はソースデータベースとターゲットデータベースの読み取りリソースと書き込みリソースを使用します。これにより、データベースサーバーの負荷が増加する可能性があります。 1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを完全同期タスクに対して構成することで、ターゲットデータベースサーバーの負荷を軽減できます。
説明このパラメーターは、同期タイプ パラメーターで 完全データ同期 が選択されている場合にのみ構成できます。
増分データ同期の速度制限を有効にする
増分データ同期の速度制限を有効にするかどうかを指定します。ビジネス要件に基づいて、増分データ同期の速度制限を有効にすることができます。速度制限を設定するには、1 秒あたりの増分同期の行数 RPS と 1 秒あたりの増分同期データ量 (MB) BPS パラメーターを設定する必要があります。これにより、ターゲットデータベースサーバーの負荷が軽減されます。
環境タグ
DTS インスタンスを識別するために使用される環境タグ。ビジネス要件に基づいて環境タグを選択できます。この例では、環境タグを選択する必要はありません。
ETL の構成
抽出、変換、書き込み (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETL とは」をご参照ください。有効な値:
[はい]: ETL 機能を設定します。コードエディタにデータ処理ステートメントを入力できます。詳細については、「データ移行タスクまたはデータ同期タスクで ETL を設定する」をご参照ください。
いいえ: ETL 機能を構成しません。
監視とアラート
データ同期タスクのアラートを設定するかどうかを指定します。タスクが失敗した場合、または同期遅延が指定されたしきい値を超えた場合、アラート連絡先に通知が送信されます。有効な値：
[いいえ]: アラートを有効にしません。
[はい]: アラートを設定します。この場合、アラートしきい値と アラート通知設定 も設定する必要があります。詳細については、「DTS タスクの作成時にモニタリングとアラートを設定する」セクションの Configure monitoring and alerting Topic をご参照ください。
オプション: ページの下部にある [次へ: データベースとテーブルフィールドの設定] をクリックします。表示されるページで、同期するテーブルの タイプ、プライマリキー列の追加、配布キー、および [パーティションキー]、[パーティションルール]、[パーティションライフサイクル] などのパーティションキー情報をターゲットデータベースに設定します。
説明同期タイプ パラメーターで [スキーマ同期] を選択した場合にのみ、この手順を実行できます。同期タイプ パラメーターを設定した場合。パラメーターを変更するには、[定義ステータス] パラメーターを [すべて] に設定します。
[プライマリキー列] フィールドでは、複数の列を指定して複合プライマリキーを形成できます。この場合、1 つ以上の列を 配布キー および [パーティションキー] として指定する必要があります。詳細については、「CREATE TABLE」をご参照ください。
タスク設定を保存し、事前チェックを実行します。
関連する API 操作を呼び出して DTS タスクを設定する際に指定するパラメーターを表示するには、次：タスク設定の保存と事前チェック にポインターを移動し、OpenAPI パラメーターのプレビュー をクリックします。
パラメーターを表示する必要がない場合、またはすでに表示済みの場合は、ページの下部にある 次：タスク設定の保存と事前チェック をクリックします。
説明データ同期タスクを開始する前に、DTS は事前チェックを実行します。タスクが事前チェックに合格した後でのみ、データ同期タスクを開始できます。
データ同期タスクが事前チェックに失敗した場合は、失敗した各項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。その後、事前チェックを再実行します。
事前チェック中に項目に対してアラートがトリガーされた場合:
アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックし、問題をトラブルシューティングします。その後、事前チェックを再度実行します。
アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されるメッセージで、[OK] をクリックします。次に、[再チェック] をクリックして、事前チェックを再度実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
インスタンスを購入します。
[成功率] が [100%] になるまで待ちます。次に、[次へ: インスタンスの購入] をクリックします。
[購入] ページで、データ同期インスタンスの課金方法とインスタンスクラスのパラメーターを設定します。次の表にパラメーターを示します。
セクション
パラメーター
説明
新しいインスタンスクラス
課金方法
サブスクリプション: データ同期インスタンスを作成するときにサブスクリプション料金を支払います。サブスクリプションの課金方法は、長期使用の場合、従量課金の課金方法よりも費用対効果が高くなります。
従量課金: 従量課金インスタンスは時間単位で課金されます。従量課金の課金方法は、短期使用に適しています。従量課金データ同期インスタンスが不要になった場合は、インスタンスをリリースしてコストを削減できます。
リソースグループ設定
データ同期インスタンスが属するリソースグループ。デフォルト値: [デフォルトのリソースグループ]。詳細については、「リソース管理とは」をご参照ください。
インスタンスクラス
DTS は、同期速度が異なるインスタンスクラスを提供します。ビジネス要件に基づいてインスタンスクラスを選択できます。詳細については、「データ同期インスタンスのインスタンスクラス」をご参照ください。
サブスクリプション期間
サブスクリプションの課金方法を選択した場合は、サブスクリプション期間と作成するデータ同期インスタンスの数 を指定します。サブスクリプション期間は、1 ～ 9 か月、1 年、2 年、3 年、または 5 年です。
説明このパラメーターは、サブスクリプション 課金方法を選択した場合にのみ使用できます。
[Data Transmission Service (従量課金) サービス規約] を読んで選択します。
[購入して開始] をクリックします。表示されるダイアログボックスで、OK をクリックします。
タスクの進捗状況はタスクリストで確認できます。