すべてのプロダクト
Search
ドキュメントセンター

Data Transmission Service:PolarDB for MySQLクラスターからのデータ変更の追跡

最終更新日:Oct 18, 2024

Data Transmission Service (DTS) を使用して、データの変更をリアルタイムで追跡できます。 この機能は、軽量キャッシュの更新、ビジネスのデカップリング、非同期データ処理、抽出、変換、読み込み (ETL) 操作の同期などのシナリオに適用されます。 このトピックでは、PolarDB for MySQLクラスターからのデータ変更を追跡する方法について説明します。

前提条件

PolarDB for MySQLクラスターでバイナリログ機能が有効になっています。 詳細については、次をご参照ください: バイナリログの有効化

注意事項

  • DTSは、gh-ostまたはpt-online-schema-changeを使用して実行されるDDL操作を追跡しません。 したがって、変更追跡クライアントは、スキーマの競合により、消費されたデータを宛先テーブルに書き込むことができない場合があります。

  • ソースデータベースが実行中のデータ移行タスクなどの別のタスクに関与している場合、DTSは他のオブジェクトのデータ変更を追跡できます。 この場合、変更追跡クライアントで追跡されたデータを手動でフィルタリングする必要があります。

手順

  1. 変更追跡インスタンスを作成します。 詳細については、「変更追跡インスタンスの購入」をご参照ください。

    説明

    購入ページで、ソースデータベースPolarDBに設定し、ソースPolarDBクラスターが存在するリージョンを選択します。

  2. 最初に DTSコンソール

  3. 左側のナビゲーションウィンドウで、[追跡の変更] をクリックします。

  4. [変更追跡タスク] ページの上部で、変更追跡インスタンスが存在するリージョンを選択します。

  5. 変更追跡インスタンスを見つけ、[操作] 列の [チャネルの設定] をクリックします。

  6. 変更追跡タスクのソースデータベースとネットワークタイプを設定します。 Configure the source database and network type

    セクション

    パラメーター

    説明

    非該当

    タスク名

    タスク名は自動生成されます。 簡単に識別できるように、有益な名前を指定することをお勧めします。 一意のタスク名を使用する必要はありません。

    移行元データベース

    インスタンスタイプ

    このパラメーターの値はPolarDB Instanceに設定されており、変更することはできません。

    データベースエンジン

    このパラメーターの値はPolarDBに設定されており、変更することはできません。

    インスタンスリージョン

    購入ページで選択したソースリージョン。 このパラメーターの値は変更できません。

    PolarDBインスタンスID

    ソースPolarDBクラスターのIDを選択します。

    データベースアカウント

    ソースPolarDBクラスターのデータベースアカウントを入力します。

    説明

    アカウントには、必要なオブジェクトに対するSELECT権限、REPLICATION CLIENT権限、REPLICATION SLAVE権限、およびSHOW VIEW権限が必要です。

    データベースパスワード

    データベースアカウントのパスワードを入力します。

    ネットワークタイプ

    非該当

    変更追跡インスタンスのネットワークタイプを選択します。

    • クラシック

      クラシックを選択した場合、他の設定は必要ありません。 詳細については、次をご参照ください: クラシックネットワーク

    • [VPC]

      VPCを選択した場合、VPCおよびvSwitchパラメーターを指定する必要があります。 詳細については、次をご参照ください: VPCを使用します。

    説明
    • と同じネットワークタイプを選択することを推奨します。 変更追跡クライアントがインストールされているECSインスタンス。 たとえば、ECSインスタンスが仮想プライベートクラウド (VPC) にデプロイされている場合、ネットワークタイプとしてVPCを選択し、VPCおよびvSwitchパラメーターを指定します。

    • 内部ネットワーク上のデータ変更を追跡する場合、ネットワーク遅延は最小限に抑えられます。

  7. ページの右下隅にある [ホワイトリストの設定] および [次へ] をクリックします。

    説明

    DTSは、DTSサーバーのCIDRブロックをソースPolarDBクラスターのホワイトリストに追加します。 これにより、DTSサーバーがソースPolarDBクラスターに接続できるようになります。

  8. データ変更の種類とオブジェクトを選択します。 Select the data change types and objects

    パラメーター

    説明

    必要なデータ型

    • データ更新

      DTSは、INSERT、DELETE、およびUPDATE操作を含む、選択したオブジェクトのデータ更新を追跡します。

    • スキーマの更新

      DTSは、ソースインスタンスのすべてのオブジェクトスキーマで実行される作成、削除、および変更操作を追跡します。 変更追跡クライアントを使用して、必要なデータをフィルタリングする必要があります。

    説明
    • オブジェクトとしてデータベースを選択した場合、DTSはデータベース内の新しいオブジェクトを含むすべてのオブジェクトのデータ変更を追跡します。

    • オブジェクトとしてテーブルを選択した場合、DTSはこのテーブルのデータ変更のみを追跡します。 この場合、別のテーブルのデータ変更を追跡する場合は、選択したオブジェクトにテーブルを追加する必要があります。 詳細については、「変更追跡用オブジェクトの変更」をご参照ください。

    必要なオブジェクト

    [必須オブジェクト] セクションから1つ以上のオブジェクトを選択し、Rightwards arrowアイコンをクリックして、オブジェクトを [選択済み] セクションに追加します。

    説明

    変更追跡のオブジェクトとしてテーブルまたはデータベースを選択できます。

  9. ページの右下隅にある [保存して事前チェック] をクリックします。

    説明
    • 変更追跡タスクを開始する前に、DTSは事前チェックを実行します。 タスクが事前チェックに合格した後にのみ、変更追跡タスクを開始できます。

    • タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にあるInfo iconアイコンをクリックして詳細を表示できます。 原因に基づいて問題をトラブルシューティングした後、再度事前チェックを実行できます。

  10. 次のメッセージが表示されたら、[事前チェック] ダイアログボックスを閉じます。[事前チェックに合格]

次のステップ

変更追跡タスクが設定された後、DTSは初期変更追跡を実行します。これには約1分かかります。 最初の変更追跡が完了したら、次の操作を実行できます。

  1. コンシューマーグループの作成

  2. Kafkaクライアントを使用した追跡データの消費

  3. SDKデモを使用した追跡データの消費