すべてのプロダクト
Search
ドキュメントセンター

Data Transmission Service:自己管理型HBaseデータベースからAnalyticDB for MySQL V3.0クラスターへのデータの移行

最終更新日:Nov 01, 2024

このトピックでは、data Transmission Service (DTS) を使用して、自己管理型HBaseデータベースからAnalyticDB for MySQL V3.0クラスターにデータを移行する方法について説明します。

前提条件

  • 自己管理型HBaseデータベースとAnalyticDB for MySQL V3.0クラスターのデータベースバージョンは、DTSでサポートされています。 詳細については、「データ移行シナリオの概要」をご参照ください。

  • ターゲットAnalyticDB for MySQL V3.0クラスターが作成されました。 詳細については、「クラスターの作成」をご参照ください。

  • 移行先のAnalyticDB for MySQL V3.0クラスターの使用可能なストレージ容量は、自己管理型HBaseデータベースのデータの合計サイズよりも大きくなっています。

制限事項

説明
  • スキーマの移行中に、DTSは外部キーをソースデータベースからターゲットデータベースに移行します。

  • 完全データ移行および増分データ移行中、DTSはセッションレベルで外部キーに対する制約チェックおよびカスケード操作を一時的に無効にします。 データ移行中にソースデータベースに対してカスケード更新および削除操作を実行すると、データの不整合が発生する可能性があります。

カテゴリ

説明

ソースデータベースの制限

  • 帯域幅要件: ソースデータベースが属するサーバーには、十分な出力帯域幅が必要です。 そうしないと、データ移行速度が影響を受けます。

  • 移行するテーブルには、PRIMARY KEYまたはUNIQUE制約が必要であり、すべてのフィールドが一意である必要があります。 そうでない場合、宛先データベースは重複するデータレコードを含み得る。

  • 移行するオブジェクトとしてテーブルを選択し、テーブルを編集する必要がある場合 (テーブルまたは列の名前の変更など) 、1回のデータ移行タスクで最大1,000のテーブルを移行できます。 タスクを実行して1,000を超えるテーブルを移行すると、リクエストエラーが発生します。 この場合、移行するテーブルを分割するか、テーブルを移行するために複数のタスクを構成するか、データベース全体を移行するようにタスクを構成することをお勧めします。

  • 操作の制限:

    • スキーマ移行中および完全データ移行中は、データベースまたはテーブルのスキーマを変更するためのデータ定義言語 (DDL) 操作を実行しないでください。 それ以外の場合、データ移行タスクは失敗します。

    • このシナリオでは、DTSは増分データ移行をサポートしていません。 データの一貫性を確保するため、データ移行中はソースインスタンスにデータを書き込まないことを推奨します。

その他の制限

  • このシナリオでは、DTSはスキーマ移行と完全データ移行のみをサポートします。 DTSは増分データ移行をサポートしていません。

  • ソースオブジェクトの文字は、英数字 (aからz、AからZ、および0から9) のみです。 オブジェクトに他の種類の文字が含まれている場合、スキーマの移行は失敗します。

  • AnalyticDB for MySQLには、ディスク容量の使用に制限があります。 AnalyticDB for MySQLクラスター内のノードのディスク領域使用量が80% に達すると、ターゲットデータベースへのデータ書き込みのパフォーマンスが低下し、DTSタスクが遅延します。 使用量が90% に達すると、データをターゲットデータベースに書き込むことができず、エラーメッセージが返されます。 移行するオブジェクトに基づいて、必要なディスク容量を見積もることを推奨します。 移行先クラスターに十分なストレージ容量があることを確認する必要があります。

  • データを移行する前に、移行元データベースと移行先データベースのパフォーマンスに対するデータ移行の影響を評価します。 オフピーク時にデータを移行することを推奨します。 完全データ移行中、DTSはソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。 これは、データベースサーバの負荷を増加させる可能性がある。

  • 完全データ移行中、同時INSERT操作により、ターゲットデータベースのテーブルが断片化されます。 完全データ移行が完了すると、移行先データベースのテーブルスペースは移行元データベースのテーブルスペースよりも大きくなります。

  • DTSは、過去7日以内に失敗したデータ移行タスクを再開しようとします。 ワークロードを移行先クラスターに切り替える前に、データ移行タスクを停止またはリリースします。 revokeコマンドを実行して、移行先クラスターへのアクセスにDTSが使用するアカウントの書き込み権限を取り消すこともできます。 そうしないと、タスクの再開後、ソースデータベースのデータがターゲットクラスターのデータを上書きします。

課金

移行タイプ

インスタンス設定料金

インターネットトラフィック料金

スキーマ移行とフルデータ移行

無料です。

インターネット経由でAlibaba Cloudからデータが移行された場合にのみ課金されます。 詳細については、「課金の概要」をご参照ください。

移行タイプ

  • スキーマ移行

    DTSは、選択したオブジェクトのスキーマをソースデータベースからターゲットデータベースに移行します。

    DTSは、テーブルのスキーマ移行をサポートしています。

    説明

    DTSは、データベース全体または単一のテーブルのテーブルを移行できます。

  • 完全なデータ移行

    DTSは、必要なオブジェクトの履歴データをソースデータベースからターゲットデータベースに移行します。

データベースアカウントに必要な権限

データベース

スキーマ移行

完全なデータ移行

自己管理HBaseデータベース

非該当

AnalyticDB for MySQL V3.0クラスター

ターゲットデータベースの読み取りおよび書き込み権限

AnalyticDB For MySQL V3.0クラスターのデータベースアカウントを作成し、データベースアカウントに権限を付与する方法の詳細については、「データベースアカウントの作成」をご参照ください。

手順

  1. [データ移行タスク] ページに移動します。

    1. データ管理 (DMS) コンソール にログインします。

    2. 上部のナビゲーションバーで、ポインタをDTS上に移動します

    3. DTS (DTS) > データ移行を選択します。

    説明
  2. データ移行タスクの右側にあるドロップダウンリストから、データ移行インスタンスが存在するリージョンを選択します。

    説明

    新しいDTSコンソールを使用する場合は、左上隅にデータ移行インスタンスが存在するリージョンを選択する必要があります。

  3. [タスクの作成] をクリックします。 [データ移行タスクの作成] ページで、ソースデータベースとターゲットデータベースを設定します。 次の表にパラメーターを示します。

    警告

    ソースデータベースとターゲットデータベースを設定した後、ページの上部に表示される制限を読むことを推奨します。 そうしないと、タスクが失敗したり、データの不一致が発生します。

    セクション

    パラメーター

    説明

    非該当

    タスク名

    タスクの名前。 タスク名は自動生成されます。 タスクを識別するために、有益な名前を指定することを推奨します。 一意のタスク名を指定する必要はありません。

    ソースデータベース

    既存のDMSデータベースインスタンスの選択

    使用するインスタンス。 ビジネス要件に基づいて、既存のインスタンスを使用するかどうかを選択できます。

    • 既存のインスタンスを選択すると、DTSはデータベースのパラメーターを自動的に入力します。

    • 既存のインスタンスを選択しない場合は、ソースデータベースのパラメーターを設定する必要があります。

    データベースタイプ

    移行元ディスクのタイプを設定します。 [HBase] を選択します。

    アクセス方法

    ソースデータベースのアクセス方法。 [パブリックIPアドレス] を選択します。

    説明

    ソースデータベースが自己管理データベースの場合、データベースのネットワーク環境を展開する必要があります。 詳細については、「準備の概要」をご参照ください。

    インスタンスリージョン

    自己管理HBaseデータベースが存在するリージョン。

    ZooKeeper URL

    自己管理HBaseデータベース用に構成されているZooKeeperサーバーのエンドポイント。 <IPアドレス> または <ドメイン名: ポート番号> 形式で各エンドポイントを入力します。 複数のエンドポイントはコンマ (,) で区切ります。

    宛先データベース

    既存のDMSデータベースインスタンスの選択

    使用するインスタンス。 ビジネス要件に基づいて、既存のインスタンスを使用するかどうかを選択できます。

    • 既存のインスタンスを選択した場合、DTSはインスタンスのパラメーターを自動的に入力します。

    • 既存のインスタンスを選択しない場合、ターゲットデータベースのパラメーターを設定する必要があります。

    データベースタイプ

    ターゲットデータベースのタイプ。 [AnalyticDB for MySQL 3.0] を選択します。

    アクセス方法

    ターゲットデータベースのアクセス方法。 [Alibaba Cloudインスタンス] を選択します。

    インスタンスリージョン

    ターゲットAnalyticDB for MySQL V3.0クラスターが存在するリージョン。

    インスタンスID

    ターゲットAnalyticDB for MySQL V3.0クラスターのID。

    データベースアカウント

    ターゲットAnalyticDB for MySQL V3.0クラスターのデータベースアカウント。 アカウントに必要な権限の詳細については、このトピックの「データベースアカウントに必要な権限」をご参照ください。

    データベースパスワード

    データベースインスタンスへのアクセスに使用されるパスワード。

  4. 自己管理データベースにIPアドレスホワイトリストが設定されている場合は、DTSサーバーのCIDRブロックをIPアドレスホワイトリストに追加します。 次に、接続テスト をクリックします。

    警告

    DTSサーバーのパブリックCIDRブロックがデータベースインスタンスのホワイトリストまたはECSインスタンスのセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。 したがって、DTSを使用してデータを移行する前に、潜在的なリスクを理解して認識し、ユーザー名とパスワードのセキュリティの強化、公開されるポートの制限、API呼び出しの認証、ホワイトリストまたはセキュリティグループルールの定期的なチェック、CIDRブロックの禁止、またはExpress Connectを使用したデータベースインスタンスのDTSへの接続、VPNゲートウェイ、またはSmart Access Gateway。

  5. 移行するオブジェクトと詳細設定を設定します。

    • 基本設定

      パラメータまたは設定

      説明

      移行タイプ

      デフォルトでは、スキーマ移行フルデータ移行が選択されます。

      説明
      • このシナリオでは、DTSは増分データ移行をサポートしていません。 データの一貫性を確保するため、データ移行中はソースデータベースにデータを書き込まないことを推奨します。

      • CREATE tableステートメントを実行して作成されたテーブルのスキーマとデータは、ターゲットデータベースに移行できます。

      競合テーブルの処理モード

      • エラーの事前チェックと報告: ターゲットデータベースに、ソースデータベースのテーブルと同じ名前を使用するテーブルが含まれているかどうかを確認します。 ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合は、事前チェックに合格します。 それ以外の場合、事前チェック中にエラーが返され、データ移行タスクを開始できません。

        説明

        ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれていて、ターゲットデータベース内のテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに移行されるテーブルの名前を変更できます。 詳細については、「マップオブジェクト名」をご参照ください。

      • エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。

        警告

        エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが次の潜在的なリスクにさらされる可能性があります。

        • ソースデータベースとターゲットデータベースが同じスキーマを持ち、データレコードがターゲットデータベースの既存のデータレコードと同じプライマリキーを持つ場合、次のシナリオが発生する可能性があります。

          • 完全データ移行中、DTSはデータレコードを移行先データベースに移行しません。 ターゲットデータベースの既存のデータレコードが保持されます。

          • 増分データ移行中に、DTSはデータレコードを移行先データベースに移行します。 ターゲットデータベースの既存のデータレコードが上書きされます。

        • ソースデータベースとターゲットデータベースのスキーマが異なる場合、特定の列のみが移行されるか、データ移行タスクが失敗します。 作業は慎重に行ってください。

      マージテーブル

      • はい: この値を選択すると、DTSはデータソースを記録する各テーブルに __dts_data_source列を追加します。 詳細については、「マルチテーブルマージ機能の有効化」をご参照ください。

      • No: これはデフォルト値です。

      説明

      このパラメーターを [はい] に設定すると、タスクで選択したすべてのソーステーブルがターゲットテーブルにマージされます。 特定のソーステーブルをマージする必要がない場合は、これらのテーブルに対して個別のデータ移行タスクを作成できます。

      警告

      ソースデータベースまたはテーブルのスキーマを変更するためのDDL操作を実行しないことをお勧めします。 そうしないと、データの不整合が発生したり、データ移行タスクが失敗したりします。

      ソースオブジェクト

      ソースオブジェクト セクションから1つ以上のオブジェクトを選択します。 向右小箭头アイコンをクリックして、選択中のオブジェクト セクションにオブジェクトを追加します。

      説明
      • 移行するオブジェクトとして、テーブルまたはデータベースを選択できます。 移行するオブジェクトとしてテーブルを選択した場合、DTSはビュー、トリガー、ストアドプロシージャなどの他のオブジェクトを移行先データベースに移行しません。

      • 移行するオブジェクトとしてデータベースを選択した場合、DTSは次のデフォルトルールに基づいてデータを移行します。

        • 移行元データベースで移行するテーブルに、単一列の主キーや複合主キーなどの主キーがある場合、主キー列が配布キーとして指定されます。

        • 移行元データベース内の移行するテーブルにプライマリキーがない場合、移行先テーブルに自動インクリメントのプライマリキー列が自動的に生成されます。 これにより、ソースデータベースとターゲットデータベース間でデータの不一致が発生する可能性があります。

      [選択済みオブジェクト]

      • 移行先インスタンスに移行するオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 詳細については、「単一オブジェクトの名前のマッピング」をご参照ください。

      • 一度に複数のオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションの右上隅にある [一括編集] をクリックします。 詳細については、「一度に複数のオブジェクト名をマップする」をご参照ください。

      説明
      • オブジェクト名マッピング機能を使用してオブジェクトの名前を変更すると、そのオブジェクトに依存する他のオブジェクトの移行に失敗する可能性があります。

      • データをフィルタリングするWHERE条件を指定するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。 表示されるダイアログボックスで、条件を指定します。 詳細については、「フィルター条件の指定」をご参照ください。

    • 詳細設定

      パラメーター

      説明

      Set Alerts

      データ移行タスクのアラートを設定するかどうかを指定します。 タスクが失敗するか、移行の待ち時間が指定されたしきい値を超えると、アラート送信先は通知を受け取ります。 有効な値:

      失敗した接続の再試行時間

      失敗した接続のリトライ時間範囲。 データ移行タスクの開始後にソースデータベースまたはターゲットデータベースの接続に失敗した場合、DTSは再試行時間範囲内ですぐに接続を再試行します。 有効な値: 10 ~ 1440 単位は分です。 デフォルト値: 720 パラメーターを30より大きい値に設定することを推奨します。 指定した再試行時間内にDTSがソースデータベースとターゲットデータベースに再接続された場合、DTSはデータ移行タスクを再開します。 それ以外の場合、データ移行タスクは失敗します。

      説明
      • 同じソースまたはターゲットデータベースを共有する複数のデータ移行タスクに対して異なるリトライ時間範囲を指定した場合、後で指定される値が優先されます。

      • DTSが接続を再試行すると、DTSインスタンスに対して課金されます。 業務要件に基づいて再試行時間範囲を指定することを推奨します。 ソースデータベースとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。

      宛先インスタンスでのオブジェクト名の大文字化

      ターゲットインスタンスのデータベース名、テーブル名、および列名の大文字化。 デフォルトでは、DTSデフォルトポリシーが選択されています。 他のオプションを選択して、オブジェクト名の大文字化がソースまたはターゲットデータベースの大文字化と一致していることを確認できます。 詳細については、「ターゲットインスタンスのオブジェクト名の大文字化の指定」をご参照ください。

      ETLの設定

      抽出、変換、および読み込み (ETL) 機能を有効にするかどうかを指定します。 詳細については、「ETLとは何ですか?」をご参照ください。 有効な値:

  6. AnalyticDB for MySQL V3.0クラスターに移行するテーブルのプライマリキー列と配布キーを指定します。

    説明
    • 移行タイプとして [スキーマ移行] を選択した場合、AnalyticDB for MySQL V3.0クラスターに移行するテーブルのタイププライマリキー列、および配布キーを指定する必要があります。 詳細については、「CREATE TABLE」をご参照ください。

    • [プライマリキー列] フィールドでは、複数の列を指定して複合プライマリキーを形成できます。 この場合、1つ以上のプライマリキー列配布キーとして指定する必要があります。

  7. ページの下部で、次:タスク設定の保存と事前チェック をクリックします。

    ポインタを 次:タスク設定の保存と事前チェック に移動し、[OpenAPIパラメーターのプレビュー] をクリックして、関連するAPI操作を呼び出してDTSタスクを設定するときに指定するパラメーターを表示できます。

    説明
    • データ移行タスクを開始する前に、DTSは事前チェックを実行します。 データ移行タスクは、タスクが事前チェックに合格した後にのみ開始できます。

    • タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。 チェック結果に基づいて原因を分析した後、問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。

    • 事前チェック中にアイテムに対してアラートがトリガーされた場合:

      • アラートアイテムを無視できない場合は、失敗したアイテムの横にある [詳細の表示] をクリックして問題のトラブルシューティングを行います。 次に、もう一度プレチェックを実行します。

      • アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。 表示されたメッセージボックスで、[OK] をクリックします。 次に、[再度事前チェック] をクリックして、事前チェックを再度実行します。 アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。

  8. 成功率100% になるまで待ちます。 次に、[次へ: インスタンスの購入] をクリックします。

  9. [インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを設定します。 下表にパラメーターを示します。

    セクション

    パラメーター

    説明

    新しいインスタンスクラス

    リソースグループ

    データ移行インスタンスが属するリソースグループ。 デフォルト値: Default resource group 詳細については、「リソース管理とは 」をご参照ください。

    インスタンスクラス

    DTSは、移行速度が異なるインスタンスクラスを提供します。 ビジネスシナリオに基づいてインスタンスクラスを選択できます。 詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。

  10. 読んで同意するデータ伝送サービス (従量課金) サービス規約チェックボックスを選択します。

  11. [購入して開始] をクリックします。 表示されるメッセージで、 [OK] をクリックします。

    [データ移行] ページでタスクの進行状況を確認できます。