Data Transmission Service (DTS) は、PolarDB for MySQL クラスターのテーブルスキーマをレプリケートし、リアルタイムの抽出・変換・書き出し（ETL）パイプラインおよびダウンストリーム分析向けに、増分変更を DataHub プロジェクトへストリーミングします。
前提条件
開始する前に、以下の条件を満たしていることを確認してください。
DataHub の有効化および移行されたデータを受信するためのプロジェクトの作成が完了していること。詳細については、「DataHub の使用開始」および「プロジェクトの管理」をご参照ください。
宛先 DataHub プロジェクトの利用可能なストレージ容量が、ソース PolarDB for MySQL クラスター内の全データサイズを超えること。
移行タイプと SQL 操作
移行タイプ
スキーマ移行：DTS は、選択されたオブジェクトのスキーマをソースデータベースから宛先データベースへ移行します。
増分データ移行：完全なデータ移行が完了した後、DTS はソースから宛先へ増分データを継続的に移行します。これにより、アプリケーションサービスを中断することなくデータを同期状態に保つことができます。
本移行パスでは、ビジネス要件に応じて、スキーマ移行または増分データ移行を選択してください。
増分移行における SQL 操作
| 操作タイプ | SQL 文 |
|---|---|
| データ操作言語（DML） | INSERT、UPDATE、DELETE |
| DDL | ALTER TABLE、TRUNCATE TABLE |
課金
| 移行タイプ | インスタンス設定料金 | インターネットトラフィック料金 |
|---|---|---|
| スキーマ移行と完全なデータ移行 | 無料 | Alibaba Cloud からインターネット経由でデータが移行される場合にのみ課金されます。 詳細については、「課金の概要」をご参照ください。 |
| 増分データ移行 | 有料。 詳細については、「課金の概要」をご参照ください。 |
必要な権限
| データベース | 必要な権限 | 参考情報 |
|---|---|---|
| PolarDB for MySQL クラスター | 移行対象オブジェクトに対する読み取り権限 | データベースアカウントの作成と管理 |
制限事項
DTS は、ソースデータベースの外部キーを移行しません。このため、ソースデータベースにおけるカスケード操作および削除操作は、宛先データベースへ移行されません。
| カテゴリ | 制限事項 |
|---|---|
| ソースデータベース | ソースデータベースをホストするサーバーには十分なアウトバウンド帯域幅が必要です。帯域幅が不足すると、移行速度が低下します。 |
| ソースデータベース | 移行対象テーブルには PRIMARY KEY または一意制約（UNIQUE constraint）が設定されている必要があり、すべてのフィールド値が一意である必要があります。これを満たさない場合、宛先データベースに重複レコードが生成される可能性があります。 |
| ソースデータベース | テーブルを移行対象として選択し、編集（例：テーブル名またはカラム名の変更）を行う場合、1 つのタスクで最大 1,000 個のテーブルをサポートします。1,000 個を超えるテーブルを移行する場合は、複数のタスクを作成するか、データベース全体を移行してください。 |
| ソースデータベース | 増分データ移行を行うには、バイナリロギングを有効にし、loose_polar_log_bin パラメーターを on に設定します。そうしないと、事前チェックでエラーが返され、タスクを開始できません。詳細については、「バイナリロギングを有効にする」および「パラメーターを変更する」をご参照ください。 |
| ソースデータベース | PolarDB for MySQL クラスターでバイナリログを有効化すると、バイナリログが占めるストレージ領域に対して課金されます。 |
| ソースデータベース | ソースデータベースのバイナリログは、24 時間以上保持する必要があります。DTS がバイナリログを取得できない場合、タスクが失敗する可能性があります。例外的なケースでは、データ不整合やデータ損失が発生する可能性があります。保持期間の要件を満たさない場合、DTS のサービスレベルアグリーメント（SLA）は、サービスの信頼性およびパフォーマンスを保証しません。 |
| ソースデータベース | スキーマ移行中に、データベースまたはテーブルのスキーマを変更するデータ定義言語（DDL）操作を実行しないでください。DDL 操作により、タスクが失敗します。 |
| ソースデータベース | ソース PolarDB for MySQL クラスターの読み取り専用ノードは移行できません。 |
| その他 | 移行対象としてサポートされるのはテーブルのみです。移行中にソーステーブルにカラムが追加された場合、その新規カラムは宛先 DataHub プロジェクトへ移行されません。 |
| その他 | 完全なデータ移行中、DTS はソースおよび宛先データベースの読み取り／書き込みリソースを消費します。これにより、データベースサーバーの負荷が高まる可能性があります。ピーク時間帯を避けて移行を行ってください。 |
| その他 | DTS は FLOAT および DOUBLE カラムから値を取得するために ROUND(COLUMN, PRECISION) 関数を使用します。精度（PRECISION）を明示的に指定しない場合、FLOAT には 38 桁、DOUBLE には 308 桁が使用されます。これらの精度設定がビジネス要件を満たすことを確認してください。 |
| その他 | DTS は、過去 7 日間に失敗したタスクを自動的に再開しようと試みます。ワークロードを宛先データベースへ切り替える前に、移行タスクを停止またはリリースしてください。また、宛先データベース上の DTS アカウントに対する書き込み権限を解除するには、REVOKE 文を実行できます。これを実行しない場合、再開されたタスクによって宛先データベースのデータが上書きされる可能性があります。 |
| その他 | 移行中に pt-online-schema-change などのツールを使用して、オブジェクトに対する DDL 操作を実行しないでください。外部ツールからの DDL 操作により、タスクが失敗する可能性があります。 |
| 注意事項 | DTS は定期的にソースデータベース内で `CREATE DATABASE IF NOT EXISTS test ` を実行し、バイナリログファイルの位置を進めます。 |
操作手順
ステップ 1：データ移行ページを開く
Data Management (DMS) コンソールにログインします。
トップナビゲーションバーで、DTS の上にポインターを合わせます。
DTS (DTS) > データ移行 を選択します。
実際の操作は、DMS コンソールのモードおよびレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。また、直接「新しい DTS コンソールのデータ移行ページ」にアクセスすることもできます。
データ移行タスク の右側にあるドロップダウンリストから、ご利用のデータ移行インスタンスが存在するリージョンを選択します。
新しい DTS コンソールでは、左上隅のリージョン選択エリアからリージョンを選択してください。
ステップ 2：ソースおよび宛先データベースの構成
タスクの作成 をクリックします。
「データ移行タスクの作成」ページで、ソースおよび宛先データベースを構成します。
ソースデータベース
パラメーター 説明 タスク名 DTS が自動的に名前を生成します。タスクを識別できるように、意味のある名前を指定してください。名前は一意である必要はありません。 既存のDMSデータベースインスタンスの選択 任意項目です。既存のインスタンスを選択すると、データベースパラメーターが自動入力されます。選択しない場合は、パラメーターを手動で構成してください。 データベースタイプ PolarDB for MySQL を選択します。 アクセス方法 Alibaba Cloud インスタンス を選択します。 インスタンスリージョン ソース PolarDB for MySQL インスタンスが存在するリージョンを選択します。 Alibaba Cloudアカウント全体でのデータの複製 ソースおよび宛先が同一の Alibaba Cloud アカウントに属する場合は、いいえ を選択します。 PolarDB クラスター ID ソース PolarDB for MySQL クラスターの ID を選択します。 データベースアカウント ソース PolarDB for MySQL クラスターのデータベースアカウントを入力します。このアカウントには、移行対象オブジェクトに対する読み取り権限が必要です。 データベースパスワード データベースアカウントのパスワードを入力します。 宛先データベース
パラメーター 説明 既存のDMSデータベースインスタンスの選択 任意項目です。既存のインスタンスを選択すると、データベースパラメーターが自動入力されます。選択しない場合は、パラメーターを手動で構成してください。 データベースタイプ DataHub を選択します。 アクセス方法 Alibaba Cloud インスタンス を選択します。 インスタンスリージョン 宛先 DataHub プロジェクトが存在するリージョンを選択します。 プロジェクト 宛先 DataHub プロジェクトの ID を選択します。 ページ下部で、[接続をテストして次へ進む] をクリックします。DTS は、DTS サーバーの CIDR ブロックを Alibaba Cloud データベースインスタンスの IP アドレスホワイトリスト、または自己管理データベースをホストする Elastic Compute Service (ECS) インスタンスのセキュリティグループルールに自動的に追加します。データセンター内またはサードパーティのクラウドプロバイダーからの自己管理データベースの場合は、DTS サーバーの CIDR ブロックをデータベースの IP アドレスホワイトリストに手動で追加します。詳細については、「DTS サーバーの CIDR ブロック」をご参照ください。
警告公開 CIDR ブロックをデータベースのホワイトリストまたは ECS セキュリティグループに追加すると、セキュリティリスクが発生します。ユーザー名およびパスワードの強化、公開ポートの制限、API 呼び出しの認証、ホワイトリストまたはセキュリティグループルールの定期監査、許可されていない CIDR ブロックの禁止、Express Connect／VPN Gateway／Smart Access Gateway 経由での DTS 接続など、予防措置を講じてください。
ステップ 3：移行対象および設定の構成
移行対象および移行設定を構成します。
パラメーター 説明 移行タイプ 要件に応じて、スキーマ移行または増分データ移行を選択してください。 説明増分データ移行を選択しない場合、データ整合性を維持するため、移行中にソースデータベースへの書き込みを実行しないでください。
競合テーブルの処理モード 追加カラムの命名規則 DTS が DataHub へデータを移行した後、宛先 Topic に追加カラムが追加されます。追加カラム名と既存カラム名が衝突する場合、移行は失敗します。要件に応じて、新規ルールまたは従来のルールを選択してください。 警告このパラメーターを設定する前に、追加列と既存の列の間で名前の競合がないか確認してください。詳細については、「追加列の命名規則」をご参照ください。
宛先インスタンスにおけるオブジェクト名の大文字小文字設定 データベース、テーブル、列名の大文字/小文字のルールを設定します。デフォルトは [DTS デフォルトポリシー] です。詳細については、「宛先インスタンスにおけるオブジェクト名の大文字/小文字の指定」をご参照ください。 ソースオブジェクト ソースオブジェクト セクションからオブジェクトを選択し、右矢印アイコンをクリックして 選択済みオブジェクト に追加します。 説明移行対象としてテーブルまたはデータベースを選択してください。テーブルを選択した場合、ビュー、トリガー、ストアドプロシージャは除外されます。
選択済みオブジェクト 選択済みオブジェクト単一オブジェクト名のマッピング セクションでオブジェクトを右クリックすると、名前を変更できます。詳細については、「」をご参照ください。複数のオブジェクトを一度に名前変更する場合は、一括編集複数のオブジェクト名を一度にマッピング をクリックしてください。詳細については、「」をご参照ください。 説明オブジェクトの名前を変更すると、依存オブジェクトの移行が失敗する場合があります。データをフィルターするには、[選択したオブジェクト] 内のオブジェクトを右クリックし、WHERE 条件を指定します。詳細については、「フィルター条件を指定する」をご参照ください。データベースまたはテーブルの特定の SQL 操作を選択するには、[選択したオブジェクト] 内のオブジェクトを右クリックし、移行する操作を選択します。
次へ：高度な設定 をクリックします。
パラメーター 説明 モニタリングとアラート タスクのアラートを設定します。この機能を有効にすると、タスクが失敗した場合や、移行遅延が指定のしきい値を超えた場合に、アラート連絡先に通知が送信されます。詳細については、「DTS タスク作成時のモニタリングとアラートの設定」をご参照ください。 ETL の設定 ETL 機能を有効または無効にします。この機能を有効にした場合、コードエディタにデータ処理文を入力します。詳細については、「ETL とは」および「データ移行またはデータ同期タスクにおける ETL の設定」をご参照ください。
ステップ 4：事前チェックの実行およびインスタンスの購入
次へ：タスク設定の保存および事前チェック をクリックします。 次へ：タスク設定の保存および事前チェック の上にポインターを合わせ、OpenAPI パラメーターのプレビュー をクリックすると、このタスクの API パラメーターを確認できます。
事前チェック項目のいずれかが失敗した場合、項目横の 詳細の表示 をクリックし、原因を分析して問題を修正したうえで、再度事前チェックを実行してください。
事前チェック項目で無視可能な警告が発生した場合、警告の詳細の確認 をクリックし、詳細表示ダイアログボックスで 無視 をクリックして OK をクリックしてください。その後、再度事前チェック をクリックします。警告項目を無視すると、データ不整合およびビジネスリスクを招く可能性があります。
DTS はタスク開始前に事前チェックを実行します。事前チェックが成功した場合にのみ、タスクが開始されます。
成功率 が 100% に達するまで待機し、その後 次へ：インスタンスの購入 をクリックします。
インスタンスの購入 ページで、インスタンス設定を構成します。
パラメーター 説明 リソースグループ データ移行インスタンスのリソースグループです。デフォルト値は デフォルトリソースグループ です。詳細については、「Resource Management とは インスタンスクラス 移行速度の要件に基づいてインスタンスクラスを選択します。詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。 Data Transmission Service（従量課金）利用規約 のチェックボックスを読み、選択してください。
購入して開始 をクリックします。確認メッセージで OK をクリックし、データ移行ページで移行の進行状況を確認してください。