ApsaraDB RDS for SQL ServerインスタンスからDataHubプロジェクトへのデータの移行 - Data Transmission Service

このトピックでは、data Transmission Service (DTS) を使用して、ApsaraDB RDS for SQL ServerインスタンスからDataHubプロジェクトにデータを移行する方法について説明します。

前提条件

ソースApsaraDB RDS for SQL ServerインスタンスのバージョンがDTSでサポートされています。ソースApsaraDB RDS For SQL ServerインスタンスでサポートされているSQL Serverのバージョンの詳細については、「データ移行シナリオの概要」をご参照ください。
DataHubが有効化され、移行するデータを受け取るプロジェクトが作成されます。詳細については、「DataHubの使用を開始」および「プロジェクトの管理」をご参照ください。
ソースApsaraDB RDS for SQL Serverインスタンスが次のいずれかの条件を満たしている場合、複数のDTSインスタンスを購入して複数のデータ移行タスクを設定します。
- ソースインスタンスには10を超えるデータベースが含まれています。
- ソースインスタンスの1つのデータベースは、1時間未満の間隔でログをバックアップします。
- ソースインスタンスの1つのデータベースで、1時間に100を超えるDDLステートメントが実行されます。
- ログは、ソースインスタンスの1つのデータベースに対して20メガバイト/秒の割合で書き込まれます。
- ソースApsaraDB RDS for SQL Serverインスタンスの1,000を超えるテーブルに対して、変更データキャプチャ (CDC) 機能を有効にする必要があります。

制限事項

説明

DTSは、ソースデータベースの外部キーをターゲットデータベースに移行しません。したがって、ソースデータベースのカスケードおよび削除操作は、ターゲットデータベースに移行されません。

カテゴリ	説明
ソースデータベースの制限	ソースデータベースがデプロイされるサーバーには、十分なアウトバウンド帯域幅が必要です。そうしないと、データ移行速度が低下します。移行するテーブルには、PRIMARY KEYまたはUNIQUE制約が必要であり、すべてのフィールドが一意である必要があります。そうでない場合、宛先データベースは重複するデータレコードを含み得る。移行するオブジェクトとしてテーブルを選択し、テーブルや列の名前の変更など、移行先データベースのテーブルを編集する必要がある場合は、1つのデータ移行タスクで最大1,000のテーブルを移行できます。タスクを実行して1,000を超えるテーブルを移行すると、リクエストエラーが発生します。この場合、複数のタスクを構成してテーブルを移行するか、タスクを構成してデータベース全体を移行することをお勧めします。単一のデータ移行タスクを実行して、最大10個のデータベースを移行できます。 10を超えるデータベースを移行する場合は、複数のタスクを設定してデータベースを移行することを推奨します。そうしないと、データ移行タスクのパフォーマンスと安定性が損なわれる可能性があります。増分データを移行する場合は、次の要件が満たされていることを確認してください。データログ機能を有効にする必要があります。バックアップモードをFullに設定し、完全物理バックアップを実行する必要があります。増分データ移行のみを実行する場合は、ソースデータベースのデータログを24時間以上保持する必要があります。完全データ移行と増分データ移行の両方を実行する場合、ソースデータベースのデータログは少なくとも7日間保持する必要があります。そうしないと、Data Transmission Service (DTS) がデータログの取得に失敗し、タスクが失敗する可能性があります。場合によっては、データの不整合や損失が発生することもあります。完全なデータ移行が完了したら、保持期間を24時間以上に設定できます。上記の要件に基づいて、データログの保持期間を設定してください。それ以外の場合、DTSのサービスレベル契約 (SLA) はサービスの信頼性またはパフォーマンスを保証しません。移行元データベースから移行するテーブルに対して変更データキャプチャ (CDC) 機能を有効にする必要がある場合は、次の条件を満たす必要があります。そうでない場合、事前チェックは失敗します。 sys.sysserversビューのsrvnameフィールドの値は、SERVERPROPERTY関数の戻り値と同じです。ソースデータベースが自己管理型SQL Serverデータベースの場合、データベース所有者はsaユーザーである必要があります。ソースデータベースがApsaraDB RDS for SQL Serverデータベースの場合、データベース所有者はsqlsaユーザーである必要があります。ソースデータベースがEnterpriseエディションの場合は、SQL Server 2008以降を使用する必要があります。ソースデータベースがStandardエディションの場合は、SQL Server 2016 SP1以降を使用する必要があります。ソースデータベースがStandardまたはEnterpriseエディションで、そのバージョンがSQL Server 2017の場合は、そのバージョンを更新することをお勧めします。 DTSはfn_log関数を使用して、ソースデータベースのログを取得します。ただし、この機能にはパフォーマンスのボトルネックがあります。タスクが完了する前に、ソースデータベースのログをクリアしないことをお勧めします。そうしないと、タスクが失敗する可能性があります。ソースデータベースに対する操作の制限: スキーマ移行中および完全データ移行中は、DDL文を実行してデータベースまたはテーブルのスキーマを変更しないでください。それ以外の場合、データ移行タスクは失敗します。フルデータ移行のみを実行する場合は、データ移行中にソースデータベースにデータを書き込まないでください。そうしないと、ソースデータベースとターゲットデータベース間でデータの不一致が発生します。データの一貫性を確保するために、移行タイプとしてスキーマ移行、フルデータ移行、および増分データ移行を選択することを推奨します。ハイブリッドログベースの解析モードでは、複数の操作を実行して、ソースデータベースに列を追加したり、ソースデータベースから列を削除したりすることはできません。たとえば、次のSQL文を10分以内に実行すると、タスクのエラーが報告されます。 `ALTER TABLE test_table DROP COLUMN Flag; ALTER TABLE test_table ADD Remark nvarchar(50) not null default('');`
その他の制限	増分データ移行とスキーマ移行のみがサポートされています。フルデータ移行はサポートされていません。ターゲットDataHubプロジェクトの1つの文字列の長さは2 MBを超えることはできません。移行するオブジェクトの制限: DTSは、スキーマ、テーブル、ビュー、関数、およびプロシージャのオブジェクトの初期スキーマ移行をサポートしています。 DTSは、アセンブリ、サービスブローカー、フルテキストインデックス、フルテキストカタログ、分散スキーマ、分散関数、共通言語ランタイム (CLR) ストアドプロシージャ、CLRスカラー値関数、CLRテーブル値関数、内部テーブル、システム、または集計関数のスキーマを移行しません。 DTSは、CURSOR、ROWVERSION、SQL_VARIANT、HIERARCHYID、POLYGON、GEOMETRY、およびGEOGRAPHYのデータを移行しません。 DTSは、計算列を含むテーブルを移行しません。データを移行する前に、移行元データベースと移行先データベースのパフォーマンスに対するデータ移行の影響を評価します。オフピーク時にデータを移行することを推奨します。完全データ移行中、DTSはソースデータベースとターゲットクラスターの読み取りおよび書き込みリソースを使用します。これにより、データベースサーバーの負荷が増加する可能性があります。ソースデータベースのログに基づく増分同期モードでは、DTSはdts_cdc_sync_ddlという名前のトリガー、dts_sync_progressという名前のハートビートテーブル、およびdts_cdc_ddl_historyという名前のDDL履歴テーブルをソースデータベースに作成し、データ移行のレイテンシが正確であることを保証します。ハイブリッドログベースの構文解析増分同期モードでは、DTSはdts_cdc_sync_ddlという名前のトリガー、dts_sync_progressという名前のハートビートテーブル、およびdts_cdc_ddl_historyという名前のDDL履歴テーブルを作成し、ソースデータベースと特定のテーブルのCDCを有効にします。ソースデータベースでCDCが有効になっているテーブルの1秒あたりの最大レコード数を1,000に設定することを推奨します。完全データ移行中、同時INSERT操作により、ターゲットデータベースのテーブルが断片化されます。完全データ移行が完了すると、移行先データベースの使用表領域のサイズが移行元データベースのサイズよりも大きくなります。 DTS以外のツールを使用してターゲットデータベースにデータを書き込むと、ソースデータベースとターゲットデータベースの間でデータの不整合が発生する可能性があります。
特別なケース	ソースインスタンスがApsaraDB RDS for SQL Serverインスタンスの場合、DTSは自動的に`rdsdt_dtsacct`という名前のアカウントをApsaraDB RDS for SQL Serverインスタンスに作成します。このアカウントはデータ移行に使用されます。データ移行タスクの実行中は、このアカウントを削除したり、このアカウントのパスワードを変更したりしないでください。そうしないと、タスクが失敗する可能性があります。詳細については、「システムアカウント」をご参照ください。

課金

移行タイプ	タスク設定料金	データ転送料金
スキーマの移行	無料です。	この例では無料です。説明インターネット経由でAlibaba Cloudからデータが移行された場合にのみ課金されます。詳細については、「課金の概要」をご参照ください。
増分データ移行	有料。詳細については、「課金の概要」をご参照ください。

増分移行可能なSQL操作

操作タイプ	SQL文
DML	挿入、更新、および削除

データベースアカウントに必要な権限

インスタンス	スキーマ移行	増分データ移行	関連ドキュメント
ApsaraDB RDS for SQL Serverインスタンスのソース	移行するオブジェクトの読み取り権限	移行するオブジェクトに対する所有者権限	特権アカウントまたは標準アカウントの作成とアカウントの権限の変更

手順

[データ移行タスク] ページに移動します。
1. データ管理 (DMS) コンソールにログインします。
2. 上部のナビゲーションバーで、ポインタをDTSの上に移動します。
3. DTS (DTS) > データ移行を選択します。
説明
- 実際の操作は、DMSコンソールのモードとレイアウトによって異なります。詳細については、「シンプルモード」および「DMSコンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。
- 新しいDTSコンソールのデータ移行ページに行くこともできます。
データ移行タスクの右側にあるドロップダウンリストから、データ移行インスタンスが存在するリージョンを選択します。
説明
新しいDTSコンソールを使用する場合は、左上隅にデータ移行インスタンスが存在するリージョンを選択する必要があります。

[タスクの作成] をクリックします。 [タスクの作成] ページで、ソースデータベースとターゲットデータベースを設定します。次の表にパラメーターを示します。

警告

ソースデータベースとターゲットデータベースを設定した後、ページの上部に表示される制限を読むことを推奨します。そうしないと、タスクが失敗したり、データの不一致が発生します。

セクション	パラメーター	説明
非該当	タスク名	タスクの名前。タスク名は自動生成されます。タスクを識別するために、有益な名前を指定することを推奨します。一意のタスク名を指定する必要はありません。
移行元データベース	既存の DMS データベースインスタンスを選択します。(任意です。DMS データベースインスタンスが未登録の場合は、このオプションを無視して、以下のセクションでデータベース設定を行ってください。)	使用するデータベースインスタンス。ビジネス要件に基づいて、既存のインスタンスを使用するかどうかを選択できます。既存のインスタンスを選択すると、DTSはデータベースのパラメーターを自動的に入力します。既存のインスタンスを選択しない場合は、次のデータベース情報を設定する必要があります。
	データベースタイプ	移行元ディスクのタイプを設定します。 SQL Server を選択します。
	アクセス方法	ソースデータベースのアクセス方法。 Alibaba Cloud インスタンスを選択します。
	インスタンスのリージョン	ソースApsaraDB RDS for SQL Serverインスタンスが存在するリージョン。
	Alibaba Cloud アカウント間でデータを複製	Alibaba Cloudアカウント間でデータを移行するかどうかを指定します。この例では、× が選択されています。
	RDS インスタンス ID	ソースApsaraDB RDS for SQL ServerインスタンスのID。
	データベースアカウント	ソースApsaraDB RDS for SQL Serverインスタンスのデータベースアカウント。アカウントに必要な権限の詳細については、このトピックの「データベースアカウントに必要な権限」をご参照ください。
	データベースのパスワード	データベースインスタンスへのアクセスに使用されるパスワード。
移行先データベース	既存の DMS データベースインスタンスを選択します。(任意です。DMS データベースインスタンスが未登録の場合は、このオプションを無視して、以下のセクションでデータベース設定を行ってください。)	使用するデータベースインスタンス。ビジネス要件に基づいて、既存のインスタンスを使用するかどうかを選択できます。既存のインスタンスを選択すると、DTSはデータベースのパラメーターを自動的に入力します。既存のインスタンスを選択しない場合は、次のデータベース情報を設定する必要があります。
	データベースタイプ	ターゲットデータベースのタイプ。 DataHub を選択します。
	アクセス方法	ターゲットデータベースのアクセス方法。 Alibaba Cloud インスタンスを選択します。
	インスタンスのリージョン	ターゲットDataHubプロジェクトが存在するリージョン。
	プロジェクト	ターゲットDataHubプロジェクトの名前。プロジェクト

ページの下部で、[接続のテストと続行] をクリックします。
、ソースまたはターゲットデータベースがAlibaba Cloudデータベースインスタンス (ApsaraDB RDS for MySQL、ApsaraDB for MongoDBインスタンスなど) の場合、DTSは自動的にDTSサーバーのCIDRブロックをインスタンスのIPアドレスホワイトリストに追加します。ソースデータベースまたはターゲットデータベースがElastic Compute Service (ECS) インスタンスでホストされている自己管理データベースの場合、DTSサーバーのCIDRブロックがECSインスタンスのセキュリティグループルールに自動的に追加されます。ECSインスタンスがデータベースにアクセスできることを確認する必要があります。自己管理データベースが複数のECSインスタンスでホストされている場合、DTSサーバーのCIDRブロックを各ECSインスタンスのセキュリティグループルールに手動で追加する必要があります。ソースデータベースまたはターゲットデータベースが、データセンターにデプロイされているか、サードパーティのクラウドサービスプロバイダーによって提供される自己管理データベースである場合、DTSサーバーのCIDRブロックをデータベースのIPアドレスホワイトリストに手動で追加して、DTSがデータベースにアクセスできるようにする必要があります。詳細については、「DTSサーバーのCIDRブロックの追加」トピックの「DTSサーバーのCIDRブロック」セクションをご参照ください。
警告
DTSサーバーのパブリックCIDRブロックがデータベースインスタンスのホワイトリストまたはECSインスタンスのセキュリティグループルールに自動的または手動で追加されると、セキュリティリスクが発生する可能性があります。したがって、DTSを使用してデータを移行する前に、潜在的なリスクを理解して認識し、ユーザー名とパスワードのセキュリティの強化、公開されるポートの制限、API呼び出しの認証、ホワイトリストまたはセキュリティグループルールの定期的なチェック、CIDRブロックの禁止、またはExpress Connectを使用したデータベースインスタンスのDTSへの接続、VPNゲートウェイ、またはSmart Access Gateway。

移行するオブジェクトと詳細設定を構成します。次の表にパラメーターを示します。

パラメーター	説明
移行タイプ	スキーマ移行と増分データ移行のみ選択できます。完全データ移行は選択できません。説明増分データ移行が選択されていない場合、データ移行中にソースデータベースにデータを書き込まないことを推奨します。これにより、ソースデータベースとターゲットデータベース間のデータの整合性が確保されます。
追加列の命名規則	DTSがDataHubプロジェクトにデータを移行すると、DTSは移行先トピックに追加の列を追加します。追加の列の名前がターゲットトピックの既存の列の名前と同じである場合、データ移行は失敗します。ビジネス要件に基づいて、このパラメーターに新規ルールまたは前のルールを選択できます。警告このパラメーターを設定する前に、追加の列にターゲットトピックの既存の列と名前が競合しているかどうかを確認します。競合が存在する場合、データ移行タスクが失敗するか、データが失われる可能性があります。詳細については、「追加の列の命名規則の変更」をご参照ください。
競合するテーブルの処理モード	エラーの事前チェックと報告: ターゲットデータベースに、ソースデータベースのテーブルと同じ名前を使用するテーブルが含まれているかどうかを確認します。ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合は、事前チェックに合格します。それ以外の場合、事前チェック中にエラーが返され、データ移行タスクを開始できません。説明ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれていて、ターゲットデータベース内のテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに移行されるテーブルの名前を変更できます。詳細については、「マップオブジェクト名」をご参照ください。エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。警告エラーを無視して続行を選択すると、データの不整合が発生し、ビジネスが次の潜在的なリスクにさらされる可能性があります。ソースデータベースとターゲットデータベースが同じスキーマを持ち、データレコードがターゲットデータベースの既存のデータレコードと同じプライマリキーを持つ場合、次のシナリオが発生する可能性があります。完全データ移行中、DTSはデータレコードを移行先データベースに移行しません。ターゲットデータベースの既存のデータレコードが保持されます。増分データ移行中に、DTSはデータレコードを移行先データベースに移行します。ターゲットデータベースの既存のデータレコードが上書きされます。ソースデータベースとターゲットデータベースのスキーマが異なる場合、特定の列のみが移行されるか、データ移行タスクが失敗します。作業は慎重に行ってください。
移行先インスタンスでのオブジェクト名の大文字化	ターゲットインスタンスのデータベース名、テーブル名、および列名の大文字化。デフォルトでは、DTSデフォルトポリシーが選択されています。他のオプションを選択して、オブジェクト名の大文字化がソースまたはターゲットデータベースの大文字化と一致していることを確認できます。詳細については、「ターゲットインスタンスのオブジェクト名の大文字化の指定」をご参照ください。
ソースオブジェクト	ソースオブジェクトセクションから1つ以上のオブジェクトを選択します。アイコンをクリックして、選択中のオブジェクトセクションにオブジェクトを追加します。説明移行するオブジェクトとして、列、テーブル、またはデータベースを選択できます。
選択中のオブジェクト	移行先インスタンスに移行するオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。詳細については、「単一オブジェクトの名前のマッピング」をご参照ください。一度に複数のオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションの右上隅にある [一括編集] をクリックします。詳細については、「一度に複数のオブジェクト名をマップする」をご参照ください。説明データベース名はマッピングできません。オブジェクト名マッピング機能を使用してデータベースの名前を変更すると、データベースに依存する他のオブジェクトの移行に失敗する可能性があります。データをフィルタリングするWHERE条件を指定するには、選択中のオブジェクトセクションでオブジェクトを右クリックします。表示されるダイアログボックスで、条件を指定します。詳細については、「フィルター条件の指定」をご参照ください。特定のデータベースまたはテーブルで実行されたSQL操作を段階的に移行するには、選択中のオブジェクトセクションでオブジェクトを右クリックします。表示されるダイアログボックスで、段階的に移行するSQL操作を選択します。詳細については、このトピックの「SQL操作を段階的に移行できる」をご参照ください。

[次へ：詳細設定] をクリックして詳細設定を構成します。

パラメータまたは設定	説明
タスクのスケジュールに使用する専用クラスターの選択	デフォルトでは、DTSはタスクを共有クラスターにスケジュールします。このパラメーターを設定する必要はありません。指定された仕様の専用クラスターを購入して、データ移行タスクを実行できます。詳細については、「DTS専用クラスターとは」をご参照ください。
アラートの設定	データ移行タスクのアラートを設定するかどうかを指定します。タスクが失敗するか、移行の待ち時間が指定されたしきい値を超えると、アラート送信先は通知を受け取ります。有効な値： No: アラートを設定しません。 Yes: アラートを設定します。この場合、アラートしきい値とアラート通知設定詳細については、「モニタリングとアラートの設定」トピックの「DTSタスクを作成するときのモニタリングとアラートの設定」をご参照ください。
失敗した接続の再試行時間	失敗した接続のリトライ時間範囲。データ移行タスクの開始後にソースデータベースまたはターゲットデータベースの接続に失敗した場合、DTSは再試行時間範囲内ですぐに接続を再試行します。有効な値: 10 ~ 1440 単位は分です。デフォルト値: 720 パラメーターを30より大きい値に設定することを推奨します。指定した再試行時間内にDTSがソースデータベースとターゲットデータベースに再接続された場合、DTSはデータ移行タスクを再開します。それ以外の場合、データ移行タスクは失敗します。説明同じソースまたはターゲットデータベースを共有する複数のデータ移行タスクに対して異なるリトライ時間範囲を指定した場合、後で指定される値が優先されます。 DTSが接続を再試行すると、DTSインスタンスに対して課金されます。業務要件に基づいて再試行時間範囲を指定することを推奨します。ソースデータベースとターゲットインスタンスがリリースされた後、できるだけ早くDTSインスタンスをリリースすることもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。	その他の問題の再試行時間範囲。たとえば、データ移行タスクの開始後にDDLまたはDML操作の実行に失敗した場合、DTSは再試行時間範囲内ですぐに操作を再試行します。有効な値: 1 ~ 1440 単位は分です。デフォルト値は 10 です。パラメーターを10より大きい値に設定することを推奨します。指定された再試行時間内に失敗した操作が正常に実行された場合、DTSはデータ移行タスクを再開します。それ以外の場合、データ移行タスクは失敗します。重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。パラメーターの値は、失敗した接続の再試行時間パラメーターの値よりも小さくする必要があります。
完全なデータ移行のスロットリングを有効化	増分データ移行タスクのスロットリングを有効にするかどうかを指定できます。 [はい] を選択した場合、移行先クラスターの負荷を軽減するために、ビジネス要件に基づいて増分データ移行の RPS および増分データ移行の BPS パラメーターを設定できます。説明このパラメーターは、移行タイプとして増分データ移行を選択した場合にのみ設定できます。移行タイプ
環境タグ	DTSインスタンスを識別するために使用される環境タグ。ビジネス要件に基づいて環境タグを選択できます。この例では、環境タグは選択されていません。
ETL の設定	抽出、変換、および読み込み (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETLとは何ですか?」をご参照ください。有効な値： Yes: ETL機能を設定します。コードエディターでデータ処理ステートメントを入力できます。詳細については、「データ移行またはデータ同期タスクでのETLの設定」をご参照ください。 No: ETL機能を設定しません。

ページの下部で、次：タスク設定の保存と事前チェック をクリックします。
ポインタを 次：タスク設定の保存と事前チェック に移動し、[OpenAPIパラメーターのプレビュー] をクリックして、関連するAPI操作を呼び出してDTSタスクを設定するときに指定するパラメーターを表示できます。
説明
- データ移行タスクを開始する前に、DTSは事前チェックを実行します。データ移行タスクは、タスクが事前チェックに合格した後にのみ開始できます。
- タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析した後、問題のトラブルシューティングを行います。次に、もう一度プレチェックを実行します。
- 事前チェック中にアイテムに対してアラートがトリガーされた場合:
  アラートアイテムを無視できない場合は、失敗したアイテムの横にある [詳細の表示] をクリックして問題のトラブルシューティングを行います。次に、もう一度プレチェックを実行します。
  アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されたメッセージボックスで、[OK] をクリックします。次に、[再度事前チェック] をクリックして、事前チェックを再度実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
成功率が100% になるまで待ちます。次に、[次へ: インスタンスの購入] をクリックします。

[インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを設定します。下表にパラメーターを示します。

セクション	パラメーター	説明
新しいインスタンスクラス	リソースグループ	データ移行インスタンスが属するリソースグループ。デフォルト値: Default resource group 詳細については、「リソース管理とは」をご参照ください。
新しいインスタンスクラス	インスタンスクラス	DTSは、移行速度が異なるインスタンスクラスを提供します。ビジネスシナリオに基づいてインスタンスクラスを選択できます。詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。

読んで同意するデータ伝送サービス (従量課金) サービス規約チェックボックスを選択します。
[購入して開始] をクリックします。表示されるメッセージで、 [OK] をクリックします。
[データ移行] ページでタスクの進行状況を確認できます。