データ移行
データ移行機能は、同種または異種のデータソース間でデータを移行するのに役立ちます。 この機能は、クラウドへのデータ移行、Alibaba cloud内のインスタンス間のデータ移行、データベースの分割とスケーリングなどのシナリオに適しています。
カテゴリ | 機能 | 説明 | 関連ドキュメント |
均一な移行 | 論理的移行 | この機能により、同種データベース間でデータを移行できます。 | |
物理的な移行 | この機能により、物理ゲートウェイを使用して、自己管理データベースからクラウドにデータを移行できます。 | ||
異種移行 | 論理的移行 | この機能により、異種データベース間でデータを移行できます。 | |
トラフィックのcutover | クラウドへのデータベースの切り替え | この機能は、データベースとアプリケーションの評価と変革を完了した後、ビジネスをクラウドデータベースにスムーズに移行するのに役立ちます。 | |
定期的なタスク | スケジュールされた完全移行 | この機能を使用すると、データ統合機能のスケジューリングポリシー設定を使用して、スキーマデータと履歴データをソースデータベースからターゲットデータベースに定期的に移行できます。 | |
アカウントの移行 | フルアカウント移行 | 同期または移行タスクを設定すると、アカウント移行機能を有効にして、パスワードやアクセス許可を含むアカウントをソースデータベースからターゲットデータベースに簡単に移行できます。 |
データ同期
データ同期機能は、データソース間のデータをリアルタイムで同期するのに役立ちます。 この機能は、アクティブな地理的冗長性、地理的ディザスタリカバリ、ゾーンディザスタリカバリ、国境を越えたデータ同期、クラウドベースのビジネスインテリジェンス (BI) システム、リアルタイムデータウェアハウジングなど、さまざまなビジネスシナリオに適しています。
カテゴリ | 機能 | 説明 | 関連ドキュメント |
同期インスタンス管理 | いくつかの簡単なステップで災害復旧の切り替えを逆にする | この機能により、期待どおりに実行されている同期インスタンスに対して、いくつかの簡単な手順でリバースインスタンスを作成できます。 リバース・インスタンスを使用して、増分データを同期先データベースからソース・データベースに戻すことができます。 | |
ディザスタリカバリとマルチアクティブ冗長性 | 双方向同期 | この機能により、ApsaraDB RDS for MySQLデータベースと自己管理型MySQLデータベースなどの2つのデータベース間のリアルタイムの双方向データ同期を設定できます。 この機能は、セルラーアーキテクチャに基づくアクティブな地理的冗長性や地理的災害復旧などのさまざまなシナリオに適しています。 | |
いくつかの簡単な手順による双方向同期インスタンスの方向切り替え | この機能により、双方向同期インスタンスの方向を切り替えることができます。 プライマリデータベースとセカンダリデータベース、または2つのクラウドプラットフォーム間で切り替える必要がある場合は、新しいインスタンスを設定することなく、既存の双方向同期インスタンスの方向を簡単に切り替えることができます。 | ||
グローバルアクティブデータベース (GAD) クラスター | ApsaraDB RDSおよびData Transmission Service (DTS) に基づいてGADクラスターを作成できます。 これにより、データベースのディザスタリカバリを実装し、ユーザーが最も近いリソースにアクセスできるようになります。 | 非該当 | |
同期トポロジ管理 | この機能により、同期タスクの同期トポロジを一方向同期から双方向同期にアップグレードして、進化するビジネス要件を満たすことができます。 | ||
競合検出および解決ポリシーの管理 | 競合の検出 | この機能を使用すると、INSERT操作による一意性の競合、UPDATE操作による一貫性のないレコード、削除される存在しないレコードなどの競合を検出できます。 | 非該当 |
紛争解決 | 次の競合解決ポリシーがサポートされています: TaskFailed、Ignore、およびOverwrite。 TaskFailedポリシーは、システムがエラーを報告し、競合が発生したときにタスクを終了することを指定します。 Ignoreポリシーでは、競合が発生したときにシステムが宛先インスタンスの競合レコードを使用するように指定します。 上書きポリシーは、システムがターゲットインスタンスの競合するレコードを上書きすることを指定します。 | 非該当 | |
異種同期 | リアルタイムデータウェアハウスへの同期 | この機能により、データをリアルタイムのデータウェアハウスに同期して、高スループットのオフライン処理と高性能なオンライン分析を実行できます。 | ApsaraDB RDS for MySQLインスタンスからAnalyticDB for MySQL V3.0クラスターへのデータの同期 |
非データベース同期 | この機能を使用すると、function Computeの指定された関数にデータを同期できます。 関数コードを記述してデータを処理できます。 | ||
異種データベース同期 | この機能により、異種データベース間でデータを同期できます。 | ||
データ配信 | データ出荷チャネル | データ配送インスタンスを作成して、データ配送チャネルを確立できます。 これにより、データ配布SDKを使用して、データソースからDTSにデータを送信できます。 | |
データ出荷SDK | data shipping SDKを使用して、さまざまなデータソースからDTSにデータを送信し、DTSから宛先データベースにデータを同期できます。 これにより、サポートされるデータソースのタイプが拡張されます。 | ||
同種の同期 | 論理的に同種のデータベース間のリアルタイム同期 | この機能により、同種データベース間でデータを同期できます。 |
変更の追跡
変更追跡機能は、データベースからリアルタイムの増分データを取得するのに役立ちます。 ビジネス要件に基づいて増分データを消費し、増分データをターゲットデータベースに書き込むことができます。 これにより、キャッシュの更新、非同期ビジネスの分離、異種データソース間のリアルタイムデータ同期、複雑な抽出、変換、および読み込み (ETL) 操作を伴うビジネスシナリオなど、さまざまなビジネスシナリオを実装できます。
カテゴリ | 機能 | 説明 | 関連ドキュメント |
変更の追跡 | 追跡チャネルの変更 | 変更追跡インスタンスを作成して、データベースのリアルタイムの増分データ変更を取得できます。 | |
変更トラッキングSDK | SDKクライアントデモ、flink-dts-connector、またはKafkaクライアントデモを使用して、追跡データを表示できます。 次に、SDKクライアント、Flinkクライアント、またはKafkaクライアントを使用して、変更追跡チャネルのデータを使用できます。 | 追跡データを消費する | |
変更追跡インスタンスのトラフィック管理 | 変更追跡インスタンスのソースデータベースとしてMySQLデータベースを指定した場合、システムは、選択した設定料金タイプに基づいてデータ転送料金を請求するかどうかを決定します。 |
タスク管理
DTSタスク管理
カテゴリ | 機能 | 説明 | 関連ドキュメント |
タスク管理 | タスクの作成と設定 | さまざまなデータソース間でDTSタスクを作成できます。 DTSインスタンスの購入前または購入後にDTSタスクを設定するかどうかを決定できます。 | |
タスクスケジューリング | デフォルトでは、DTSはタスクを共有クラスターにスケジュールします。 詳細設定で専用クラスターを選択して、タスクをスケジュールできます。 | 非該当 | |
タスクの監視 | DTSコンソールでは、DTSとソースデータベースおよびターゲットデータベース間の接続のステータス、およびDTSインスタンスのさまざまなパフォーマンスメトリックを取得できます。 取得した情報を参照して、DTSタスクを管理できます。 | ||
タスク診断 | 増分移行中に、移行元データベース、移行先データベース、ネットワーク、およびDTSのパフォーマンスを確認できます。 DTSは、診断結果および提案を提供する。 | ||
タスクの変更 | インスタンスの環境タグを管理したり、データ同期インスタンスの実行時に同期するオブジェクトを追加または削除したり、データ同期または移行インスタンスのETL設定を変更したりできます。 | ||
タスクの削除 | 追加料金を防ぐために、DTSインスタンスのすべてのDTSタスクが完了し、DTSインスタンスの設定が不要になった場合は、従量課金DTSインスタンスを手動でリリースするか、サブスクリプションDTSインスタンスのサブスクリプションを解除できます。 | ||
クロスアカウントアクセス | この機能を使用すると、Alibaba Cloudアカウント全体のリソース移行やマージ、ビジネスアーキテクチャの調整などのシナリオに合わせて、Alibaba Cloudアカウント全体でDTSタスクを設定できます。 | ||
ハイブリッドクラウドでのクロスクラウドアクセス | パブリックIPアドレスを使用してデータベースにアクセスし、パブリッククラウドのアカウントと金融クラウドのアカウントなど、属性の異なるアカウント間でデータを移行できます。 | 非該当 | |
操作ログ | インスタンスの操作ログを照会して、インスタンスの操作、操作結果、および演算子に関する情報を取得できます。 | ||
データベース接続管理 | 事前にデータベースを登録できます。 タスクを設定するときに、登録済みデータベースを直接選択できます。 DTSは、データベース情報を手動で入力する必要なく、データベース情報を自動的に入力します。 | ||
API | Alibaba Cloud pctowapオープンプラットフォーム (POP) API操作 | OpenAPI ExplorerでAPI操作を呼び出してデバッグできます。 | |
SDK | SDKを使用してAPI操作を呼び出すことができます。 | ||
テラフォーム | オープンソースツールTerraformがサポートされています。 | 非該当 | |
ネットワーク管理 | クロスリージョン接続 | この機能により、異なるリージョンにあるソースデータベースとターゲットデータベース間でデータを送信できます。 | |
データ圧縮と伝送 | DTSは、帯域幅の使用を最小限に抑えるために、同時データ圧縮と送信をサポートします。 | ||
内部エンドポイントを介したアクセス | DTSを使用すると、内部エンドポイントを介して仮想プライベートクラウド (VPC) のソースまたはターゲットデータベースに接続できます。 | 非該当 | |
Database Gateway | database Gatewayを使用してデータベースをDTSに接続できます。 | データベースゲートウェイを使用してオンプレミスデータベースまたはサードパーティクラウドでホストされているデータベースをAlibaba cloudに接続する | |
インターネット経由のアクセス | パブリックIPアドレスを使用してデータベースをDTSに接続できます。 | ||
国境を越えたデータ伝送 | デフォルトでは、DTSは同じ国または地域内のデータ同期のみをサポートします。 | ||
イベントセンター | イベント通知 | CloudMonitorのイベントサブスクリプション機能を使用して、重要なイベントのカスタムアラート通知を設定できます。 これにより、イベントの発生と進行状況を迅速に把握し、イベントのダイナミクスをリアルタイムで通知し、業務中断時の問題を効率的に分析および特定できます。 | |
プロアクティブO&Mプラットフォーム | O&Mイベントアラート機能がサポートされています。 DTSインスタンスが期待どおりに実行されないリスクをシステムが検出すると、対応するO&Mイベントがトリガーされ、コンソール、電子メール、または内部メッセージを使用して通知が送信されます。 | ||
Serverless インスタンス | サーバーレスインスタンス管理 | サーバーレスインスタンスの一時停止、メトリックデータの表示、DTS単位 (DU) の上限と下限の変更を行うことができます。 | 非該当 |
専用クラスター | DU管理 | 専用クラスター用に作成されたDUとDUの使用状況を表示できます。 専用クラスター内のタスクのDU数を変更して、タスクの仕様を調整することもできます。 | |
ディスク構成の変更 | 専用クラスターのディスク使用率が高すぎてビジネス要件を満たすことができない場合は、専用クラスターのディスク容量を拡張して、専用クラスターのディスク容量がビジネス要件を満たすようにすることができます。 | ||
専用クラスターとパブリッククラスター間のDTSインスタンスの移行 | 専用クラスターとパブリッククラスター間でDTSインスタンスを移行できます。 | ||
専用クラスター管理 | 専用クラスターを手動で更新したり、専用クラスターのノード設定を変更したり、専用クラスターのオーバーコミット率を指定したりできます。 | ||
セキュリティ | データ暗号化 | DTSは、データベースへのSSL保護接続をサポートします。 | |
操作の分離 | DTSにアクセスするために最低限必要な権限が付与されている、RAMユーザーとRAMロールを含むResource Access Management (RAM) IDを使用できます。 これにより、データのセキュリティが向上し、権限の悪用によるセキュリティリスクが軽減されます。 | 非該当 | |
アカウント権限管理 | システムポリシーを使用して、指定されたAlibaba Cloudアカウント内のApsaraDB RDSおよびElastic Computer Service (ECS) インスタンスなどのリソースへのアクセスを許可できます。 これにより、十分な権限を持つデータベースアカウントを使用してDTSタスクを実行できます。 | ||
信頼性 | 高可用性 (HA) クラスター | DTSは、各データ同期または移行インスタンスのパフォーマンスを確保するために、高い仕様のサーバーを使用します。 | |
再開可能なアップロード | DTSは自動再開可能アップロードをサポートし、データ伝送の信頼性を効果的に保証します。 | ||
データソースのディザスタリカバリ保護 | ソースデータベースまたはターゲットデータベースに接続できない場合、またはその他の問題が発生した場合、DTSは即時および継続的な再試行操作をサポートします。 | 非該当 |
データ統合
ドラッグアンドドロップ操作を実行するか、Flink SQL文を実行してETLタスクを設定できます。 ETL機能は、DTSのデータレプリケーション機能と統合されており、ストリーミングデータの抽出、データの変換と処理、およびデータの読み込みを実装します。 これにより、開発の障壁やビジネスシステムへの悪影響を軽減し、効率を向上させ、リアルタイムのデータ処理とコンピューティングシナリオを充実させ、企業のデジタル変革を可能にします。
カテゴリ | 機能 | 説明 | 関連ドキュメント |
読み書き分離とトラフィック分散 | トランザクション処理のリアルタイムキャッシュ | 自己管理型MySQLデータベースやApsaraDB RDS for MySQLデータベースなどのMySQLデータベースからTairまたはTair (Redis OSS-Compatible)インスタンスにデータを移行できます。 これにより、バックエンドのリレーショナルデータベースの負荷が軽減され、ユーザーエクスペリエンスが向上します。 | |
メタデータのフィルタリングとマッピング | データベース、テーブル、および列のフィルタリング | DTSタスクのオブジェクトを構成するときに、データベース、テーブル、および列をタスクオブジェクトとして選択できます。 | 非該当 |
DDLおよびDMLステートメントを使用したフィルタリング | データ移行タスクまたはデータ同期タスクのオブジェクトを構成する場合、SQL文を実行して、増分同期または移行が必要なデータをフィルタリングできます。 | 非該当 | |
データベース、テーブル、列名のマッピング | データ移行タスクまたはデータ同期タスクのオブジェクトを設定する場合、ターゲットインスタンスのデータベース、テーブル、列などのタスクオブジェクトの名前を指定できます。 この機能を使用して、ターゲットインスタンス内の指定されたオブジェクトにデータを同期または移行できます。 ターゲットインスタンスのソースオブジェクトと同じスキーマを持つオブジェクトを作成し、新しいオブジェクトに別の名前を割り当てることもできます。 | ||
トポロジマッピング | データ同期機能は、複数のタイプの同期トポロジをサポートします。 ビジネス要件に基づいてデータ同期インスタンスを計画できます。 | ||
データのフィルタリングとマッピング | WHERE条件ベースのフィルタリング | データ同期または移行タスクのオブジェクトを構成する場合、SQL条件を指定して、指定された条件を満たすデータのみを移行先データベースに同期または移行できます。 | |
データ型マッピング | 異種データベース間でデータを同期または移行する場合、スキーマの同期または移行中にデータ型のマッピングが実行されます。 このようにして、ソースデータベースのデータ型は、ターゲットデータベースでサポートされているデータ型に変換されます。 |
データ検証
データ検証機能は、ソースデータベースとターゲットデータベース間のデータの違いを監視するためにDTSによって提供されます。 ダウンタイムなしで、ソースデータベースとターゲットデータベースのデータ検証を実行できます。 これにより、データとスキーマの不一致をできるだけ早く検出することができます。
カテゴリ | 機能 | 説明 | 関連ドキュメント |
均質検証 | メタデータ検証 | この機能により、同種データのスキーマを検証できます。 | |
完全なデータ検証 | この機能により、同種データベースの履歴データを検証できます。 | ||
増分データ検証 | この機能により、同種データベース間で同期または移行された増分データを検証できます。 | ||
異種検証 | メタデータの等価性検証 | この機能により、異種データのスキーマを検証できます。 | |
完全なデータ検証 | この機能により、異種データベースの履歴データを検証できます。 | ||
増分データ検証 | この機能により、異種データベース間で同期または移行された増分データを検証できます。 | ||
データ修正 | メタデータ修正 | データ検証中にデータスキーマの不整合が検出された場合は、検証結果に基づいてデータを修正できます。 | |
完全なデータ修正 | データ検証中に完全なデータの不整合が検出された場合は、改訂されたSQL文をダウンロードして、検証結果に基づいてデータを修正できます。 | ||
増分データ修正 | データ検証中に増分データの不整合が検出された場合は、検証結果に基づいてデータを修正できます。 |
シナリオベースのソリューション
シナリオベースのDTSソリューション
カテゴリ | 機能 | 説明 | 関連ドキュメント |
ZeroETL | PolarDB for MySQLクラスターからAnalyticDB for MySQL 3.0クラスターへの同期 | フェデレーション分析をAnalyticDB for MySQLのAnalyticDBパイプラインサービス (APS) 機能と一緒に使用して、PolarDB for MySQLからAnalyticDB for MySQL data Lakehouse Edition (V3.0) にリアルタイムでデータを同期できます。 これにより、データの同期と管理が容易になります。 |