AWS S3 や Tencent Cloud COS などのサードパーティのクラウドストレージサービス、またはオンプレミスのデータセンターから Alibaba Cloud OSS にデータを移行する必要がある場合、従来のデータ移行方法では、複雑な開発が必要で、転送に時間がかかることがよくあります。データオンライン移行は、開発を必要としない、視覚的で統一された移行プラットフォームを提供します。これを使用すると、簡単な構成で、さまざまなソースから OSS に大量のデータを効率的かつ安全に移行できます。
仕組み
このサービスをご利用いただく前に、まず「Object Storage Service (OSS) とは」をご理解いただくことをお勧めします。
データオンライン移行は Data Transmission Service です。そのコア機能は、移行タスクを作成して実行することです。このタスクは、データソース、宛先、および移行ルールを定義します。データオンライン移行は、ソースからデータを読み取り、ネットワーク経由でデータを転送し、指定された OSS バケットにデータを書き込みます。
ソースデータの場所とネットワーク環境に応じて、データオンライン移行は、NAT モードとプロキシモードの 2 つの移行モードを提供します。
モード | シナリオ | 仕組み |
NAT モード | ソースデータは、AWS S3、Tencent Cloud COS、Huawei Cloud OBS など、インターネット経由でアクセスできるサードパーティのクラウドストレージサービスにあります。 | データオンライン移行は、インターネット経由でデータアドレスからデータに直接アクセスしてプルし、宛先の OSS にデータを書き込みます。 |
プロキシモード | ソースデータは、オンプレミスの IDC、ローカルファイルシステム、またはクラウド移行に専用回線や VPN が必要なシナリオなど、インターネット経で直接アクセスできない環境にあります。 | データオンライン移行は、ユーザー側にデプロイされたエージェントを介してデータをプルし、宛先の OSS にデータを転送します。 |
移行タスクを構成する前に、次のコアコンセプトを理解する必要があります。
データアドレス: データソースのアクセス情報を指定します。これは移行のソースまたは宛先になります。データアドレスには、データソースタイプ (例: AWS S3)、バケット、エンドポイント、AccessKey ペアなどのキー情報が含まれます。データオンライン移行は、データアドレスを使用して対応するデータソースにアクセスします。
移行タスク: データオンライン移行のコア操作単位です。移行タスクを実行することで、ソースから宛先のストレージにデータを移行できます。タスクを作成するときは、ソースと宛先のデータアドレスを指定する必要があります。また、トラフィックシェーピング、同名ファイルの上書きポリシー、監査、フィルターなどのパラメーターも構成できます。
プロキシ: データソースをデータオンライン移行に接続するデータブリッジです。これは、ご使用の環境にデプロイするアプリケーションです。データアドレスは、チャンネル内の複数のプロキシに関連付けることができます。データアドレスがプロキシに関連付けられている場合、データオンライン移行はそのプロキシを介してデータソースにアクセスします。
チャンネル: プロキシモードでは、チャンネルはプロキシとデータオンライン移行の間のデータリンクを表す論理的な概念です。1 つのチャンネルに複数のプロキシを含めることができ、各プロキシは 1 つのチャンネルに属します。
主な特徴
サポートされているデータソース
Object Storage Service: Alibaba Cloud OSS、Amazon AWS S3、Tencent Cloud COS、Huawei Cloud OBS、Google Cloud GCS、Microsoft Azure BLOB など。
ローカルファイルシステム: ローカルディスク、サーバーにマウントされた NAS/CPFS など。
HTTP マニフェストファイル: 複数の URL を含むチェックリストファイルです。データオンライン移行は、これらのファイルをバッチでダウンロードして移行します。
移行方法
NAT モードとプロキシモードは、インターネットや専用回線など、さまざまなネットワークシナリオをサポートします。NAT モードまたはプロキシモードを指定する必要はありません。データアドレスがプロキシに関連付けられている場合はプロキシモードが使用され、そうでない場合は NAT モードが使用されます。
NAT モード
NAT モードでは、データオンライン移行はインターネット経由でソースストレージから直接データをプルし、宛先の Alibaba Cloud OSS に書き込みます。このプロシージャ中に、環境にコンポーネントをデプロイする必要はありません。
次の図は、NAT モードを使用してサードパーティのデータソースから Alibaba Cloud OSS にデータを移行する方法を示しています。

プロキシモード
ソースデータと同じネットワーク環境にプロキシをデプロイする必要があります。プロキシはトンネルとして機能します。データオンライン移行は、プロキシを介してソースデータを読み取り、Alibaba Cloud OSS に書き込みます。
次の図は、プロキシモードを使用してサードパーティのデータソースから Alibaba Cloud OSS にデータを移行する方法を示しています。

移行構成オプション
構成項目 | 説明 |
トラフィックシェーピング | タスクの最大帯域幅 (Mbit/s) と 1 秒あたりに移行されるファイル数 (QPS) を制限して、移行がビジネスに影響を与えるのを防ぎます。 |
同名ファイルの処理 | これを [上書きしない]、[すべて上書き]、または [最終更新時刻に基づいて上書き] に構成できます。
|
ファイルフィルター | ファイル名や最終更新時刻などの条件に基づいて移行するファイルをフィルターします。 |
自動スケジューリング | スケジュールされた実行または定期的な実行をサポートして、増分移行または定期的なバックアップを実装します。 |
移行レポート
各タスクの実行後、詳細なレポートが生成されます。レポートには、移行されたファイルの数と合計サイズなどの移行の概要、および各ファイルの移行結果が含まれます。この情報は、監査と検証を容易にします。
使用方法
コンソールを介してデータオンライン移行を管理できます。データオンライン移行コンソールにログオンします。コンソールは、すべての操作に対して直感的で便利な GUI を提供します。
複数のデータアドレスや移行タスクの作成など、バッチおよび自動化されたタスク管理には、Alibaba Cloud が提供する SDK を使用できます。これにより、データアドレスと移行タスクを作成し、データオンライン移行を独自の管理プラットフォームに統合できます。
サービス契約
詳細については、「Data Transport Service Agreement」をご参照ください。
Data Transport サービス契約には、データオンライン移行に関連する条項が含まれています。
関連サービス
データオンライン移行に加えて、Alibaba Cloud はオフライン移行サービスも提供しています。オフライン移行サービスでは、カスタマイズされた移行デバイス (Data Transport) を使用して、テラバイト、さらにはペタバイト規模のオンプレミスデータをクラウドに移行できます。このサービスは、大規模なデータ転送の効率とセキュリティに関連する課題に対処するように設計されています。詳細については、「オフライン移行 (Data Transport)」をご参照ください。