すべてのプロダクト
Search
ドキュメントセンター

Object Storage Service:データをOSSに移行する方法

最終更新日:Dec 10, 2024

このトピックでは、データをObject Storage Service (OSS) またはOSS-HDFSに移行する方法について説明します。

OSSへのデータの移行

ローカルデバイス、サードパーティストレージデバイス、またはソースバケットから宛先バケットにデータを移行できます。 次の表に、データをOSSに移行するために使用できる方法を示します。

移行方法

説明

関連ドキュメント

データオンライン移行

Data Online Migrationを使用して、サードパーティのデータストレージデバイスからOSSにデータを移行できます。 移行タスク用の環境を設定する必要はありません。 移行ジョブをオンラインで送信し、移行プロセスを監視できます。

ossimport

ローカルストレージデバイス、Qiniu Cloud Object storage (KODO) 、Baidu Object Storage (BOS) 、Amazon Simple Storage Service (Amazon S3) 、Azure Blob、UPYUN Storage Service (USS) 、Tencent Cloud Object Service (COS) 、Kingsoft Standard Storage Service (KS3) 、HTTP、OSSからの履歴データを含む、さまざまなソースからOSSにバッチで移行します。 ビジネス要件に基づいて追加のソースを指定できます。

ossimportを使用したデータの移行

ossutil

大量の履歴データをさまざまなソースからOSSにバッチで移行します。

ossutil

ミラーリングベースのback-to-origin

オリジンからOSSにデータをシームレスに移行します。 サービスを中断することなく、オリジンまたは他のクラウドサービスからOSSにビジネスを移行できます。 ossimportが履歴データをOSSに移行し、ビジネスがOSSで実行された後、要求されたデータがOSSに存在しない場合、ミラーリングベースのback-to-originがトリガーされ、要求されたデータがオリジンから取得され、データがOSSにダウンロードされます。

たとえば、ミラーリングベースのback-to-originルールを使用して、サービスを中断することなく、自己管理オリジンまたは別のクラウドサービスからOSSにビジネスを移行できます。 移行中にミラーリングベースのback-to-originルールを使用して、OSSに移行されていないデータを取得できます。 これにより、ビジネスの継続性が確保されます。

Back-to-Origin

データレプリケーション

OSSデータレプリケーション機能を使用して、同じリージョン内のバケット間、または同じアカウント内のリージョン間、またはアカウント間でオブジェクトをレプリケートします。

Data Transport

ローカルデータセンターからOSSにテラバイトからペタバイトのデータを移行します。

データ転送とは

OSS API操作またはOSS SDK

OSS API操作を呼び出すか、OSS SDKを使用してプログラムでデータをOSSに移行します。 この移行方法は、開発者に特に適しています。

OSS外部テーブル (gpossext)

AnalyticDB for PostgreSQLのOSS外部テーブル (gpossext) 機能を使用して、OSSテーブルからデータをインポートしたり、OSSテーブルにデータをエクスポートしたりします。

Jindo DistCp

大規模クラスター内またはクラスター間でファイルをコピーします。 Jindo DistCpは、MapReduceを使用してファイルの配布、エラーの処理、データの復元を行います。 ファイルとディレクトリのリストは、MapReduceタスクの入力として使用されます。 各タスクは、入力リストから特定のファイルとディレクトリをコピーします。

HDFSからOSSへのデータの移行

データをOSS-HDFSに移行する

OSS-HDFS (JindoFS) は、クラウドネイティブのデータレイクストレージサービスです。 OSS-HDFSは統合メタデータ管理機能を提供し、Hadoop分散ファイルシステム (HDFS) APIと完全に互換性があります。 OSS-HDFSはまた携帯用オペレーティングシステムインターフェイス (POSIX) を支えます。 OSS-HDFSにより、ビッグデータおよびAI分野のデータレイクベースのコンピューティングシナリオでデータを管理できます。 OSS-HDFSが有効になっているOSS-HDFSまたはバケット間でデータを移行できます。 次の表に、データをOSS-HDFSに移行するために使用できる方法を示します。

移行方法

説明

関連ドキュメント

Jindo DistCp

大規模クラスター内またはクラスター間でファイルをコピーします。 Jindo DistCpは、MapReduceを使用してファイルの配布、エラーの処理、データの復元を行います。 ファイルとディレクトリのリストは、MapReduceタスクの入力として使用されます。 各タスクは、入力リストから特定のファイルとディレクトリをコピーします。

JindoDistJob

半ホスト型JindoFSクラスターからOSS-HDFSにファイルの完全なメタデータまたは増分メタデータを移行し、データブロックをコピーする必要はありません。

セミホストJindoFSクラスターからOSS-HDFSへのデータの移行

JindoTableのMoveToコマンド

コマンドが基になるデータをコピーした後、メタデータを自動的に更新します。 このようにして、テーブルまたはパーティション内のデータを宛先パスに完全に移行できます。 多数のパーティションのデータを同時に移行する場合は、MoveToコマンドでフィルター条件を指定できます。 JindoTableは、MoveToコマンドを使用してデータを移行するときに、データの整合性とセキュリティを確保するための保護対策も提供します。

JindoTable MoveToコマンドを使用してHiveテーブルとパーティションをOSS-HDFSに移行

関連ドキュメント