このトピックでは、データをObject Storage Service (OSS) またはOSS-HDFSに移行する方法について説明します。
OSSへのデータの移行
ローカルデバイス、サードパーティストレージデバイス、またはソースバケットから宛先バケットにデータを移行できます。 次の表に、データをOSSに移行するために使用できる方法を示します。
移行方法 | 説明 | 関連ドキュメント |
データオンライン移行 | Data Online Migrationを使用して、サードパーティのデータストレージデバイスからOSSにデータを移行できます。 移行タスク用の環境を設定する必要はありません。 移行ジョブをオンラインで送信し、移行プロセスを監視できます。 | |
ossimport | ローカルストレージデバイス、Qiniu Cloud Object storage (KODO) 、Baidu Object Storage (BOS) 、Amazon Simple Storage Service (Amazon S3) 、Azure Blob、UPYUN Storage Service (USS) 、Tencent Cloud Object Service (COS) 、Kingsoft Standard Storage Service (KS3) 、HTTP、OSSからの履歴データを含む、さまざまなソースからOSSにバッチで移行します。 ビジネス要件に基づいて追加のソースを指定できます。 | |
ossutil | 大量の履歴データをさまざまなソースからOSSにバッチで移行します。 | |
ミラーリングベースのback-to-origin | オリジンからOSSにデータをシームレスに移行します。 サービスを中断することなく、オリジンまたは他のクラウドサービスからOSSにビジネスを移行できます。 ossimportが履歴データをOSSに移行し、ビジネスがOSSで実行された後、要求されたデータがOSSに存在しない場合、ミラーリングベースのback-to-originがトリガーされ、要求されたデータがオリジンから取得され、データがOSSにダウンロードされます。 たとえば、ミラーリングベースのback-to-originルールを使用して、サービスを中断することなく、自己管理オリジンまたは別のクラウドサービスからOSSにビジネスを移行できます。 移行中にミラーリングベースのback-to-originルールを使用して、OSSに移行されていないデータを取得できます。 これにより、ビジネスの継続性が確保されます。 | |
データレプリケーション | OSSデータレプリケーション機能を使用して、同じリージョン内のバケット間、または同じアカウント内のリージョン間、またはアカウント間でオブジェクトをレプリケートします。 | |
Data Transport | ローカルデータセンターからOSSにテラバイトからペタバイトのデータを移行します。 | |
OSS API操作またはOSS SDK | OSS API操作を呼び出すか、OSS SDKを使用してプログラムでデータをOSSに移行します。 この移行方法は、開発者に特に適しています。 | |
OSS外部テーブル (gpossext) | AnalyticDB for PostgreSQLのOSS外部テーブル (gpossext) 機能を使用して、OSSテーブルからデータをインポートしたり、OSSテーブルにデータをエクスポートしたりします。 | |
Jindo DistCp | 大規模クラスター内またはクラスター間でファイルをコピーします。 Jindo DistCpは、MapReduceを使用してファイルの配布、エラーの処理、データの復元を行います。 ファイルとディレクトリのリストは、MapReduceタスクの入力として使用されます。 各タスクは、入力リストから特定のファイルとディレクトリをコピーします。 |
データをOSS-HDFSに移行する
OSS-HDFS (JindoFS) は、クラウドネイティブのデータレイクストレージサービスです。 OSS-HDFSは統合メタデータ管理機能を提供し、Hadoop分散ファイルシステム (HDFS) APIと完全に互換性があります。 OSS-HDFSはまた携帯用オペレーティングシステムインターフェイス (POSIX) を支えます。 OSS-HDFSにより、ビッグデータおよびAI分野のデータレイクベースのコンピューティングシナリオでデータを管理できます。 OSS-HDFSが有効になっているOSS-HDFSまたはバケット間でデータを移行できます。 次の表に、データをOSS-HDFSに移行するために使用できる方法を示します。
移行方法 | 説明 | 関連ドキュメント |
Jindo DistCp | 大規模クラスター内またはクラスター間でファイルをコピーします。 Jindo DistCpは、MapReduceを使用してファイルの配布、エラーの処理、データの復元を行います。 ファイルとディレクトリのリストは、MapReduceタスクの入力として使用されます。 各タスクは、入力リストから特定のファイルとディレクトリをコピーします。 | |
JindoDistJob | 半ホスト型JindoFSクラスターからOSS-HDFSにファイルの完全なメタデータまたは増分メタデータを移行し、データブロックをコピーする必要はありません。 | |
JindoTableのMoveToコマンド | コマンドが基になるデータをコピーした後、メタデータを自動的に更新します。 このようにして、テーブルまたはパーティション内のデータを宛先パスに完全に移行できます。 多数のパーティションのデータを同時に移行する場合は、MoveToコマンドでフィルター条件を指定できます。 JindoTableは、MoveToコマンドを使用してデータを移行するときに、データの整合性とセキュリティを確保するための保護対策も提供します。 |