Object Storage Service:半ホスト型JindoFSクラスターからOSS-HDFSへのデータの移行

ステップ1: 完全なデータを移行する

フルデータ移行モードでは、ディレクトリ内のメタデータを、セミホスティングされたJindoFSクラスターからOSS-HDFS内のディレクトリに一度に移行できます。 OSS-HDFS内の第1レベルのサブディレクトリにのみデータを移行できます。

• コマンド構文

  jindo distjob -migrateImport -srcPath <srcPath> -destPath <destPath> -backendLoc <backendLoc>

  次の表に、コマンド構文のパラメーターを示します。

  パラメーター	説明
  -srcPath	移行前のセミホストJindoFSクラスターのデータを格納するソースパス。
  -destPath	移行後のセミホストJindoFSクラスターのデータを格納するOSS-HDFSの宛先パス。
  -backendLoc	半ホスト型JindoFSクラスターのソースデータを格納するObject Storage Service (OSS) パス。

• 例：

  半ホスト型JindoFSクラスターのjfs:// mycluster/fooディレクトリからOSS-HDFSのbarディレクトリに完全なデータを移行します。 OSS-HDFSのデータはexamplebucketバケットに格納されます。

  jindo distjob -migrateImport -srcPath jfs:// mycluster/foo -destPath oss:// examplebucket/bar/

ステップ2: (オプション) 増分データの移行

1. セミホストJindoFSクラスターの監査ログを変更ログに変換します。

   セミホストJindoFSクラスターの増分データをOSS-HDFSに移行するには、Jindoツールを使用してセミホストJindoFSクラスターの監査ログを変更ログに変換する必要があります。

   • コマンド構文

     jindo distjob -mkchangelog -auditLogDir <auditLogDir> -changeLogDir <changeLogDir> -startTime <startTime>

     次の表に、コマンド構文のパラメーターを示します。

     パラメーター	説明
     -auditLogDir	セミホストJindoFSクラスターの監査ログを格納するパス。
     -changeLogDir	生成された変更ログを格納するパス。
     -startTime	監査ログの変換を開始する時刻。

   • 例：

     oss:// examplebucket/sysinfo/auditlogパスの半ホストJindoFSクラスターの監査ログを変更ログに変換し、変更ログをoss:// examplebucket/sysinfo/changelogパスに保存します。 この例では、6月1日2022の時点で生成された監査ログのみが変換されます。

     jindo distjob -mkchangelog -auditLogDir oss:// examplebucket/sysinfo/auditlog -changeLogDir oss:// examplebucket/sysinfo/changelog -startTime 2022-06-01T12:00:00Z

2. 増分データを1回移行します。

   監査ログが変更ログに変換されると、増分メタデータの更新を半ホスト型JindoFSクラスターからOSS-HDFSに移行できます。

   • コマンド構文

     jindo distjob -migrateImport -srcPath <srcPath> -destPath <destPath> -changeLogDir <changeLogDir> -backendLoc <backendLoc> -更新

     次の表に、コマンド構文のパラメーターを示します。

     パラメーター	説明
     -srcPath	移行前のセミホストJindoFSクラスターのデータを格納するソースパス。
     -destPath	移行後のセミホストJindoFSクラスターのデータを格納するOSS-HDFSの宛先パス。
     -changeLogDir	生成された変更ログを格納するパス。
     -backendLoc	半ホスト型JindoFSクラスターのソースデータを格納するOSSパス。
     -更新	増分データ移行モードを有効にします。

   • 例：

     半ホスト型JindoFSクラスターのjfs:// mycluster/fooディレクトリからOSS-HDFSのbarディレクトリに増分データを移行します。 この例では、OSS-HDFSのデータはexamplebucketバケットに格納されます。 生成された変更ログは、oss:// logbucket/logdir/ パスに保存されます。

     jindo distjob -migrateImport -srcPath jfs:// mycluster/foo -destPath oss:// examplebucket/bar/ -changeLogDir oss:// logbucket/logdir/ -backendLoc oss:// examplebucket/jfsdataDir -update

3. オプション: 増分データを複数回移行します。

   半ホスト型JindoFSクラスターから増分データを複数回OSS-HDFSに移行するには、-startTimeパラメーターを設定して、監査ログを変換する時間範囲をカスタマイズします。 次に、ステップ1とステップ2を繰り返します。