Object Storage Service:OSS-HDFSの自動保管階層化の使用方法

使用上の注意

• OSS-HDFSでIA、アーカイブ、またはコールドアーカイブオブジェクトを読み取ると、データ取得料金が発生します。 頻繁にアクセスされるデータをIA、アーカイブ、またはCold Archiveオブジェクトとして保存しないことを推奨します。 データ取得料金の詳細については、「データ処理料金」をご参照ください。

• OSS-HDFS内のデータのストレージポリシーを設定する場合、データブロックにタグを追加する必要があります。 オブジェクトタグの課金ルールに基づいて、タグに対して課金されます。 詳細については、「オブジェクトタグ付け料金」をご参照ください。

• JindoSDKのバージョンが6.4.0より前の場合、IA、Archive、またはCold Archiveディレクトリにオブジェクトを作成することはできません。 IA、Archive、またはCold Archiveディレクトリにオブジェクトを作成する必要がある場合。 IA、Archive、またはCold Archiveディレクトリにオブジェクトを作成する必要がある場合は、オブジェクトを作成してStandardディレクトリに保存できます。 次に、名前変更操作を使用して、オブジェクトをIA、アーカイブ、またはコールドアーカイブディレクトリに移動します。

  IA、Archive、またはCold Archiveディレクトリにオブジェクトを直接作成する場合は、JindoSDKを6.4.0以降にアップグレードする必要があります。

• オブジェクトのストレージクラスをアーカイブまたはコールドアーカイブに変換すると、追加のシステムオーバーヘッドが生成され、データの復元が遅くなります。 作業は慎重に行ってください。

• アーカイブオブジェクトのストレージクラスをコールドアーカイブに変換できますが、コールドアーカイブオブジェクトのストレージクラスをアーカイブに変換することはできません。

手順

1. 環境変数を設定します。

   1. Elastic Compute Service (ECS) インスタンスに接続します。 詳細については、「インスタンスへの接続」をご参照ください。

   2. インストールされているJindoSDK JARパッケージのbinディレクトリに移動します。

      cd jindosdk-x.x.x/bin/

      説明

      x.x.xは、JindoSDK JARパッケージのバージョン番号を示します。

   3. binディレクトリのjindo-utilファイルに読み取りおよび書き込み権限を付与します。

      chmod 700 jindo-util

   4. jindo-utilファイルの名前をjindoに変更します。

      mv jindo-util jindo

   5. jindosdk.cfgという名前の設定ファイルを作成し、次のパラメーターを設定ファイルに追加します。

      [common] Retain the following default configurations: 
      logger.dir = /tmp/jindo-util/
      logger.sync = false
      logger.consolelogger = false
      logger.level = 0
      logger.verbose = 0
      logger.cleaner.enable = true
      hadoopConf.enable = false
      
      [jindosdk] Specify the following parameters: 
      <!-- In this example, the endpoint of the China (Hangzhou) region is used. Specify your actual endpoint.  -->
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com
      <! -- Configure the AccessKey ID and AccessKey secret that are used to access OSS-HDFS.  -->
      fs.oss.accessKeyId = LTAI********    
      fs.oss.accessKeySecret = KZo1********                                        

   6. 環境変数を設定します。

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

      <JINDOSDK_CONF_DIR> をjindosdk.cfg設定ファイルの絶対パスに設定します。

2. OSS-HDFSに書き込まれるデータのストレージポリシーを指定します。 次の表に、ストレージポリシーを示します。

   シナリオ	コマンド	結果
   IA	./jindo fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA	dir1 /ディレクトリ内のオブジェクトには、キーがtransition-storage-classで値がIAのタグが含まれています。
   アーカイブ	./jindo fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR	dir2 /ディレクトリ内のオブジェクトには、キーがtransition-storage-classで値がArchiveのタグが含まれています。
   コールドアーカイブ	./jindo fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR	dir3 /ディレクトリ内のオブジェクトには、キーがtransition-storage-classで値がColdArchiveのタグが含まれています。

3. 自動ストレージ階層化機能を有効にします。

   1. OSSコンソールにログインします。

   2. 左側のナビゲーションウィンドウで、[バケット] をクリックします。 [バケット] ページで、自動ストレージ階層化機能を有効にするバケットの名前をクリックします。

   3. 左側のナビゲーションツリーで、データレイク > OSS-HDFSを選択します。

   4. OSS-HDFSタブで、設定をクリックします。

   5. [自動ストレージ階層化] パネルの [基本設定] セクションで、[ステータス] をオンにします。

      

      設定が正しくないために自動ストレージ階層化機能が期待どおりに実行されないようにするため、OSSはライフサイクルルールを自動的に作成し、特定のタグを含むOSS-HDFSのデータのストレージクラスを変換します。

      • ライフサイクルルールは、キーがであるタグを含むデータのストレージクラスを指定します。transition-storage-classであり、その値はIAで、. dlsdata /ディレクトリは、データが最後に変更されてから1日後にIAに変換されます。

      • ライフサイクルルールは、キーがであるタグを含むデータのストレージクラスを指定します。transition-storage-classであり、その値はアーカイブで、. dlsdata /ディレクトリは、データが最後に変更されてから1日後にアーカイブに変換されます。

      • ライフサイクルルールは、キーがであるタグを含むデータのストレージクラスを指定します。transition-storage-classであり、その値はColdArchiveで、. dlsdata /ディレクトリは、データが最後に変更されてから1日後にコールドアーカイブに変更されます。

      重要

      自動ストレージ階層化機能の有効化後に自動的に作成されるライフサイクルルールは変更しないでください。 そうしないと、データまたはOSS-HDFSサービスの例外が発生する可能性があります。

   6. OKをクリックします。

      • OSS-HDFSは、手順2で設定したストレージポリシーに基づいて、オブジェクトのストレージクラスを変換します。

      • OSSは、ルールが作成されてから24時間以内にライフサイクルルールを読み込みます。 ルールがロードされた後、OSSは毎日08:00 (UTC + 8) にルールの実行を開始します。 特定の実行時間は、オブジェクトの数によって異なります。 オブジェクトは、少なくとも48時間以内に指定されたストレージクラスに変換されます。

関连するコマンド

./jindo fs -setStoragePolicy -path <path> -policy <policy>

./jindo fs -getStoragePolicy -path <path>

./jindo fs -unsetStoragePolicy -path <path>

./jindo fs -checkStoragePolicy -path <path>

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

よくある質問

• 自動ストレージ階層化機能を有効にした後、OSS-HDFSデータ用に設定されたライフサイクルルールを誤って削除した場合はどうすればよいですか?

• オブジェクトのストレージクラスをアーカイブまたはコールドアーカイブから標準またはIAに変更できますか?

関連ドキュメント

• 概要

• ストレージ料金