Jindo CLIコマンドを使用したOSS-HDFSへのアクセス - Object Storage Service

Jindo CLIコマンドを使用して、OSS-HDFSが有効になっているバケットに対して、アップロード、ダウンロード、削除などの操作を実行できます。

環境の準備

次のいずれかの方法でOSS-HDFSにアクセスできます。

Alibaba Cloud EMRクラスターを使用してOSS-HDFSにアクセスする場合は、バージョンが3.44.0以降または5.10.0以降のEMRクラスターが作成されていることを確認してください。バージョン要件を満たすEMRクラスターは、デフォルトでJindoSDKと統合されています。詳細については、「クラスターの作成」をご参照ください。
EMR以外の環境では、まずJindoSDKをインストールします。詳細については、「EMR以外の環境にJindoSDKをデプロイする」をご参照ください。

手順

環境変数を設定します。
- Alibaba Cloud EMRクラスターを使用してOSS-HDFSにアクセスする場合は、この手順をスキップして手順2に進みます。
- Alibaba Cloud以外のEMRクラスターを使用してOSS-HDFSにアクセスする場合は、次の手順を実行します。
  1. ECS インスタンスに接続します。詳細については、「ECS インスタンスへの接続」をご参照ください。
  2. インストールされているJindoSDK JARパッケージのbinディレクトリに移動します。
```
cd jindosdk-x.x.x /ビン /
```
    説明
    x.x.xは、JindoSDK JARパッケージのバージョン番号を示します。
  3. binディレクトリのjindo-utilファイルに読み取りおよび書き込み権限を付与します。
```
chmod 700 jindo-util
```
  4. jindo-utilファイルの名前をjindoに変更します。
```
mv jindo-util jindo
```
  5. jindosdk.cfgという名前の設定ファイルを作成し、次のパラメーターを設定ファイルに追加します。
```
[common] 以下のデフォルト設定を保持します。 
logger.dir = /tmp/jindo-util /
logger.sync = false
logger.consolelogger = false
logger.level = 0
logger.verbose = 0
logger.cleaner.enable = true
hadoopConf.enable = false

[jindosdk] 以下のパラメータを指定します。 
<!-- この例では、中国 (杭州) リージョンが使用されています。 実際のリージョンを指定します。  ->
fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com
<! -- OSS-HDFSへのアクセスに使用するAccessKey IDとAccessKey secretを設定します。  ->
fs.oss.accessKeyId = LTAI ********
fs.oss.accessKeySecret = KZo1 ******** 
```
  6. 環境変数を設定します。
```
エクスポートJINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>
```
    <JINDOSDK_CONF_DIR> をjindosdk.cfg設定ファイルの絶対パスに設定します。
Jindo CLIコマンドを使用してOSS-HDFSにアクセスします。

オブジェクトのアップロード
次のコマンドを実行して、ローカルルートディレクトリにあるexamplefile.txtという名前のローカルファイルをexamplebucketという名前のバケットにアップロードします。
```
. /jindo fs -put examplefile.txt oss:// examplebucket.cn-shanghai.oss-dls.aliyuncs.com /
```
ディレクトリの作成
次のコマンドを実行して、examplebucketという名前のバケットにdir /という名前のディレクトリを作成します。
```
. /jindo fs -mkdir oss:// examplebucket.cn-shanghai.oss-dls.aliyuncs.com/dir/
```
オブジェクトまたはディレクトリの照会
次のコマンドを実行して、examplebucketという名前のバケット内のオブジェクトまたはディレクトリを照会します。
```
. /jindo fs -ls oss:// examplebucket.cn-shanghai.oss-dls.aliyuncs.com /
```
オブジェクトまたはディレクトリのサイズを照会する
次のコマンドを実行して、examplebucketという名前のバケット内のすべてのオブジェクトまたはディレクトリのサイズを照会します。
```
. /jindo fs -du oss:// examplebucket.cn-shanghai.oss-dls.aliyuncs.com /
```
オブジェクトのコンテンツを照会する
次のコマンドを実行して、examplebucketという名前のバケット内のlocalfile.txtという名前のオブジェクトのコンテンツを照会します。
```
. /jindo fs -cat oss:// examplebucket.cn-shanghai.oss-dls.aliyuncs.com/localfile.txt
```
重要照会されたファイルの内容はプレーンテキストで表示されます。コンテンツがエンコードされている場合は、HDFS API for Javaを使用してコンテンツを読み取り、デコードします。
オブジェクトのダウンロード
次のコマンドを実行して、exampleobject.txtという名前のオブジェクトを、examplebucketという名前のバケットからコンピュータのルートディレクトリにある /tmpという名前のディレクトリにダウンロードします。
```
. /jindo fs -get oss:// examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt /tmp /
```
ディレクトリまたはオブジェクトの削除
次のコマンドを実行して、destfolder /という名前のディレクトリとそのディレクトリ内のすべてのオブジェクトをexamplebucketという名前のバケットから削除します。
```
. /jindo fs -rm -r oss:// examplebucket.cn-shanghai.oss-dls.aliyuncs.com/destfolder/
```

参考資料

Jindo CLIユーザーガイド