EMRクラスターをOSS-HDFSに接続する - Object Storage Service - Alibaba Cloud ドキュメントセンター

OSS-HDFSは、Alibaba Cloud E-MapReduce (EMR) クラスターの特定のバージョンに統合されています。このトピックでは、EMRクラスターをOSS-HDFSに接続し、一般的な操作を実行する方法について説明します。

説明

自己管理型Hadoopクラスターを使用する場合は、非EMRクラスターをOSS-HDFSに接続するのと同じ方法で、自己管理型HadoopクラスターをOSS-HDFSに接続します。詳細については、「非EMRクラスターのOSS-HDFSへの接続」をご参照ください。

前提条件

バケットのOSS-HDFSが有効になり、RAMロールにアクセスする権限が付与されOSS-HDFS。詳細については、「OSS-HDFSの有効化とアクセス許可の付与」をご参照ください。
デフォルトでは、Alibaba Cloudアカウントには、EMRクラスターをOSS-HDFSに接続し、OSS-HDFSに関連する一般的な操作を実行する権限があります。必要な権限が付与されたRAMユーザーが作成されます。 RAMユーザーを使用してEMRクラスターをOSS-HDFSに接続する場合、RAMユーザーに必要な権限が必要です。

手順

E-MapReduceコンソールにログインします。左側のナビゲーションウィンドウで、[ECS上のEMR] をクリックし、EMRクラスターを作成します。
EMRクラスターを作成するときは、Product VersionをEMR-3.46.2以降またはEMR-5.12.2以降に設定し、Root Storage Directory of clusterをOSS-HDFSが有効になっているバケットに設定してください。他のパラメーターにはデフォルト値を使用します。詳細については、「クラスターの作成」をご参照ください。
EMRクラスターにログインします。
1. 作成したEMRクラスターをクリックします。
2. [ノード] タブをクリックし、ノードグループの左側にあるをクリックします。
3. Elastic Compute Service (ECS) インスタンスのIDをクリックします。 [インスタンス] ページで、インスタンスIDの横にある [接続] をクリックし、Workbenchを使用してクラスターにログインします。
  SSHキーペアまたはSSHパスワードを使用してWindowsまたはLinuxでクラスターにログインする方法の詳細については、「クラスターにログインする」をご参照ください。
HDFS Shellコマンドを実行して、OSS-HDFSに関連する一般的な操作を実行します。
- ローカルファイルをオブジェクトグループにアップロードします。
  次のコマンドを実行して、ローカルルートディレクトリにあるexamplefile.txtという名前のローカルファイルをexamplebucketという名前のバケットにアップロードします。
```
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
```
- オブジェクトのダウンロード
  次のコマンドを実行して、exampleobject.txtという名前のオブジェクトを、examplebucketという名前のバケットからコンピュータの /tmpという名前のルートディレクトリにダウンロードします。
```
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt  /tmp/
```
詳細については、「Hadoop Shellコマンドを使用したOSS-HDFSへのアクセス」をご参照ください。