EMR集群接入OSS-HDFS服务快速入门 - 对象存储 OSS

阿里云开源大数据开发平台E-MapReduce（简称EMR）特定版本（EMR-3.46.2及以上版本或EMR-5.12.2及以上版本）集群默认集成OSS-HDFS服务。本文介绍如何通过EMR集群接入OSS-HDFS服务并完成常见操作。

说明

如果您使用的是自建Hadoop集群，请通过非EMR集群的方式接入OSS-HDFS服务。具体操作，请参见非EMR集群接入OSS-HDFS服务快速入门。

前提条件

已为Bucket开通并授权访问OSS-HDFS服务。具体操作，请参见开通OSS-HDFS服务。
阿里云账号默认拥有通过EMR集群的方式接入OSS-HDFS服务并执行常见操作的权限。如果您希望通过RAM用户接入OSS-HDFS服务，RAM用户需要具备对应的权限要求，详情请参见授权RAM用户通过EMR集群接入OSS-HDFS服务。

登录EMR on ECS控制台，创建EMR集群。
创建EMR集群时，确保选择的产品版本为EMR-3.46.2及以上版本或者EMR-5.12.2及以上版本，集群存储根路径选择已开通OSS-HDFS服务的Bucket，其他参数保留默认配置。具体步骤，请参见创建集群。
登录EMR集群。
1. 单击创建的EMR集群。
2. 单击节点管理页签，然后单击节点组左侧的。
3. 单击ECS ID。在ECS实例页面，单击实例ID右侧的远程连接，选择默认方式（通过Workbench远程连接）登录实例。
  如果您希望使用SSH方式（SSH密钥对或SSH密码）在Windows和Linux环境中登录集群，请参见登录集群。
通过HDFS Shell命令完成OSS-HDFS服务常见操作。
- 上传文件
  将本地根目录下的examplefile.txt文件上传至examplebucket，示例如下：
```
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
```
- 下载文件
  将examplebucket下的exampleobject.txt下载到本地根目录文件夹/tmp，示例如下：
```
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt  /tmp/
```
更多操作，请参见通过Hadoop Shell命令访问