本文为您介绍如何快速访问OSS/OSS-HDFS。
前提条件
- 开通OSS服务。
- 创建存储空间。
- 确认OSS授权。
- EMR集群(新版控制台)中使用,已默认开通。如遇问题,请参见角色授权。
- EMR集群(旧版控制台)中使用,已默认开通。如遇问题,请参见角色授权。
- 在非EMR环境的授权方式,请参见OSS/OSS-HDFS授权。
- (可选,推荐开通)开通并授权访问OSS-HDFS服务。
- 确认JindoSDK部署版本。
- 在EMR集群中,已默认部署JindoSDK。
说明 访问OSS-HDFS,需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。
- 在非EMR集群中,请参见在非EMR集群中部署JindoSDK。
说明 访问OSS-HDFS,需部署JindoSDK 4.x及以上版本。
- 在EMR集群中,已默认部署JindoSDK。
路径说明
访问OSS和访问OSS-HDFS,仅路径中的endpoint不同,其他使用方式均相同。两种方式的路径示例和描述如下:
存储系统 | 根路径示例 | 描述 |
---|---|---|
OSS | oss://examplebucket.oss-cn-shanghai-internal.aliyuncs.com/ | 在上海区域已创建了名为examplebucket的OSS Bucket,并使用内网Endpoint访问。
说明 在EMR集群中未挂载公网的节点,默认不支持访问OSS公网Endpoint,即默认不支持跨区域访问。
|
OSS-HDFS | oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | 在上海区域已创建了名为examplebucket的OSS-HDFS Bucket。
说明 OSS-HDFS目前仅支持内网访问,即默认不支持跨区域访问。
|
访问方式
支持通过Hadoop Shell命令、Jindo CLI命令、POSIX命令和OSS控制台四种方式访问OSS/OSS-HDFS。各访问方式的示例和描述如下:
访问方式 | 示例 | 描述 |
---|---|---|
Hadoop Shell命令 | hadoop fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | JindoSDK中的JindoOssFileSystem是Hadoop FileSystem的一种实现。执行Hadoop Shell命令时通过识别路径中的endpoint来访问OSS/OSS-HDFS。更多使用方式,请参见通过Hadoop Shell命令访问OSS/OSS-HDFS。 |
Jindo CLI命令 | jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | Jindo CLI命令访问OSS/OSS-HDFS的方式与Hadoop Shell方式类似。此外,还支持了更多的功能,比如归档、缓存、错误分析等,具体信息请参见通过Jindo CLI命令访问OSS/OSS-HDFS。 |
POSIX命令 | mkdir -p /mnt/oss jindo-fuse /mnt/oss -ouri=oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ ls /mnt/oss | 通过实现FUSE API,JindoFuse可以通过挂载OSS/OSS-HDFS路径到本地路径的方式,使您可以像访问本地文件一样访问OSS/OSS-HDFS。 具体信息请参见通过POSIX命令访问OSS/OSS-HDFS。 |
OSS控制台 | 您需要登录OSS控制台进行操作,具体操作步骤为:
|