全部產品
Search
文件中心

E-MapReduce:OSS/OSS-HDFS快速入門

更新時間:Jul 01, 2024

本文為您介紹如何快速存取OSS/OSS-HDFS。

前提條件

路徑說明

訪問OSS和訪問OSS-HDFS,僅路徑中的endpoint不同,其他使用方式均相同。兩種方式的路徑樣本和描述如下:

儲存系統根路徑樣本描述
OSSoss://examplebucket.oss-cn-shanghai-internal.aliyuncs.com/在上海地區已建立了名為examplebucket的OSS Bucket,並使用內網Endpoint訪問。
說明 在EMR叢集中未掛載公網的節點,預設不支援訪問OSS公網Endpoint,即預設不支援跨地區訪問。
OSS-HDFSoss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/在上海地區已建立了名為examplebucket的OSS-HDFS Bucket。
說明 OSS-HDFS目前僅支援內網訪問,即預設不支援跨地區訪問。

訪問方式

支援通過Hadoop Shell命令、Jindo CLI命令、POSIX命令和OSS控制台四種方式訪問OSS/OSS-HDFS。各訪問方式的樣本和描述如下:
訪問方式樣本描述
Hadoop Shell命令hadoop fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/JindoSDK中的JindoOssFileSystem是Hadoop FileSystem的一種實現。執行Hadoop Shell命令時通過識別路徑中的endpoint來訪問OSS/OSS-HDFS。更多使用方式,請參見通過Hadoop Shell命令訪問OSS/OSS-HDFS
Jindo CLI命令jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/Jindo CLI命令訪問OSS/OSS-HDFS的方式與Hadoop Shell方式類似。此外,還支援了更多的功能,比如歸檔、緩衝、錯誤分析等,具體資訊請參見通過Jindo CLI命令訪問OSS/OSS-HDFS
POSIX命令mkdir -p /mnt/oss jindo-fuse /mnt/oss -ouri=oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ ls /mnt/oss通過實現FUSE API,JindoFuse可以通過掛載OSS/OSS-HDFS路徑到本地路徑的方式,使您可以像訪問本地檔案一樣訪問OSS/OSS-HDFS。 具體資訊請參見通過POSIX命令訪問OSS/OSS-HDFS
OSS控制台oss控制台您需要登入OSS控制台進行操作,具體操作步驟為:
  1. 登入OSS管理主控台
  2. 在Bucket列表中,單擊目標Bucket。
  3. 單擊左側的檔案管理>檔案清單
  4. 單擊OSS檔案HDFS頁簽,通過OSS檔案或HDFS來訪問OSS/OSS-HDFS。