本文為您介紹如何快速存取OSS/OSS-HDFS。
前提條件
- 開通OSS服務。
- 控制台建立儲存空間。
- 確認OSS授權。
- EMR叢集(新版控制台)中使用,已預設開通。如遇問題,請參見阿里雲帳號角色授權。
- EMR叢集(舊版控制台)中使用,已預設開通。如遇問題,請參見角色授權。
- 在非EMR環境的授權方式,請參見OSS/OSS-HDFS授權。
- (可選,推薦開通)開通並授權訪問OSS-HDFS服務。
- 確認JindoSDK部署版本。
- 在EMR叢集中,已預設部署JindoSDK。說明 訪問OSS-HDFS,需建立EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的叢集。
- 在非EMR叢集中,請參見在非EMR叢集中部署JindoSDK。說明 訪問OSS-HDFS,需部署JindoSDK 4.x及以上版本。
- 在EMR叢集中,已預設部署JindoSDK。
路徑說明
訪問OSS和訪問OSS-HDFS,僅路徑中的endpoint不同,其他使用方式均相同。兩種方式的路徑樣本和描述如下:
儲存系統 | 根路徑樣本 | 描述 |
OSS | oss://examplebucket.oss-cn-shanghai-internal.aliyuncs.com/ | 在上海地區已建立了名為examplebucket的OSS Bucket,並使用內網Endpoint訪問。 說明 在EMR叢集中未掛載公網的節點,預設不支援訪問OSS公網Endpoint,即預設不支援跨地區訪問。 |
OSS-HDFS | oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | 在上海地區已建立了名為examplebucket的OSS-HDFS Bucket。 說明 OSS-HDFS目前僅支援內網訪問,即預設不支援跨地區訪問。 |
訪問方式
支援通過Hadoop Shell命令、Jindo CLI命令、POSIX命令和OSS控制台四種方式訪問OSS/OSS-HDFS。各訪問方式的樣本和描述如下:
訪問方式 | 樣本 | 描述 |
Hadoop Shell命令 | hadoop fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | JindoSDK中的JindoOssFileSystem是Hadoop FileSystem的一種實現。執行Hadoop Shell命令時通過識別路徑中的endpoint來訪問OSS/OSS-HDFS。更多使用方式,請參見通過Hadoop Shell命令訪問OSS/OSS-HDFS。 |
Jindo CLI命令 | jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | Jindo CLI命令訪問OSS/OSS-HDFS的方式與Hadoop Shell方式類似。此外,還支援了更多的功能,比如歸檔、緩衝、錯誤分析等,具體資訊請參見通過Jindo CLI命令訪問OSS/OSS-HDFS。 |
POSIX命令 | mkdir -p /mnt/oss jindo-fuse /mnt/oss -ouri=oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ ls /mnt/oss | 通過實現FUSE API,JindoFuse可以通過掛載OSS/OSS-HDFS路徑到本地路徑的方式,使您可以像訪問本地檔案一樣訪問OSS/OSS-HDFS。 具體資訊請參見通過POSIX命令訪問OSS/OSS-HDFS。 |
OSS控制台 | 您需要登入OSS控制台進行操作,具體操作步驟為:
|