OSS-HDFS服務(JindoFS服務)完全相容HDFS介面,同時支援目錄層級的操作。JindoSDK為Apache Hadoop的計算分析應用(例如MapReduce、Hive、Spark、Flink等)提供了訪問HDFS服務的能力。本文介紹如何通過在ECS執行個體中部署JindoSDK,然後完成OSS-HDFS服務快速入門常見操作。
如果您使用的是阿里雲EMR叢集,請通過EMR叢集的方式接入OSS-HDFS服務。具體操作,請參見EMR叢集接入OSS-HDFS服務快速入門。
前提條件
阿里雲帳號預設擁有通過非EMR叢集的方式接入OSS-HDFS服務並執行常見操作的許可權。如果您希望通過RAM使用者接入OSS-HDFS服務,RAM使用者需要具備對應的許可權要求,詳情請參見授權RAM使用者通過非EMR叢集接入OSS-HDFS服務。
已建立ECS執行個體。具體步驟,請參見選購ECS執行個體。
已建立Hadoop環境。具體步驟,請參見建立Hadoop運行環境。
已為Bucket開通並授權訪問OSS-HDFS服務。具體操作,請參見開通OSS-HDFS服務。
操作視頻
觀看以下視頻瞭解如何通過非EMR叢集快速接入OSS-HDFS服務並完成常見操作。
操作步驟
串連ECS執行個體。具體操作,請參見串連ECS執行個體。
下載並解壓JindoSDK JAR包。下載地址,請參見GitHub。
執行以下命令,解壓JindoSDK JAR包。
以下以解壓
jindosdk-x.x.x-linux.tar.gz
為例,如使用其他版本的JindoSDK,請替換為對應的JAR包名稱。tar zxvf jindosdk-x.x.x-linux.tar.gz
說明x.x.x表示JindoSDK JAR包版本號碼。
配置環境變數。
配置
JINDOSDK_HOME
。以安裝包內容解壓在/usr/lib/jindosdk-x.x.x-linux目錄為例:
export JINDOSDK_HOME=/usr/lib/jindosdk-x.x.x-linux
配置
HADOOP_CLASSPATH
。export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${JINDOSDK_HOME}/lib/*
重要請將安裝目錄和環境變數部署到所有所需節點上。
配置OSS-HDFS服務實作類別及AccessKey。
執行以下命令,進入Hadoop的core-site.xml設定檔。
vim /usr/local/hadoop/etc/hadoop/core-site.xml
在Hadoop的core-site.xml中,配置JindoSDK DLS實作類別。
<configuration> <property> <name>fs.AbstractFileSystem.oss.impl</name> <value>com.aliyun.jindodata.oss.JindoOSS</value> </property> <property> <name>fs.oss.impl</name> <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value> </property> </configuration>
在Hadoop的core-site.xml檔案中,配置阿里雲帳號的存取金鑰,或者滿足許可權要求的RAM使用者的存取金鑰。
關於RAM使用者在該情境下需要滿足的許可權說明,請參見授權RAM使用者通過非EMR叢集接入OSS-HDFS服務。
<configuration> <property> <name>fs.oss.accessKeyId</name> <value>xxx</value> </property> <property> <name>fs.oss.accessKeySecret</name> <value>xxx</value> </property> </configuration>
配置OSS-HDFS服務Endpoint。
使用OSS-HDFS服務訪問OSS Bucket時需要配置Endpoint。推薦訪問路徑格式為
oss://<Bucket>.<Endpoint>/<Object>
,例如oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt
。配置完成後,JindoSDK會根據訪問路徑中的Endpoint訪問對應的OSS-HDFS服務介面。您還可以通過其他方式配置OSS-HDFS服務Endpoint,且不同方式配置的Endpoint存在生效優先順序。更多資訊,請參見EMR叢集接入OSS-HDFS服務快速入門。
通過HDFS Shell命令完成OSS-HDFS服務常見操作。
上傳檔案
將本地根目錄下的examplefile.txt檔案上傳至examplebucket,樣本如下:
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
下載檔案
將examplebucket下的exampleobject.txt下載到本地根目錄檔案夾/tmp,樣本如下:
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt /tmp/
更多操作,請參見通過Hadoop Shell命令訪問。