E-MapReduce：通過POSIX命令訪問OSS/OSS-HDFS

環境準備

• EMR環境中，預設已安裝JindoSDK，可以直接使用。
  說明 訪問OSS-HDFS，需建立EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的叢集。
• 非EMR環境，請先安裝部署JindoSDK，詳情請參見在非EMR叢集中部署JindoSDK。
  說明 訪問OSS-HDFS，需部署JindoSDK 4.x及以上版本。

依賴準備

• JindoSDK 4.5.0及之前版本，需安裝以下依賴。

  # CentOS
  sudo yum install -y fuse3 fuse3-devel
  # Debian
  sudo apt install -y fuse3 libfuse3-dev

• JindoSDK 4.5.1及之後版本，需依賴libfuse 3.7+。

  例如，執行以下命令安裝fuse-3.11。

  # build fuse required meson & ninja, for debian: apt install -y pkg-config meson ninja-build
  sudo yum install -y meson ninja-build
  
  # compile fuse required newer g++ (only CentOS)
  sudo yum install -y scl-utils
  sudo yum install -y alinux-release-experimentals
  sudo yum install -y devtoolset-8-gcc devtoolset-8-gdb devtoolset-8-binutils devtoolset-8-make devtoolset-8-gcc-c++
  sudo su -c "echo 'source /opt/rh/devtoolset-8/enable' > /etc/profile.d/g++.sh"
  source /opt/rh/devtoolset-8/enable
  sudo ln -s /opt/rh/devtoolset-8/root/bin/gcc /usr/local/bin/gcc
  sudo ln -s /opt/rh/devtoolset-8/root/bin/g++ /usr/local/bin/g++
  
  # compile & install libfuse
  wget https://github.com/libfuse/libfuse/releases/download/fuse-3.11.0/fuse-3.11.0.tar.xz
  xz -d fuse-3.11.0.tar.xz
  tar xf fuse-3.11.0.tar
  cd fuse-3.11.0/
  mkdir build; cd build
  meson ..
  sudo ninja install

掛載JindoFuse

在完成對JindoSDK的配置後，您可以執行以下命令掛載JindoFuse。

• 建立一個掛載點。

  sudo mkdir -p <mountpoint>

• 掛載Fuse。

  jindo-fuse <mount_point> -ouri=[<osspath>]

  此命令會啟動一個背景守護進程，將指定的<oss_path>掛載到本地檔案系統的<mount_point>。

  <mount_point>需替換為一個本地路徑。 <oss_path>需替換為待映射的OSS或OSS-HDFS路徑，路徑可以為Bucket根目錄或者子目錄。例如：oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/subdir/。

  說明 掛載OSS和OSS-HDFS的方式基本相同，僅路徑中的Endpoint略有不同，根路徑樣本請參見路徑說明。
• 確認是否掛載成功。

  ps -ef | grep jindo-fuse

  jindo-fuse進程存在，且啟動參數與預期一致，說明掛載成功。

訪問JindoFuse

卸載JindoFuse

umount <mount_point>

自動卸載JindoFuse

可以使用-oauto_unmount參數自動卸載掛載點。

使用該參數後，可以支援killall -9 jindo-fuse發送SIGINT給jindo-fuse進程，進程退出前會自動卸載掛載點。