全部产品
Search
文档中心

开源大数据平台E-MapReduce:Jindo CLI使用指南

更新时间:Apr 22, 2024

本文为您介绍如何使用Jindo CLI以及相关命令。

用法汇总

您可以使用jindo fs命令来查看支持的命令和用法。

FS子命令

命令

功能说明

命令示例

适用范围

archive

将OSS上文件设置为归档类型。可选参数如下:

  • -i:低频。

  • -c:冷归档。

  • jindo fs -archive oss://<bucket>/<dir>

  • jindo fs -archive -i oss://<bucket>/<dir>

  • jindo fs -archive -c oss://<bucket>/<dir>

标准OSS

cat

显示文本内容。

jindo fs -cat oss://<bucket>/<dir>

标准OSS、OSS-HDFS

count

显示文件大小以及文件数量。可选参数-h,显示文件大小单位。

jindo fs -count -h oss://<bucket>/<dir>

标准OSS、OSS-HDFS

cp

复制文件。可选参数-f,表示强制覆盖。

jindo fs -cp -f oss://<bucket>/<sourcedir> oss://<bucket>/<targetdir>

标准OSS、OSS-HDFS

checksum

计算文件的CRC32 CheckSum大小。

jindo fs -checksum oss://<bucket>/file

OSS-HDFS

chgrp

改变文件的所属群组。

jindo fs -chgrp <groupname> oss://<bucket>/<dir>

OSS-HDFS

chmod

改变文件的访问权限。

jindo fs -chmod <mode> oss://<bucket>/<dir>

OSS-HDFS

chown

改变文件的所有者。

jindo fs -chown <username> oss://<bucket>/<dir>

OSS-HDFS

copyFromLocal

从本地复制文件到OSS。可选参数-f,表示强制覆盖。

jindo fs -copyFromLocal -f <localdir> oss://<bucket>/<targetdir>

标准OSS、OSS-HDFS

copyToLocal

从OSS复制文件到本地。可选参数-f,表示强制覆盖。

jindo fs -copyToLocal -f oss://<bucket>/<targetdir> <localdir>

标准OSS、OSS-HDFS

createSnapshot

创建快照,使用前必须先允许使用快照。

jindo fs -createSnapShot <snapshotDir> [<snapshotName>]

标准OSS、OSS-HDFS

checkStoragePolicy

显示文件的存储策略。

jindo fs -checkStoragePolicy -path oss://<bucket>/<dir>

OSS-HDFS

deleteSnapshot

删除快照。

jindo fs -deleteSnapshot oss://<bucket>/<dir> <snapshotName>

OSS-HDFS

du

显示目录中所有文件的大小。可选参数如下:

  • -s:求目标文件夹的总和。

  • -h:标准单位显示。

jindo fs -du oss://<bucket>/<dir>

标准OSS、OSS-HDFS

get

下载文件到本地。可选参数-f,表示强制覆盖。

jindo fs -get -f oss://<bucket>/<dir> <localdst>

标准OSS、OSS-HDFS

getfacl

显示文件或目录的访问控制列表。可选参数-R,表示递归显示。

jindo fs -getfacl -R oss://<bucket>/<dir>

OSS-HDFS

getfattr

显示文件或者目录的扩展属性名称和值。可选参数如下:

  • -R:递归显示。

  • -n:按名称显示。

  • -d:显示所有。

jindo fs -getfattr [-R] {-n user.myAttr | -d} oss://<bucket>/<dir>

OSS-HDFS

getStoragePolicy

显示存储策略。

jindo fs -getStoragePolicy -path oss://<bucket>/<dir>

OSS-HDFS

ls

列出目录下文件。可选参数-R,表示递归显示。

jindo fs -ls [-R] oss://<bucket>/<dir>

标准OSS、OSS-HDFS

listPolicies

显示支持的存储策略。

jindo fs -listPolicies

OSS-HDFS

load

数据缓存命令可以备份对应路径的数据至本集群的磁盘,以便于后续可以读取本地数据,无需读取OSS等后端上的数据。可选参数如下:

  • -s:表示缓存过程同步执行,打印进度和执行信息,推荐开启。

  • -replica:缓存副本数量,默认缓存1个副本。

  • -R:递归缓存文件,当path是文件夹时开启。

jindo fs -load [-meta] [-data] [-s] [-m] [-R] [-replica value] oss://<bucket>/<dir>

mkdir

创建文件夹。

jindo fs -mkdir oss://<bucket>/<dir>

标准OSS、OSS-HDFS

mv

移动文件。

jindo fs -mv oss://<bucket>/<srcdir> oss://<bucket>/<dstdir>

标准OSS、OSS-HDFS

moveFromLocal

将文件从本地移动到远程路径上,移动完成后会删除本地文件。

jindo fs -moveFromLocal <localsrc> oss://<bucket>/<dstdir>

标准OSS、OSS-HDFS

moveToLocal

将文件从远程路径上移动到本地,移动完成后会OSS上文件。

jindo fs -moveToLocal oss://<bucket>/<srcdir> <localdst>

标准OSS、OSS-HDFS

metaDiff

使用缓存加速系统后,显示本地元数据和远端的同步情况。

jindo fs -metaDiff oss://<bucket>/<srcdir>

标准OSS、OSS-HDFS

put

将本地文件复制到远程目录。可选参数-f,表示强制覆盖。

jindo fs -put -f <localsrc> oss://<bucket>/<targetdir>

标准OSS、OSS-HDFS

rm

删除远程路径上的文件。可选参数如下:

  • -f:强制删除。

  • -r/-rmr/-R:递归删除。

  • jindo fs -rm -f oss://<bucket>/<dir>

  • jindo fs -rm -R oss://<bucket>/<dir>

标准OSS、OSS-HDFS

rmdir

删除文件夹。

jindo fs -rmdir oss://<bucket>/<dir>

标准OSS、OSS-HDFS

test

基本功能检测。可选参数如下:

  • -d:是否是文件夹。

  • -e:是否存在路径。

  • -f:是否是文件。

  • -s:是否为空文件夹。

  • -z:文件长度是否为0。

jindo fs -test -d oss://<bucket>/<dir>/file

标准OSS、OSS-HDFS

renameSnapshot

重命名快照。

jindo fs -renameSnapshot oss://<bucket>/<dir> <oldName> <newName>

OSS-HDFS

restore

将文件从归档状态恢复,冷归档文件和归档文件必须恢复后才能unarchive。可选参数-days,表示解冻的时长。

jindo fs -restore -days value oss://<bucket>/<dir>

标准OSS

stat

显示文件状态。

jindo fs -stat oss://<bucket>/<dir>

标准OSS、OSS-HDFS

setStoragePolicy

该命令用于为某个路径下的数据指定存储策略。

  • -path:指定文件或目录所在路径。

  • -policy:指定存储策略。可选值为:

    • CLOUD_STD:标准存储。

    • CLOUD_IA:低频访问。

    • CLOUD_AR:归档存储。

    • CLOUD_COLD_AR:冷归档存储。

说明

如果对文件或子目录没有设置存储类型,则其存储策略会默认继承父目录的存储类型。例如oss://examplebucket/dir的存储类型为CLOUD_STD,则oss://examplebucket/dir/subdir存储类型也为CLOUD_STD

jindo fs -setStoragePolicy -path oss://<bucket>/<dir> -policy <policy>

OSS-HDFS

setfacl

设置文件访问策略。可选参数如下:

  • -b:删除所有访问策略。

  • -k:删除默认访问策略。

  • -m:按名称修改访问策略。

  • -x:按名称删除访问策略。

  • -set:设定访问策略。

说明

该参数当前仅限白名单用户使用。

  • jindo fs -setfacl -b oss://<bucket>/<dir>

  • jindo fs -setfacl -k oss://<bucket>/<dir>

  • jindo fs -setfacl -m user:<username>:<acl> oss://<bucket>/<dir> jindo fs -setfacl -m user:<username>:<acl> oss://<bucke

  • jindo fs -setfacl -x user:<username> oss://<bucket>/<dir>

  • jindo fs -setfacl -set user::<acl> oss://<bucket>/<dir>

OSS-HDFS

setfattr

设置文件或者目录的扩展属性名称和值。可选参数如下:

  • -n:按名称设置。

  • -v:设置属性值。

  • -x:按名称删除。

jindo fs -setfattr {-n name [-v value] | -x name} oss://<bucket>/<dir>

OSS-HDFS

sync

将本地文件上传到远程路径。可选参数如下:

  • -update:断点续传。

  • -thread:使用多线程。

jindo fs -sync [-update] [-thread thread_num] <localsrc> oss://<bucket>/<dir>

标准OSS、OSS-HDFS

touchz

生成一个大小为0的文件。

jindo fs -touchz oss://<bucket>/<dir>

标准OSS、OSS-HDFS

truncate

将文件裁剪到指定大小。

jindo fs -truncate <length> oss://<bucket>/<dir>

OSS-HDFS

unarchive

将文件恢复为标准文件,AR和COLD类型文件需要先restore。

jindo fs -unarchive oss://<bucket>/<dir>

标准OSS

uncache

删除缓存系统的缓存文件。

jindo fs -uncache oss://<bucket>/<dir>

标准OSS、OSS-HDFS

unsetStoragePolicy

取消存储策略。

jindo fs -unsetStoragePolicy -path oss://<bucket>/<dir>

OSS-HDFS

ADMIN子命令

命令

功能说明

使用示例

适用范围

mount

挂载OSS或OSS-HDFS服务目录。

jindo admin -mount <localdir> oss://<Bucket>/<dir>

标准OSS、OSS-HDFS

report

输出当前JindoFSx存储加速系统的一些信息,比如缓存大小,缓存容量等。

jindo admin -report

标准OSS、OSS-HDFS

reportMetrics

输出当前JindoFSx存储加速系统的一些metrics信息。

jindo admin -reportMetrics

标准OSS、OSS-HDFS

umount

取消挂载OSS或OSS-HDFS服务目录。

jindo fsxadmin -unmount <localdir>

标准OSS、OSS-HDFS

addProxyUser

添加代理用户。

jindo dlsadmin -addProxyUser -dlsUri oss://<bucket> -proxyUser <value> -users|-groups <value> -hosts <value>]

OSS-HDFS

allowSnapshot

允许使用快照。

jindo admin -allowSnapshot -dlsUri oss://<bucket>/<dir>

OSS-HDFS

addUserGroupsMapping

映射用户和组的关系。

jindo admin -addUserGroupsMapping -dlsUri oss://<bucket> <path> -user <value> -groups <value>

OSS-HDFS

disallowSnapshot

不允许使用快照。

jindo admin -disallowSnapshot -dlsUri oss://<bucket>/<dir>

OSS-HDFS

deleteProxyUser

删除代理用户。

jindo admin -deleteProxyUser -dlsUri oss://<bucket>/<dir> -proxyUser <value> -users|-groups <value> -hosts <value>]

OSS-HDFS

deleteUserGroupsMapping

删除用户和组的关系。

jindo admin -deleteUserGroupsMapping -dlsUri oss://<bucket> -user <value>

OSS-HDFS

dumpFile

查看文件的详细存储信息。

jindo dlsadmin -dumpFile -dlsUri oss://<bucket>/<dir>

OSS-HDFS

dumpInventory

导出文件元数据。

jindo dlsadmin -dumpInventory -dlsUri oss://<bucket>/<dir>

OSS-HDFS

dumpBlockFiles

将指定文件夹下面所有文件信息下载到本地。

jindo dlsadmin -dumpBlockFiles -in oss://<bucket>/<dir> -out <localdir>

OSS-HDFS

listProxyUsers

列出代理用户。

jindo admin -listProxyUsers -dlsUri oss://<bucket> [-maxKeys <value>] [-marker <value>]

OSS-HDFS

listUserGroupsMappings

列出所有用户和组的关系。

jindo admin -listUserGroupsMappings -dlsUri oss://<bucket> [-maxKeys <value>] [-marker <value>]

OSS-HDFS

snapshotDiff

查看快照之间的差别。

jindo admin -snapshotDiff -dlsUri oss://<bucket>/<dir> -fromSnapshot <value> -toSnapshot <value>

OSS-HDFS

setRootPolicy

允许为Bucket设置任意前缀的访问路径。

jindo admin -setRootPolicy <dlsRootPath> <accessRootPath>

OSS-HDFS

unsetRootPolicy

取消为Bucket设置的任意前缀的访问路径。

jindo admin -unsetRootPolicy <dlsRootPath> <accessRootPath>

OSS-HDFS

listAccessPolicies

查看当前Bucket支持的所有访问路径。

jindo admin -listAccessPolicies <dlsRootPath>

OSS-HDFS