全部产品
Search

搜索本产品

    开源大数据平台E-MapReduce：Jindo CLI使用指南

    文档中心

    开源大数据平台E-MapReduce：Jindo CLI使用指南

    更新时间：Apr 22, 2024

    本文为您介绍如何使用Jindo CLI以及相关命令。

    用法汇总

    您可以使用jindo fs命令来查看支持的命令和用法。

    FS子命令

    命令

    功能说明

    命令示例

    适用范围

    archive

    将OSS上文件设置为归档类型。可选参数如下：

    • -i：低频。

    • -c：冷归档。

    • jindo fs -archive oss://<bucket>/<dir>

    • jindo fs -archive -i oss://<bucket>/<dir>

    • jindo fs -archive -c oss://<bucket>/<dir>

    标准OSS

    cat

    显示文本内容。

    jindo fs -cat oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    count

    显示文件大小以及文件数量。可选参数-h，显示文件大小单位。

    jindo fs -count -h oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    cp

    复制文件。可选参数-f，表示强制覆盖。

    jindo fs -cp -f oss://<bucket>/<sourcedir> oss://<bucket>/<targetdir>

    标准OSS、OSS-HDFS

    checksum

    计算文件的CRC32 CheckSum大小。

    jindo fs -checksum oss://<bucket>/file

    OSS-HDFS

    chgrp

    改变文件的所属群组。

    jindo fs -chgrp <groupname> oss://<bucket>/<dir>

    OSS-HDFS

    chmod

    改变文件的访问权限。

    jindo fs -chmod <mode> oss://<bucket>/<dir>

    OSS-HDFS

    chown

    改变文件的所有者。

    jindo fs -chown <username> oss://<bucket>/<dir>

    OSS-HDFS

    copyFromLocal

    从本地复制文件到OSS。可选参数-f，表示强制覆盖。

    jindo fs -copyFromLocal -f <localdir> oss://<bucket>/<targetdir>

    标准OSS、OSS-HDFS

    copyToLocal

    从OSS复制文件到本地。可选参数-f，表示强制覆盖。

    jindo fs -copyToLocal -f oss://<bucket>/<targetdir> <localdir>

    标准OSS、OSS-HDFS

    createSnapshot

    创建快照，使用前必须先允许使用快照。

    jindo fs -createSnapShot <snapshotDir> [<snapshotName>]

    标准OSS、OSS-HDFS

    checkStoragePolicy

    显示文件的存储策略。

    jindo fs -checkStoragePolicy -path oss://<bucket>/<dir>

    OSS-HDFS

    deleteSnapshot

    删除快照。

    jindo fs -deleteSnapshot oss://<bucket>/<dir> <snapshotName>

    OSS-HDFS

    du

    显示目录中所有文件的大小。可选参数如下：

    • -s：求目标文件夹的总和。

    • -h：标准单位显示。

    jindo fs -du oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    get

    下载文件到本地。可选参数-f，表示强制覆盖。

    jindo fs -get -f oss://<bucket>/<dir> <localdst>

    标准OSS、OSS-HDFS

    getfacl

    显示文件或目录的访问控制列表。可选参数-R，表示递归显示。

    jindo fs -getfacl -R oss://<bucket>/<dir>

    OSS-HDFS

    getfattr

    显示文件或者目录的扩展属性名称和值。可选参数如下：

    • -R：递归显示。

    • -n：按名称显示。

    • -d：显示所有。

    jindo fs -getfattr [-R] {-n user.myAttr | -d} oss://<bucket>/<dir>

    OSS-HDFS

    getStoragePolicy

    显示存储策略。

    jindo fs -getStoragePolicy -path oss://<bucket>/<dir>

    OSS-HDFS

    ls

    列出目录下文件。可选参数-R，表示递归显示。

    jindo fs -ls [-R] oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    listPolicies

    显示支持的存储策略。

    jindo fs -listPolicies

    OSS-HDFS

    load

    数据缓存命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS等后端上的数据。可选参数如下：

    • -s：表示缓存过程同步执行，打印进度和执行信息，推荐开启。

    • -replica：缓存副本数量，默认缓存1个副本。

    • -R：递归缓存文件，当path是文件夹时开启。

    jindo fs -load [-meta] [-data] [-s] [-m] [-R] [-replica value] oss://<bucket>/<dir>

    无

    mkdir

    创建文件夹。

    jindo fs -mkdir oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    mv

    移动文件。

    jindo fs -mv oss://<bucket>/<srcdir> oss://<bucket>/<dstdir>

    标准OSS、OSS-HDFS

    moveFromLocal

    将文件从本地移动到远程路径上，移动完成后会删除本地文件。

    jindo fs -moveFromLocal <localsrc> oss://<bucket>/<dstdir>

    标准OSS、OSS-HDFS

    moveToLocal

    将文件从远程路径上移动到本地，移动完成后会OSS上文件。

    jindo fs -moveToLocal oss://<bucket>/<srcdir> <localdst>

    标准OSS、OSS-HDFS

    metaDiff

    使用缓存加速系统后，显示本地元数据和远端的同步情况。

    jindo fs -metaDiff oss://<bucket>/<srcdir>

    标准OSS、OSS-HDFS

    put

    将本地文件复制到远程目录。可选参数-f，表示强制覆盖。

    jindo fs -put -f <localsrc> oss://<bucket>/<targetdir>

    标准OSS、OSS-HDFS

    rm

    删除远程路径上的文件。可选参数如下：

    • -f：强制删除。

    • -r/-rmr/-R：递归删除。

    • jindo fs -rm -f oss://<bucket>/<dir>

    • jindo fs -rm -R oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    rmdir

    删除文件夹。

    jindo fs -rmdir oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    test

    基本功能检测。可选参数如下：

    • -d：是否是文件夹。

    • -e：是否存在路径。

    • -f：是否是文件。

    • -s：是否为空文件夹。

    • -z：文件长度是否为0。

    jindo fs -test -d oss://<bucket>/<dir>/file

    标准OSS、OSS-HDFS

    renameSnapshot

    重命名快照。

    jindo fs -renameSnapshot oss://<bucket>/<dir> <oldName> <newName>

    OSS-HDFS

    restore

    将文件从归档状态恢复，冷归档文件和归档文件必须恢复后才能unarchive。可选参数-days，表示解冻的时长。

    jindo fs -restore -days value oss://<bucket>/<dir>

    标准OSS

    stat

    显示文件状态。

    jindo fs -stat oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    setStoragePolicy

    该命令用于为某个路径下的数据指定存储策略。

    • -path：指定文件或目录所在路径。

    • -policy：指定存储策略。可选值为：

      • CLOUD_STD：标准存储。

      • CLOUD_IA：低频访问。

      • CLOUD_AR：归档存储。

      • CLOUD_COLD_AR：冷归档存储。

    说明

    如果对文件或子目录没有设置存储类型，则其存储策略会默认继承父目录的存储类型。例如oss://examplebucket/dir的存储类型为CLOUD_STD，则oss://examplebucket/dir/subdir存储类型也为CLOUD_STD。

    jindo fs -setStoragePolicy -path oss://<bucket>/<dir> -policy <policy>

    OSS-HDFS

    setfacl

    设置文件访问策略。可选参数如下：

    • -b：删除所有访问策略。

    • -k：删除默认访问策略。

    • -m：按名称修改访问策略。

    • -x：按名称删除访问策略。

    • -set：设定访问策略。

    说明

    该参数当前仅限白名单用户使用。

    • jindo fs -setfacl -b oss://<bucket>/<dir>

    • jindo fs -setfacl -k oss://<bucket>/<dir>

    • jindo fs -setfacl -m user:<username>:<acl> oss://<bucket>/<dir> jindo fs -setfacl -m user:<username>:<acl> oss://<bucke

    • jindo fs -setfacl -x user:<username> oss://<bucket>/<dir>

    • jindo fs -setfacl -set user::<acl> oss://<bucket>/<dir>

    OSS-HDFS

    setfattr

    设置文件或者目录的扩展属性名称和值。可选参数如下：

    • -n：按名称设置。

    • -v：设置属性值。

    • -x：按名称删除。

    jindo fs -setfattr {-n name [-v value] | -x name} oss://<bucket>/<dir>

    OSS-HDFS

    sync

    将本地文件上传到远程路径。可选参数如下：

    • -update：断点续传。

    • -thread：使用多线程。

    jindo fs -sync [-update] [-thread thread_num] <localsrc> oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    touchz

    生成一个大小为0的文件。

    jindo fs -touchz oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    truncate

    将文件裁剪到指定大小。

    jindo fs -truncate <length> oss://<bucket>/<dir>

    OSS-HDFS

    unarchive

    将文件恢复为标准文件，AR和COLD类型文件需要先restore。

    jindo fs -unarchive oss://<bucket>/<dir>

    标准OSS

    uncache

    删除缓存系统的缓存文件。

    jindo fs -uncache oss://<bucket>/<dir>

    标准OSS、OSS-HDFS

    unsetStoragePolicy

    取消存储策略。

    jindo fs -unsetStoragePolicy -path oss://<bucket>/<dir>

    OSS-HDFS

    ADMIN子命令

    命令

    功能说明

    使用示例

    适用范围

    mount

    挂载OSS或OSS-HDFS服务目录。

    jindo admin -mount <localdir> oss://<Bucket>/<dir>

    标准OSS、OSS-HDFS

    report

    输出当前JindoFSx存储加速系统的一些信息，比如缓存大小，缓存容量等。

    jindo admin -report

    标准OSS、OSS-HDFS

    reportMetrics

    输出当前JindoFSx存储加速系统的一些metrics信息。

    jindo admin -reportMetrics

    标准OSS、OSS-HDFS

    umount

    取消挂载OSS或OSS-HDFS服务目录。

    jindo fsxadmin -unmount <localdir>

    标准OSS、OSS-HDFS

    addProxyUser

    添加代理用户。

    jindo dlsadmin -addProxyUser -dlsUri oss://<bucket> -proxyUser <value> -users|-groups <value> -hosts <value>]

    OSS-HDFS

    allowSnapshot

    允许使用快照。

    jindo admin -allowSnapshot -dlsUri oss://<bucket>/<dir>

    OSS-HDFS

    addUserGroupsMapping

    映射用户和组的关系。

    jindo admin -addUserGroupsMapping -dlsUri oss://<bucket> <path> -user <value> -groups <value>

    OSS-HDFS

    disallowSnapshot

    不允许使用快照。

    jindo admin -disallowSnapshot -dlsUri oss://<bucket>/<dir>

    OSS-HDFS

    deleteProxyUser

    删除代理用户。

    jindo admin -deleteProxyUser -dlsUri oss://<bucket>/<dir> -proxyUser <value> -users|-groups <value> -hosts <value>]

    OSS-HDFS

    deleteUserGroupsMapping

    删除用户和组的关系。

    jindo admin -deleteUserGroupsMapping -dlsUri oss://<bucket> -user <value>

    OSS-HDFS

    dumpFile

    查看文件的详细存储信息。

    jindo dlsadmin -dumpFile -dlsUri oss://<bucket>/<dir>

    OSS-HDFS

    dumpInventory

    导出文件元数据。

    jindo dlsadmin -dumpInventory -dlsUri oss://<bucket>/<dir>

    OSS-HDFS

    dumpBlockFiles

    将指定文件夹下面所有文件信息下载到本地。

    jindo dlsadmin -dumpBlockFiles -in oss://<bucket>/<dir> -out <localdir>

    OSS-HDFS

    listProxyUsers

    列出代理用户。

    jindo admin -listProxyUsers -dlsUri oss://<bucket> [-maxKeys <value>] [-marker <value>]

    OSS-HDFS

    listUserGroupsMappings

    列出所有用户和组的关系。

    jindo admin -listUserGroupsMappings -dlsUri oss://<bucket> [-maxKeys <value>] [-marker <value>]

    OSS-HDFS

    snapshotDiff

    查看快照之间的差别。

    jindo admin -snapshotDiff -dlsUri oss://<bucket>/<dir> -fromSnapshot <value> -toSnapshot <value>

    OSS-HDFS

    setRootPolicy

    允许为Bucket设置任意前缀的访问路径。

    jindo admin -setRootPolicy <dlsRootPath> <accessRootPath>

    OSS-HDFS

    unsetRootPolicy

    取消为Bucket设置的任意前缀的访问路径。

    jindo admin -unsetRootPolicy <dlsRootPath> <accessRootPath>

    OSS-HDFS

    listAccessPolicies

    查看当前Bucket支持的所有访问路径。

    jindo admin -listAccessPolicies <dlsRootPath>

    OSS-HDFS