全部產品
Search

搜尋本產品

    E-MapReduce：Jindo CLI使用指南

    文件中心

    E-MapReduce：Jindo CLI使用指南

    更新時間：Jul 01, 2024

    本文為您介紹如何使用Jindo CLI以及相關命令。

    用法匯總

    您可以使用jindo fs命令來查看支援的命令和用法。

    FS子命令

    命令

    功能說明

    命令樣本

    適用範圍

    archive

    將OSS上檔案設定為歸檔類型。選擇性參數如下：

    • -i：低頻。

    • -c：冷歸檔。

    • jindo fs -archive oss://<bucket>/<dir>

    • jindo fs -archive -i oss://<bucket>/<dir>

    • jindo fs -archive -c oss://<bucket>/<dir>

    標準OSS

    cat

    顯示常值內容。

    jindo fs -cat oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    count

    顯示檔案大小以及檔案數量。選擇性參數-h，顯示檔案大小單位。

    jindo fs -count -h oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    cp

    複製檔案。選擇性參數-f，表示強制覆蓋。

    jindo fs -cp -f oss://<bucket>/<sourcedir> oss://<bucket>/<targetdir>

    標準OSS、OSS-HDFS

    checksum

    計算檔案的CRC32 CheckSum大小。

    jindo fs -checksum oss://<bucket>/file

    OSS-HDFS

    chgrp

    改變檔案的所屬群組。

    jindo fs -chgrp <groupname> oss://<bucket>/<dir>

    OSS-HDFS

    chmod

    改變檔案的存取權限。

    jindo fs -chmod <mode> oss://<bucket>/<dir>

    OSS-HDFS

    chown

    改變檔案的所有者。

    jindo fs -chown <username> oss://<bucket>/<dir>

    OSS-HDFS

    copyFromLocal

    從本地複製檔案到OSS。選擇性參數-f，表示強制覆蓋。

    jindo fs -copyFromLocal -f <localdir> oss://<bucket>/<targetdir>

    標準OSS、OSS-HDFS

    copyToLocal

    從OSS複製檔案到本地。選擇性參數-f，表示強制覆蓋。

    jindo fs -copyToLocal -f oss://<bucket>/<targetdir> <localdir>

    標準OSS、OSS-HDFS

    createSnapshot

    建立快照，使用前必須先允許使用快照。

    jindo fs -createSnapShot <snapshotDir> [<snapshotName>]

    標準OSS、OSS-HDFS

    checkStoragePolicy

    顯示檔案的儲存策略。

    jindo fs -checkStoragePolicy -path oss://<bucket>/<dir>

    OSS-HDFS

    deleteSnapshot

    刪除快照。

    jindo fs -deleteSnapshot oss://<bucket>/<dir> <snapshotName>

    OSS-HDFS

    du

    顯示目錄中所有檔案的大小。選擇性參數如下：

    • -s：求目標檔案夾的總和。

    • -h：標準單位顯示。

    jindo fs -du oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    get

    下載檔案到本地。選擇性參數-f，表示強制覆蓋。

    jindo fs -get -f oss://<bucket>/<dir> <localdst>

    標準OSS、OSS-HDFS

    getfacl

    顯示檔案或目錄的存取控制清單。選擇性參數-R，表示遞迴顯示。

    jindo fs -getfacl -R oss://<bucket>/<dir>

    OSS-HDFS

    getfattr

    顯示檔案或者目錄的擴充屬性名稱和值。選擇性參數如下：

    • -R：遞迴顯示。

    • -n：按名稱顯示。

    • -d：顯示所有。

    jindo fs -getfattr [-R] {-n user.myAttr | -d} oss://<bucket>/<dir>

    OSS-HDFS

    getStoragePolicy

    顯示儲存策略。

    jindo fs -getStoragePolicy -path oss://<bucket>/<dir>

    OSS-HDFS

    ls

    列出目錄下檔案。選擇性參數-R，表示遞迴顯示。

    jindo fs -ls [-R] oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    listPolicies

    顯示支援的儲存策略。

    jindo fs -listPolicies

    OSS-HDFS

    load

    資料緩衝命令可以備份對應路徑的資料至本叢集的磁碟，以便於後續可以讀取本機資料，無需讀取OSS等後端上的資料。選擇性參數如下：

    • -s：表示緩衝過程同步執行，列印進度和執行資訊，推薦開啟。

    • -replica：快取複本數量，預設緩衝1個副本。

    • -R：遞迴快取檔案，當path是檔案夾時開啟。

    jindo fs -load [-meta] [-data] [-s] [-m] [-R] [-replica value] oss://<bucket>/<dir>

    無

    mkdir

    建立檔案夾。

    jindo fs -mkdir oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    mv

    移動檔案。

    jindo fs -mv oss://<bucket>/<srcdir> oss://<bucket>/<dstdir>

    標準OSS、OSS-HDFS

    moveFromLocal

    將檔案從本地移動到遠程路徑上，移動完成後會刪除本地檔案。

    jindo fs -moveFromLocal <localsrc> oss://<bucket>/<dstdir>

    標準OSS、OSS-HDFS

    moveToLocal

    將檔案從遠程路徑上移動到本地，移動完成後會OSS上檔案。

    jindo fs -moveToLocal oss://<bucket>/<srcdir> <localdst>

    標準OSS、OSS-HDFS

    metaDiff

    使用緩衝加速系統後，顯示本地中繼資料和遠端的同步情況。

    jindo fs -metaDiff oss://<bucket>/<srcdir>

    標準OSS、OSS-HDFS

    put

    將本地檔案複製到遠程目錄。選擇性參數-f，表示強制覆蓋。

    jindo fs -put -f <localsrc> oss://<bucket>/<targetdir>

    標準OSS、OSS-HDFS

    rm

    刪除遠程路徑上的檔案。選擇性參數如下：

    • -f：強制移除。

    • -r/-rmr/-R：遞迴刪除。

    • jindo fs -rm -f oss://<bucket>/<dir>

    • jindo fs -rm -R oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    rmdir

    刪除檔案夾。

    jindo fs -rmdir oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    test

    準系統檢測。選擇性參數如下：

    • -d：是否是檔案夾。

    • -e：是否存在路徑。

    • -f：是否是檔案。

    • -s：是否為空白檔案夾。

    • -z：檔案長度是否為0。

    jindo fs -test -d oss://<bucket>/<dir>/file

    標準OSS、OSS-HDFS

    renameSnapshot

    重新命名快照。

    jindo fs -renameSnapshot oss://<bucket>/<dir> <oldName> <newName>

    OSS-HDFS

    restore

    將檔案從歸檔狀態恢複，冷歸檔檔案和歸檔檔案必須恢複後才能unarchive。選擇性參數-days，表示解凍的時間長度。

    jindo fs -restore -days value oss://<bucket>/<dir>

    標準OSS

    stat

    顯示檔案狀態。

    jindo fs -stat oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    setStoragePolicy

    該命令用於為某個路徑下的資料指定儲存策略。

    • -path：指定檔案或目錄所在路徑。

    • -policy：指定儲存策略。可選值為：

      • CLOUD_STD：標準儲存。

      • CLOUD_IA：低頻訪問。

      • CLOUD_AR：Archive Storage。

      • CLOUD_COLD_AR：冷Archive Storage。

    說明

    如果對檔案或子目錄沒有設定儲存類型，則其儲存策略會預設繼承父目錄的儲存類型。例如oss://examplebucket/dir的儲存類型為CLOUD_STD，則oss://examplebucket/dir/subdir儲存類型也為CLOUD_STD。

    jindo fs -setStoragePolicy -path oss://<bucket>/<dir> -policy <policy>

    OSS-HDFS

    setfacl

    設定檔案存取原則。選擇性參數如下：

    • -b：刪除所有存取原則。

    • -k：刪除預設存取原則。

    • -m：按名稱修改存取原則。

    • -x：按名稱刪除存取原則。

    • -set：設定存取原則。

    說明

    該參數當前僅限白名單使用者使用。

    • jindo fs -setfacl -b oss://<bucket>/<dir>

    • jindo fs -setfacl -k oss://<bucket>/<dir>

    • jindo fs -setfacl -m user:<username>:<acl> oss://<bucket>/<dir> jindo fs -setfacl -m user:<username>:<acl> oss://<bucke

    • jindo fs -setfacl -x user:<username> oss://<bucket>/<dir>

    • jindo fs -setfacl -set user::<acl> oss://<bucket>/<dir>

    OSS-HDFS

    setfattr

    設定檔案或者目錄的擴充屬性名稱和值。選擇性參數如下：

    • -n：按名稱設定。

    • -v：設定屬性值。

    • -x：按名稱刪除。

    jindo fs -setfattr {-n name [-v value] | -x name} oss://<bucket>/<dir>

    OSS-HDFS

    sync

    將本地檔案上傳到遠程路徑。選擇性參數如下：

    • -update：斷點續傳。

    • -thread：使用多線程。

    jindo fs -sync [-update] [-thread thread_num] <localsrc> oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    touchz

    產生一個大小為0的檔案。

    jindo fs -touchz oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    truncate

    將檔案裁剪到指定大小。

    jindo fs -truncate <length> oss://<bucket>/<dir>

    OSS-HDFS

    unarchive

    將檔案恢複為標準檔案，AR和COLD類型檔案需要先restore。

    jindo fs -unarchive oss://<bucket>/<dir>

    標準OSS

    uncache

    刪除緩衝系統的快取檔案。

    jindo fs -uncache oss://<bucket>/<dir>

    標準OSS、OSS-HDFS

    unsetStoragePolicy

    取消儲存策略。

    jindo fs -unsetStoragePolicy -path oss://<bucket>/<dir>

    OSS-HDFS

    ADMIN子命令

    命令

    功能說明

    使用樣本

    適用範圍

    mount

    掛載OSS或OSS-HDFS服務類別目錄。

    jindo admin -mount <localdir> oss://<Bucket>/<dir>

    標準OSS、OSS-HDFS

    report

    輸出當前JindoFSx儲存加速系統的一些資訊，比如緩衝大小，緩衝容量等。

    jindo admin -report

    標準OSS、OSS-HDFS

    reportMetrics

    輸出當前JindoFSx儲存加速系統的一些metrics資訊。

    jindo admin -reportMetrics

    標準OSS、OSS-HDFS

    umount

    取消掛載OSS或OSS-HDFS服務類別目錄。

    jindo fsxadmin -unmount <localdir>

    標準OSS、OSS-HDFS

    addProxyUser

    添加代理使用者。

    jindo dlsadmin -addProxyUser -dlsUri oss://<bucket> -proxyUser <value> -users|-groups <value> -hosts <value>]

    OSS-HDFS

    allowSnapshot

    允許使用快照。

    jindo admin -allowSnapshot -dlsUri oss://<bucket>/<dir>

    OSS-HDFS

    addUserGroupsMapping

    映射使用者和組的關係。

    jindo admin -addUserGroupsMapping -dlsUri oss://<bucket> <path> -user <value> -groups <value>

    OSS-HDFS

    disallowSnapshot

    不允許使用快照。

    jindo admin -disallowSnapshot -dlsUri oss://<bucket>/<dir>

    OSS-HDFS

    deleteProxyUser

    刪除代理使用者。

    jindo admin -deleteProxyUser -dlsUri oss://<bucket>/<dir> -proxyUser <value> -users|-groups <value> -hosts <value>]

    OSS-HDFS

    deleteUserGroupsMapping

    刪除使用者和組的關係。

    jindo admin -deleteUserGroupsMapping -dlsUri oss://<bucket> -user <value>

    OSS-HDFS

    dumpFile

    查看檔案的詳細儲存資訊。

    jindo dlsadmin -dumpFile -dlsUri oss://<bucket>/<dir>

    OSS-HDFS

    dumpInventory

    匯出檔案中繼資料。

    jindo dlsadmin -dumpInventory -dlsUri oss://<bucket>/<dir>

    OSS-HDFS

    dumpBlockFiles

    將指定檔案夾下面所有檔案資訊下載到本地。

    jindo dlsadmin -dumpBlockFiles -in oss://<bucket>/<dir> -out <localdir>

    OSS-HDFS

    listProxyUsers

    列出代理使用者。

    jindo admin -listProxyUsers -dlsUri oss://<bucket> [-maxKeys <value>] [-marker <value>]

    OSS-HDFS

    listUserGroupsMappings

    列出所有使用者和組的關係。

    jindo admin -listUserGroupsMappings -dlsUri oss://<bucket> [-maxKeys <value>] [-marker <value>]

    OSS-HDFS

    snapshotDiff

    查看快照之間的差別。

    jindo admin -snapshotDiff -dlsUri oss://<bucket>/<dir> -fromSnapshot <value> -toSnapshot <value>

    OSS-HDFS

    setRootPolicy

    允許為Bucket設定任意首碼的訪問路徑。

    jindo admin -setRootPolicy <dlsRootPath> <accessRootPath>

    OSS-HDFS

    unsetRootPolicy

    取消為Bucket設定的任意首碼的訪問路徑。

    jindo admin -unsetRootPolicy <dlsRootPath> <accessRootPath>

    OSS-HDFS

    listAccessPolicies

    查看當前Bucket支援的所有訪問路徑。

    jindo admin -listAccessPolicies <dlsRootPath>

    OSS-HDFS