Jindo CLI支援操作JindoFSx資料緩衝、中繼資料快取和統一命名空間等命令。
前提條件
- 已在E-MapReduce上建立EMR-3.42.0及後續版本、EMR-5.6.0及後續版本的叢集,具體操作請參見建立叢集。
- 當資料來源為OSS、OSS-HDFS、Apache HDFS、NAS時,請先完成如下配置:
說明 本文以EMR-3.42.0版本為例介紹。
背景資訊
資料緩衝命令
資料緩衝命令可以備份對應路徑的資料至本叢集的磁碟,以便於後續可以讀取本機資料,無需讀取OSS等後端上的資料。
jindo fs -load -data <options> <path>| 參數 | 描述 |
| options | 各種選擇性參數:
|
| path | 資料緩衝路徑。 |
建議使用以下組合命令。
jindo fs -load -data -s -R <path>中繼資料快取命令
中繼資料快取命令可以備份遠端檔案的中繼資料資訊,從而後續無需從OSS等後端讀取檔案中繼資料資訊。
jindo fs -load -meta <options> <path>| 參數 | 描述 |
| options | 各種選擇性參數:
|
| path | 中繼資料快取路徑。 |
建議使用以下組合命令。
jindo fs -load -meta -s -R <path>資料緩衝和中繼資料快取可以組合使用,當需要同時進行二者緩衝時,可以搭配選擇性參數使用。建議使用以下組合命令。
jindo fs -load -meta -data -s -R <path>清理緩衝命令
清理緩衝命令可以刪除本地叢集中的本地備份,只儲存資料在OSS標準儲存上,以便於後續讀取OSS上的資料。
jindo fs -uncache <path>統一命名空間命令
- 擷取所有掛載點。
jindo fs -mount - 添加一個掛載點。
jindo fs -mount <path> <realpath> - 移除掛載點。
jindo fs -unmount <path>
其他命令
執行以下命令,輸出當前緩衝系統的資訊,例如緩衝大小,緩衝容量等。
jindo fs -report輸出資訊如下:
Namespace Address: 127.0.0.1:8101
Rpc Port: 8101
Started: Mon Jan 10 15:23:51 2022
Version: 4.1.0
Live Nodes: 2
Decommission Nodes: 0
Total Disk Capacity: 438.17GB
Used Disk Capacity: 5120.00MB
Total MEM Capacity: 4096.00MB
Used MEM Capacity: 0B