使用OSS-HDFS服務的Bucket佔用情況 - Object Storage Service

OSS-HDFS服務使用OSS Bucket儲存HDFS資料及其輔助資料，這些資料均儲存於Bucket中的.dlsdata/ 路徑下，併產生相應的OSS儲存容量的計量和計費。

OSS-HDFS檔案資料區塊block

OSS-HDFS檔案的所有資料區塊block均佔用OSS Bucket的儲存空間。OSS-HDFS檔案資料區塊block佔用是OSS空間主要佔用部分，您可以通過hdfs du命令查看資料區塊block的空間佔用情況。

OSS-HDFS支援HDFS checksum特性，資料寫入時產生額外的checksum資料。開源HDFS checksum資料會佔用Datanode的磁碟空間，OSS-HDFS檔案的checksum資料佔用OSS的空間。

預設情況下，資料正常寫入每512位元組產生4位元組的checksum。在小檔案或者小資料區塊寫入的情況下會存在checksum資料放大的情況，屬於正常現象。

重要

checksum資料的空間佔用情況作為OSS標準儲存容量進行統計，不支援通過hdfs du命令進行統計和查看。

OSS-HDFS在某些情境下支援通過JindoFuse用戶端隨機覆蓋寫入和修改檔案。由於資料區塊block本身無法修改，系統需要通過delta增量檔案的方式寫入或修改檔案，通過該方式寫入和修改檔案會額外佔用OSS儲存空間。

重要

通過delta增量檔案的方式寫入或修改檔案的空洞佔用情況作為OSS標準儲存容量進行統計，不支援通過hdfs du命令進行統計和查看。

OSS-HDFS服務對檔案讀寫請求操作都通過審計日誌進行記錄。審計日誌儲存在Bucket中，佔用OSS部分儲存容量。審計記錄檔作為HDFS檔案系統目錄的一部分，儲存在/.sysinfo路徑下。您可以通過hdfs du命令查看HDFS審計日誌資料的空間佔用情況。

OSS-HDFS服務支援檔案清單匯出功能。資訊清單檔儲存在Bucket中，佔用OSS部分儲存容量。資訊清單檔作為OSS-HDFS檔案系統目錄的一部分，儲存在/.sysinfo路徑下。您可以通過hdfs du命令查看OSS-HDFS檔案資訊清單檔的空間佔用情況。

OSS-HDFS資源回收筒中的檔案未達到指定儲存時間前，並沒有從HDFS檔案系統中徹底刪除，仍然繼續佔用OSS部分儲存容量。您可以通過hdfs du命令查看OSS-HDFS資源回收筒空間佔用情況。

OSS-HDFS服務內部使用OSS部分空間暫存臨時資料，例如非同步任務資訊，該部分佔用1 GB以內的空間。

重要

OSS-HDFS服務內部使用佔用情況作為OSS標準儲存容量進行統計，不支援通過hdfs du進行統計和查看。