OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据,这些数据均存储于Bucket中的.dlsdata/
路径下,并产生相应的OSS存储容量的计量和计费。
OSS-HDFS文件数据块block
OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS文件数据块block占用是OSS空间主要占用部分,您可以通过hdfs du命令查看数据块block的空间占用情况。
OSS-HDFS文件checksum数据
OSS-HDFS支持HDFS checksum特性,数据写入时产生额外的checksum数据。开源HDFS checksum数据会占用Datanode的磁盘空间,OSS-HDFS文件的checksum数据占用OSS的空间。
默认情况下,数据正常写入每512字节生成4字节的checksum。在小文件或者小数据块写入的情况下会存在checksum数据放大的情况,属于正常现象。
checksum数据的空间占用情况作为OSS标准存储容量进行统计,不支持通过hdfs du命令进行统计和查看。
OSS-HDFS文件空洞占用
OSS-HDFS在某些场景下支持通过JindoFuse客户端随机覆盖写入和修改文件。由于数据块block本身无法修改,系统需要通过delta增量文件的方式写入或修改文件,通过该方式写入和修改文件会额外占用OSS存储空间。
通过delta增量文件的方式写入或修改文件的空洞占用情况作为OSS标准存储容量进行统计,不支持通过hdfs du命令进行统计和查看。
OSS-HDFS审计日志数据
OSS-HDFS服务对文件读写请求操作都通过审计日志进行记录。审计日志保存在Bucket中,占用OSS部分存储容量。审计日志文件作为HDFS文件系统目录的一部分,存储在/.sysinfo
路径下。您可以通过hdfs du命令查看HDFS审计日志数据的空间占用情况。
OSS-HDFS文件清单数据
OSS-HDFS服务支持文件清单导出功能。清单文件保存在Bucket中,占用OSS部分存储容量。清单文件作为OSS-HDFS文件系统目录的一部分,存储在/.sysinfo
路径下。您可以通过hdfs du命令查看OSS-HDFS文件清单文件的空间占用情况。
OSS-HDFS回收站
OSS-HDFS回收站中的文件未达到指定保存时间前,并没有从HDFS文件系统中彻底删除,仍然继续占用OSS部分存储容量。您可以通过hdfs du命令查看OSS-HDFS回收站空间占用情况。
OSS-HDFS服务内部使用
OSS-HDFS服务内部使用OSS部分空间暂存临时数据,例如异步任务信息,该部分占用1 GB以内的空间。
OSS-HDFS服务内部使用占用情况作为OSS标准存储容量进行统计,不支持通过hdfs du进行统计和查看。