SmartData组件是EMR Jindo引擎的存储部分,为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文为您介绍SmartData(3.7.x)版本的新增内容。

JindoFS

此版本中JindoFS的新特性如下表所示。

特性描述
JindoFS支持展示统计信息SmartData 3.7.2及后续版本支持该特性。

JindoFS服务收集汇总了一些重要的指标信息,例如OSS读写吞吐、缓存读写吞吐、缓存使用率等,可用于对接Prometheus,进行可视化监控。

JindoFS分层存储支持冷归档SmartData 3.7.3及后续版本支持该特性。

分层存储命令支持了OSS冷归档存储类型,可以对冷数据进一步节省成本,详情请参见分层存储命令使用说明

JindoSDK

此版本中JindoSDK的新特性如下表所示。

特性描述
支持访问Amazon S3文件系统JindoFS客户端支持了Amazon S3文件系统,可以用来访问Amazon S3上的数据。
支持OSS PrefixLink特性JindoFS客户端支持了OSS PrefixLink特性,通过提升Rename性能,能够有效加速Hive作业,特别对于Hive ETL场景有明显优化效果。
支持OSS原子RenameSmartData 3.7.2及后续版本支持该特性。

JindoFS客户端利用OSS新特性实现了原子Rename,适用于Delta场景。

JindoTable

此版本中JindoTable的新特性如下表所示。

特性描述
归档、解冻功能支持冷归档SmartData 3.7.2及后续版本支持该特性。

JindoTable SDK模式归档和解冻命令支持了OSS冷归档存储类型,详情请参见JindoTable SDK模式归档和解冻命令介绍