SmartData组件是EMR Jindo引擎的存储部分,为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文为您介绍SmartData(3.7.x)版本的新增内容。
JindoFS
此版本中JindoFS的新特性如下表所示。
特性 | 描述 |
---|---|
JindoFS支持展示统计信息 | SmartData 3.7.2及后续版本支持该特性。 JindoFS服务收集汇总了一些重要的指标信息,例如OSS读写吞吐、缓存读写吞吐、缓存使用率等,可用于对接Prometheus,进行可视化监控。 |
JindoFS分层存储支持冷归档 | SmartData 3.7.3及后续版本支持该特性。 分层存储命令支持了OSS冷归档存储类型,可以对冷数据进一步节省成本,详情请参见分层存储命令使用说明。 |
JindoSDK
此版本中JindoSDK的新特性如下表所示。
特性 | 描述 |
---|---|
支持访问Amazon S3文件系统 | JindoFS客户端支持了Amazon S3文件系统,可以用来访问Amazon S3上的数据。 |
支持OSS PrefixLink特性 | JindoFS客户端支持了OSS PrefixLink特性,通过提升Rename性能,能够有效加速Hive作业,特别对于Hive ETL场景有明显优化效果。 |
支持OSS原子Rename | SmartData 3.7.2及后续版本支持该特性。 JindoFS客户端利用OSS新特性实现了原子Rename,适用于Delta场景。 |
JindoTable
此版本中JindoTable的新特性如下表所示。
特性 | 描述 |
---|---|
归档、解冻功能支持冷归档 | SmartData 3.7.2及后续版本支持该特性。 JindoTable SDK模式归档和解冻命令支持了OSS冷归档存储类型,详情请参见JindoTable SDK模式归档和解冻命令介绍。 |