全部產品
Search
文件中心

E-MapReduce:SmartData 3.7.x版本簡介

更新時間:Jul 01, 2024

SmartData組件是EMR Jindo引擎的儲存部分,為EMR各個計算引擎提供統一的儲存、緩衝、計算最佳化以及功能擴充。SmartData組件主要包括JindoFS、JindoTable和相關工具集。本文為您介紹SmartData(3.7.x)版本的新增內容。

JindoFS

此版本中JindoFS的新特性如下表所示。

特性描述
JindoFS支援展示統計資訊SmartData 3.7.2及後續版本支援該特性。

JindoFS服務收集匯總了一些重要的指標資訊,例如OSS讀寫吞吐、緩衝讀寫吞吐、緩衝使用率等,可用於對接Prometheus,進行可視化監控。

JindoFS階層式存放區支援冷歸檔SmartData 3.7.3及後續版本支援該特性。

階層式存放區命令支援了OSS冷Archive Storage類型,可以對冷資料進一步節省成本,詳情請參見階層式存放區命令使用說明

JindoSDK

此版本中JindoSDK的新特性如下表所示。

特性描述
支援訪問Amazon S3檔案系統JindoFS用戶端支援了Amazon S3檔案系統,可以用來訪問Amazon S3上的資料。
支援OSS PrefixLink特性JindoFS用戶端支援了OSS PrefixLink特性,通過提升Rename效能,能夠有效加速Hive作業,特別對於Hive ETL情境有明顯最佳化效果。
支援OSS原子RenameSmartData 3.7.2及後續版本支援該特性。

JindoFS用戶端利用OSS新特性實現了原子Rename,適用於Delta情境。

JindoTable

此版本中JindoTable的新特性如下表所示。

特性描述
歸檔、解凍功能支援冷歸檔SmartData 3.7.2及後續版本支援該特性。

JindoTable SDK模式歸檔和解凍命令支援了OSS冷Archive Storage類型,詳情請參見JindoTable SDK模式歸檔和解凍命令介紹