SmartData組件是EMR Jindo引擎的儲存部分,為EMR各個計算引擎提供統一的儲存、緩衝、計算最佳化以及功能擴充。SmartData組件主要包括JindoFS、JindoTable和相關工具集。本文介紹SmartData(3.5.x)版本的更新內容。
JindoFS OSS擴充和支援
最佳化OSS刪除目錄的效能。
JindoSDK
- Java使用JindoSDK時,JindoSDK日誌輸出到Java日誌中,以提高可診斷性。
- 新增SDK端使用記憶體統計日誌,可以看到當前JindoSDK使用的記憶體大小。
JindoTable計算最佳化
- JindoTable新增native加速功能,可以對使用Spark、Hive或Presto讀取儲存在OSS和JindoFS上的ORC或Parquet格式的檔案進行加速,詳情請參見開啟native查詢加速。
- Hive支援JindoTable冷度統計,以統計Hive表訪問頻次,詳情請參見JindoTable表或分區訪問冷度收集。
JindoFS工具集
增強JindoDistcp,支援通過阿里雲監控(CloudMonitor)服務監控警示失敗任務、移除了對AVX指令集的依賴、並新增使用冷歸檔方式寫入OSS等功能,詳情請參見Jindo DistCp使用說明。