SmartData組件是EMR Jindo引擎的儲存部分,為EMR各個計算引擎提供統一的儲存、緩衝、計算最佳化以及功能擴充。SmartData組件主要包括JindoFS、JindoTable和相關工具集。本文為您介紹SmartData(3.7.x)版本的新增內容。
JindoFS
此版本中JindoFS的新特性如下表所示。
特性 | 描述 |
JindoFS支援展示統計資訊 | SmartData 3.7.2及後續版本支援該特性。 JindoFS服務收集匯總了一些重要的指標資訊,例如OSS讀寫吞吐、緩衝讀寫吞吐、緩衝使用率等,可用於對接Prometheus,進行可視化監控。 |
JindoFS階層式存放區支援冷歸檔 | SmartData 3.7.3及後續版本支援該特性。 階層式存放區命令支援了OSS冷Archive Storage類型,可以對冷資料進一步節省成本,詳情請參見階層式存放區命令使用說明。 |
JindoSDK
此版本中JindoSDK的新特性如下表所示。
特性 | 描述 |
支援訪問Amazon S3檔案系統 | JindoFS用戶端支援了Amazon S3檔案系統,可以用來訪問Amazon S3上的資料。 |
支援OSS PrefixLink特性 | JindoFS用戶端支援了OSS PrefixLink特性,通過提升Rename效能,能夠有效加速Hive作業,特別對於Hive ETL情境有明顯最佳化效果。 |
支援OSS原子Rename | SmartData 3.7.2及後續版本支援該特性。 JindoFS用戶端利用OSS新特性實現了原子Rename,適用於Delta情境。 |
JindoTable
此版本中JindoTable的新特性如下表所示。
特性 | 描述 |
歸檔、解凍功能支援冷歸檔 | SmartData 3.7.2及後續版本支援該特性。 JindoTable SDK模式歸檔和解凍命令支援了OSS冷Archive Storage類型,詳情請參見JindoTable SDK模式歸檔和解凍命令介紹。 |