E-MapReduce：開啟native查詢加速

使用限制

• 不支援對Binary類型檔案進行加速。

• 不支援分區列的值儲存在檔案中的分區表。

• 不支援EMR-5.X系列及後續版本的E-MapReduce叢集。

• 不支援代碼spark.read.schema（userDefinedSchema）。

• 支援Date類型區間為1400-01-01到9999-12-31。

• 同一個表中查詢列不支援區分大小寫。例如，NAME和name兩個列在同一個表中無法使用查詢加速。

• Spark、Hive和Presto服務支援的引擎和儲存格式如下所示。

  引擎	ORC	Parquet
  Spark2	支援	支援
  Spark3	支援	支援
  Presto	支援	支援
  Hive2	不支援	支援
  Hive3	不支援	支援

• Spark、Hive和Presto服務支援的引擎和隱藏檔系統如下所示。

  引擎	OSS	JFS	HDFS
  Spark2	支援	支援	支援
  Presto	支援	支援	支援
  Hive2	支援	支援	不支援
  Hive3	支援	支援	不支援

提升Spark效能

1. 開啟JindoTable ORC或Parquet加速。

   說明

   • 因為查詢加速使用的是堆外記憶體，所以在Spark任務中建議添加配置--conf spark.executor.memoryOverhead=4g，提高Spark申請額外資源用來進行加速。

   • Spark讀取ORC或Parquet時，需要使用DataFrame API或者Spark-SQL。

   • 全域設定

     1. 進入詳情頁面。

        1. 登入阿里雲E-MapReduce控制台。

        2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。

        3. 單擊上方的叢集管理頁簽。

        4. 在叢集管理頁面，單擊相應叢集所在行的詳情。

     2. 修改配置。

        1. 在左側導覽列，選擇叢集服務 > Spark。

        2. 在Spark服務頁面，單擊配置頁簽。

        3. 在搜尋地區，搜尋參數spark.sql.extensions，修改參數值為io.delta.sql.DeltaSparkSessionExtension,com.aliyun.emr.sql.JindoTableExtension。

     3. 儲存配置。

        1. 單擊儲存。

        2. 在確認修改對話方塊中，輸入執行原因，單擊確定。

     4. 重啟ThriftServer。

        1. 在右上方選擇操作 > 重啟ThriftServer。

        2. 在執行叢集操作對話方塊中，輸入執行原因，單擊確定。

        3. 在確認對話方塊中，單擊確定。

   • Job層級設定

     使用spark-shell或者spark-sql時，可以添加Spark的啟動參數。

     --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension,com.aliyun.emr.sql.JindoTableExtension

     作業詳情請參見Spark Shell作業配置或Spark SQL作業配置。

2. 檢查開啟情況。

   1. 登入Spark History Server UI頁面。

   2. 在Spark的SQL頁面，查看執行任務。

      當出現JindoDataSourceV2Scan時，表示開啟成功。否則，請排查步驟1中的操作。

提升Presto效能

presto --server emr-header-1:9090 --catalog hive-acc --schema default

提升Hive效能