全部產品
Search
文件中心

E-MapReduce:管理SQL會話

更新時間:Sep 15, 2024

會話是指EMR Serverless Spark工作空間中可用的Spark Session。您需要訪問SQL會話來運行SQL查詢和進行資料科學分析。 本文主要為您介紹如何建立SQL會話

建立SQL會話

SQL會話建立完成後,您可以在建立SQL類型任務時選擇此會話。

  1. 進入會話管理頁面。

    1. 登入E-MapReduce控制台

    2. 在左側導覽列,選擇EMR Serverless > Spark

    3. Spark頁面,單擊目標工作空間名稱。

    4. EMR Serverless Spark頁面,單擊左側導覽列中的會話管理

  2. SQL會話頁面,單擊建立SQL會話

  3. 在建立SQL會話頁面,配置以下資訊,單擊建立

    重要

    建議將所選部署隊列的並發上限至少設定為Notebook會話所需的資源大小,具體數值請以控制台展示為準。

    參數

    說明

    名稱

    建立SQL會話的名稱。

    長度限制為1~64個字元,僅支援字母、數字、短劃線(-)、底線(_)和空格。

    部署隊列

    請選擇合適的開發隊列部署此SQL會話。僅支援選擇開發或者開發和生產公用的隊列。

    隊列更多資訊,請參見管理資源隊列

    引擎版本

    當前SQL會話使用的引擎版本。引擎版本號碼含義等詳情請參見引擎版本介紹

    使用Fusion加速

    Fusion可加速Spark負載的運行並降低任務的總成本。有關計費資訊,請參見產品計費。有關Fusion引擎介紹,請參見Fusion引擎

    自動停止

    預設開啟。支援您自訂設定SQL會話在不活動後的自動停止時間。

    spark.driver.cores

    用於指定Spark應用程式中Driver進程所使用的CPU核心數量。預設值為1 CPU。

    spark.driver.memory

    用於指定Spark應用程式中Driver進程可以使用的記憶體量。預設值為3.5 GB。

    spark.executor.cores

    用於指定每個Executor進程可以使用的CPU核心數量。預設值為1 CPU。

    spark.executor.memory

    用於指定每個Executor進程可以使用的記憶體量。預設值為3.5 GB。

    spark.executor.instances

    Spark分配的執行器(Executor)數量。預設值為2。

    動態資源分派

    預設關閉。開啟後,需要配置以下參數:

    • executors數量下限:預設為2。

    • executors數量上限:如果未設定spark.executor.instances,則預設值為10。

    更多記憶體配置

    • spark.driver.memoryOverhead:每個Driver可利用的非堆記憶體。如果未設定該參數,Spark會根據預設值自動分配,預設值為 max(384MB, 10% × spark.driver.memory)

    • spark.executor.memoryOverhead:每個Executor可利用的非堆記憶體。如果未設定該參數,Spark會根據預設值自動分配,預設值為 max(384MB, 10% × spark.executor.memory)

    • spark.memory.offHeap.size:Spark可用的堆外記憶體大小。預設值為1 GB。

      僅在spark.memory.offHeap.enabled設定為true時生效。預設情況下,當採用Fusion Engine時,該功能將處於啟用狀態,其非堆記憶體預設設定為1 GB。

    Spark配置

    填寫Spark配置資訊,預設以空格符分隔,例如,spark.sql.catalog.paimon.metastore dlf

  4. 單擊建立SQL會話操作列的啟動

相關文檔