會話是指EMR Serverless Spark工作空間中可用的Spark Session。您需要使用Notebook會話來進行Notebook開發。 本文主要為您介紹如何建立Notebook會話。
建立Notebook會話
Notebook會話建立完成後,您可以在進行Notebook開發時選擇此會話。
進入Notebook會話頁面。
在左側導覽列,選擇
。在Spark頁面,單擊目標工作空間名稱。
在EMR Serverless Spark頁面,選擇左側導覽列中的會話管理。
單擊Notebook會話頁簽。
在Notebook會話頁面,單擊建立Notebook會話。
在建立Notebook會話頁面,配置以下資訊,單擊建立。
重要建議將所選部署隊列的並發上限至少設定為Notebook會話所需的資源大小,具體數值請以控制台展示為準。
參數
說明
名稱
建立Notebook會話的名稱。
長度限制為1~64個字元,僅支援字母、數字、短劃線(-)、底線(_)和空格。
部署隊列
請選擇合適的開發隊列部署會話。僅支援選擇開發或者開發和生產公用的隊列。
隊列更多資訊,請參見管理資源隊列。
引擎版本
當前會話使用的引擎版本。引擎版本號碼含義等詳情請參見引擎版本介紹。
使用Fusion加速
Fusion可加速Spark負載的運行並降低任務的總成本。有關計費資訊,請參見產品計費。有關Fusion引擎介紹,請參見Fusion引擎。
運行環境
可以選擇在運行環境管理頁面建立的自訂環境,Notebook會話啟動時將根據所選環境預裝相關庫。
說明僅支援選擇已就緒的運行環境。
自動停止
預設開啟。支援您自訂設定Notebook會話在不活動後的自動停止時間。
spark.driver.cores
用於指定Spark應用程式中Driver進程所使用的CPU核心數量。預設值為1 CPU。
spark.driver.memory
用於指定Spark應用程式中Driver進程可以使用的記憶體量。預設值為3.5 GB。
spark.executor.cores
用於指定每個Executor進程可以使用的CPU核心數量。預設值為1 CPU。
spark.executor.memory
用於指定每個Executor進程可以使用的記憶體量。預設值為3.5 GB。
spark.executor.instances
Spark分配的執行器(Executor)數量。預設值為2。
動態資源分派
預設關閉。開啟後,需要配置以下參數:
executors數量下限:預設為2。
executors數量上限:如果未設定spark.executor.instances,則預設值為10。
更多記憶體配置
spark.driver.memoryOverhead:每個Driver可利用的非堆記憶體。如果未設定該參數,Spark會根據預設值自動分配,預設值為
max(384MB, 10% × spark.driver.memory)
。spark.executor.memoryOverhead:每個Executor可利用的非堆記憶體。如果未設定該參數,Spark會根據預設值自動分配,預設值為
max(384MB, 10% × spark.executor.memory)
。spark.memory.offHeap.size:Spark可用的堆外記憶體大小。預設值為1 GB。
僅在
spark.memory.offHeap.enabled
設定為true
時生效。預設情況下,當採用Fusion Engine時,該功能將處於啟用狀態,其非堆記憶體預設設定為1 GB。
Spark配置
填寫Spark配置資訊,預設以空格符分隔,例如,
spark.sql.catalog.paimon.metastore dlf
。單擊建立Notebook會話操作列的啟動。
相關文檔
隊列相關的操作,請參見管理資源隊列。
會話支援的角色及許可權,請參見系統管理使用者和角色。
Notebook完整的開發流程樣本,請參見Notebook開發快速入門。