Container Service for Kubernetes：使用Arm虛擬節點運行Spark作業

索引

• 前提條件

• EMR和EMR on ACK介紹

• 操作步驟

前提條件

• 已在EMR on ACK控制台建立Spark叢集。詳細資料，請參見快速入門。

• 已開通Elastic Container Instance服務。詳細資料，請參見Container Service使用ECI。

EMR和EMR on ACK介紹

• EMR：阿里雲開源巨量資料開發平台E-MapReduce（簡稱EMR），是運行在阿里雲平台上的一種巨量資料處理的系統解決方案。詳細資料，請參見什麼是E-MapReduce。

• EMR on ACK：阿里雲EMR on ACK提供了全新構建巨量資料平台的方式。您可以將開源巨量資料服務部署在阿里雲Container ServiceACK上。利用ACK在服務部署和容器應用管理的優勢，減少對底層叢集資源的營運投入，讓您可以更聚焦於巨量資料任務本身。詳細資料，請參見EMR on ACK概述。

操作步驟

1. 在ACK叢集中安裝虛擬節點。詳細資料，請參見方式二：添加Arm架構的虛擬節點。

2. 在EMR on ACK上提交Spark作業。更多資訊，請參見提交Spark作業。

   方式一：使用CRD方式提交作業

   提交作業時，需要添加以下內容：

   • 指定image鏡像：本文樣本為registry-vpc.cn-hangzhou.aliyuncs.com/emr/spark-py:emr-3.3.1-1.1.7-arm，其中cn-hangzhou需替換為您實際Region的名稱。

   • 添加annotations：內容為alibabacloud.com/burst-resource: "eci_only"。

   • 添加nodeSelector：內容為kubernetes.io/arch: arm64。

   新增內容樣本如下。

   展開查看詳細資料

   apiVersion: "sparkoperator.k8s.io/v1beta2"
   kind: SparkApplication
   metadata:
     name: spark-pi-eci
   spec:
     type: Scala
     sparkVersion: 3.3.1
     mainClass: org.apache.spark.examples.SparkPi
     # Arm節點需使用特定鏡像。
     image: registry-vpc.cn-hangzhou.aliyuncs.com/emr/spark-py:emr-3.3.1-1.1.7-arm
     mainApplicationFile: "local:///opt/spark/examples/spark-examples.jar"
     arguments:
       - "100000"
     driver:
       cores: 2
       coreLimit: 2000m
       memory: 4g
       # 通過配置Annotation，所有Executor使用ECI彈性資源。
       annotations:
         alibabacloud.com/burst-resource: "eci_only"
   		# 通過配置nodeSelector，指定Arm類型節點。
       nodeSelector:
         kubernetes.io/arch: arm64
     executor:
       cores: 4
       coreLimit: 4000m
       memory: 8g
       instances: 10
       # 通過配置Annotation，所有Executor使用ECI彈性資源。
       annotations:
         alibabacloud.com/burst-resource: "eci_only"
   		# 通過配置nodeSelector，指定Arm類型節點。
       nodeSelector:
         kubernetes.io/arch: arm64

   方式二：配置Spark Conf

   您也可以通過增加Spark Conf來配置image、annotation和nodeSelector，從而實現Arm節點調度。

   1. 進入spark-defaults.conf頁簽。

      1. 登入EMR on ACK控制台，單擊目的地組群操作列的配置。

      2. 在配置頁簽，單擊spark-defaults.conf。

   2. 配置Spark叢集以啟用ECI。

      1. 單擊上方的新增配置項。

      2. 在新增配置項對話方塊中，添加以下配置。

         Key	說明	樣本值
         spark.kubernetes.container.image	Spark鏡像。	registry-vpc.cn-hangzhou.aliyuncs.com/emr/spark-py:emr-3.3.1-1.1.7-arm 說明 cn-hangzhou需要替換為您實際Region的名稱。
         spark.kubernetes.driver.annotation.alibabacloud.com/burst-resource	Spark Driver是否使用ECI。	eci_only
         spark.kubernetes.driver.node.selector.kubernetes.io/arch	Spark Driver的nodeSelector。	arm64
         spark.kubernetes.executor.annotation.alibabacloud.com/burst-resource	Spark Executor是否使用ECI。	eci_only
         spark.kubernetes.executor.node.selector.kubernetes.io/arch	Spark Executor的nodeSelector。	arm64

      3. 單擊確定。

      4. 在彈出的對話方塊中，輸入執行原因，單擊儲存。

   3. 生效配置。

      1. 單擊下方部署用戶端配置。

      2. 在彈出的對話方塊中，輸入執行原因，單擊確定。

      3. 在確認對話方塊中，單擊確定。