开源大数据平台E-MapReduce：EMR Serverless Spark与其他VPC间网络互通

前提条件

已准备好数据源。本文以在EMR on ECS页面创建包含Hive服务，元数据为内置MySQL的DataLake集群为例，详情请参见创建集群。

使用限制

• 当前仅支持创建一个网络连接。

• 当前仅支持使用下列可用区的交换机。

  地域名称	地域ID	可用区名称
  德国（法兰克福）	eu-central-1	法兰克福 可用区A 法兰克福 可用区B
  印度尼西亚（雅加达）	ap-southeast-5	雅加达 可用区A
  新加坡	ap-southeast-1	新加坡 可用区B 新加坡 可用区C
  美国（弗吉尼亚）	us-east-1	弗吉尼亚 可用区A 弗吉尼亚 可用区B

步骤一：新增网络连接

1. 进入网络连接页面。

   1. 登录E-MapReduce控制台。

   2. 在左侧导航栏，选择EMR Serverless > Spark。

   3. 在Spark页面，单击目标工作空间名称。

   4. 在EMR Serverless Spark页面，单击左侧导航栏中的网络连接。

2. 在网络连接页面，单击新增网络连接。

3. 在新增网络连接对话框中，配置以下信息，单击确定。

   参数	说明
   连接名称	输入新增连接的名称。
   专有网络	选择与EMR集群相同的专有网络。 如果当前没有可选择的专有网络，请单击创建专有网络，前往专有网络控制台创建，详情请参见创建和管理专有网络。
   交换机	选择与EMR集群部署在同一专有网络下的相同交换机。 如果当前可用区没有交换机，请单击虚拟交换机，前往专有网络控制台创建，详情请参见创建和管理交换机。 重要 仅支持选择特定可用区下的交换机，详情请参见使用限制。

   当状态显示为已成功时，表示新增网络连接成功。

   

步骤二：为EMR集群添加安全组规则

1. 获取已创建网络连接中指定交换机的网段。

   您可以登录专有网络管理控制台，在交换机页面获取交换机的网段。

   

2. 添加安全组规则。

   1. 登录EMR on ECS控制台。

   2. 在集群管理页面，单击目标集群的集群ID。

   3. 在基础信息页面，单击集群安全组后面的链接。

   4. 在安全组规则页面，单击手动添加，填写端口范围和授权对象，然后单击保存。

      参数	说明
      端口范围	填写9083端口。
      授权对象	填写前一步骤中获取的指定交换机的网段。 重要 为防止被外部的用户攻击导致安全问题，授权对象禁止填写为0.0.0.0/0。

（可选）步骤三：连接Hive服务并查询表数据

如果您已有创建并配置好的Hive表，则可以跳过该步骤。

1. 使用SSH方式登录集群的Master节点，详情请参见登录集群。

2. 执行以下命令，进入Hive命令行。

   hive

3. 执行以下命令，创建表。

   CREATE TABLE my_table (id INT,name STRING);

4. 执行以下命令，向表中插入数据。

   INSERT INTO my_table VALUES (1, 'John'); 
   INSERT INTO my_table VALUES (2, 'Jane');

5. 执行以下命令，查询数据。

   SELECT * FROM my_table;

（可选）步骤四：准备并上传资源文件

如果您后续使用JAR任务类型，则需提前准备好资源文件。如果使用本文的SparkSQL任务类型，则可以跳过该步骤。

1. 在本地新建一个Maven工程。

   工程内容如下

   package com.example;
   
   import org.apache.spark.sql.Dataset;
   import org.apache.spark.sql.Row;
   import org.apache.spark.sql.SparkSession;
   
   public class DataFrameExample {
       public static void main(String[] args) {
           // 创建SparkSession。
           SparkSession spark = SparkSession.builder()
                   .appName("HMSQueryExample")
                   .enableHiveSupport()
                   .getOrCreate();
   
           // 执行查询。
           Dataset<Row> result = spark.sql("SELECT * FROM default.my_table");
   
           // 打印查询结果。
           result.show();
   
           // 关闭SparkSession。
           spark.stop();
       }
   }

   pom文件内容如下

   <?xml version="1.0" encoding="UTF-8"?>
   <project xmlns="http://maven.apache.org/POM/4.0.0"
            xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
            xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
       <modelVersion>4.0.0</modelVersion>
   
       <groupId>org.example</groupId>
       <artifactId>sparkDataFrame</artifactId>
       <version>1.0-SNAPSHOT</version>
   
       <properties>
           <maven.compiler.source>8</maven.compiler.source>
           <maven.compiler.target>8</maven.compiler.target>
           <spark.version>3.3.1</spark.version>
           <scala.binary.version>2.12</scala.binary.version>
       </properties>
   
       <dependencies>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-core_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-sql_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-hive_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
       </dependencies>
   </project>

2. 使用mvn package命令打包，编译打包后生成sparkDataFrame-1.0-SNAPSHOT.jar文件。

3. 在EMR Serverless Spark页面的目标工作空间下，单击左侧的文件管理。

4. 在文件管理页面，单击上传文件。

5. 上传本地打包好的sparkDataFrame-1.0-SNAPSHOT.jar文件。

步骤五：新建并运行任务