开源大数据平台E-MapReduce：管理Spark Thrift Server会话

创建Token

1. 在Spark Thrift Server页签，单击新增的Spark Thrift Server的名称。

2. 单击Token管理页签。

3. 单击创建Token。

4. 在创建Token对话框中，配置以下信息，单击确定。

   参数	说明
   名称	新建Token的名称。
   过期时间	设置该Token的过期时间。设置的天数应大于或等于1。默认情况下为开启状态，365天后过期。

5. 复制Token信息。

   重要

   Token创建完成后，请务必立即复制新Token的信息，后续不支持查看。如果您的Token过期或遗失，请选择新建Token或重置Token。

使用Python连接Spark Thrift Server

1. 执行以下命令，安装PyHive和Thrift包。

   pip install pyhive thrift

2. 编写Python脚本，连接Spark Thrift Server。

   以下是一个Python脚本示例，展示如何连接到Hive并显示数据库列表。

   from pyhive import hive
   
   if __name__ == '__main__':
       # 替换<endpoint>, <username>, 和 <token> 为您的实际信息。
       cursor = hive.connect('<endpoint>', port=443, scheme='https', username='<username>', password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()
   

使用Java连接Spark Thrift Server

1. 请在您的pom.xml中引入以下Maven依赖。

   <dependencies>
           <dependency>
               <groupId>org.apache.hadoop</groupId>
               <artifactId>hadoop-common</artifactId>
               <version>3.0.0</version>
           </dependency>
           <dependency>
               <groupId>org.apache.hive</groupId>
               <artifactId>hive-jdbc</artifactId>
               <version>2.1.0</version>
           </dependency>
       </dependencies>
   

   说明

   当前Serverless Spark内置的Hive版本为2.x，因此仅支持hive-jdbc 2.x版本。

2. 编写Java代码，连接Spark Thrift Server。

   以下是一个Sample Java代码，用于连接到Spark Thrift Server，并查询数据库列表。

   import java.sql.Connection;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.ResultSetMetaData;
   
   public class Main {
       public static void main(String[] args) throws Exception {
           String url = "jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token>";
           Class.forName("org.apache.hive.jdbc.HiveDriver");
           Connection conn = DriverManager.getConnection(url);
           HiveStatement stmt = (HiveStatement) conn.createStatement();
   
           String sql = "show databases";
           System.out.println("Running " + sql);
           ResultSet res = stmt.executeQuery(sql);
   
           ResultSetMetaData md = res.getMetaData();
           String[] columns = new String[md.getColumnCount()];
           for (int i = 0; i < columns.length; i++) {
               columns[i] = md.getColumnName(i + 1);
           }
           while (res.next()) {
               System.out.print("Row " + res.getRow() + "=[");
               for (int i = 0; i < columns.length; i++) {
                   if (i != 0) {
                       System.out.print(", ");
                   }
                   System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
               }
               System.out.println(")]");
           }
           
           conn.close();
       }
   }

通过Spark Beeline连接Spark Thrift Server

1. （可选）如果您使用的是EMR on ECS的集群，建议您先进入Spark的bin目录。

   cd /opt/apps/SPARK3/spark-3.4.2-hadoop3.2-1.0.3/bin/

2. 使用Beeline客户端连接到Spark Thrift Server。

   beeline -u "jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token>"

   如果连接Serverless Spark Thrift Server时出现以下报错，通常是由于Hive Beeline版本不兼容导致的。请确保您使用的是Spark Beeline。

   24/08/22 15:09:11 [main]: ERROR jdbc.HiveConnection: Error opening session
   org.apache.thrift.transport.TTransportException: HTTP Response code: 404

配置Apache Superset以连接Spark Thrift Server

Apache Superset是一个现代数据探索和可视化平台，具有丰富的从简单的折线图到高度详细的地理空间图表的图表形态。更多Superset信息，请参见Superset。

1. 安装依赖。

   请确保您已经安装了高版本的 thrift 包（建议高于16.0.0）。如未安装，您可以使用以下命令安装。

   pip install thrift==20.0.0

2. 启动Superset，进入Superset界面。

   更多启动操作信息，请参见Superset文档。

3. 在页面右上角单击DATABASE，进入Connect a database页面。

4. 在Connect a database页面，选择Apache Spark SQL。

   

5. 填写连接字符串，然后配置相关数据源参数。

   hive+https://<username>:<token>@<endpoint>:443/<db_name>

6. 单击FINISH，以确认成功连接和验证。

配置Hue以连接Spark Thrift Server

Hue是一个流行的开源Web界面，可用于与Hadoop生态系统进行交互。关于Hue的更多介绍，请参见Hue官方文档。

1. 安装依赖。

   请确保您已经安装了高版本的 thrift 包（建议高于16.0.0）。如未安装，您可以使用以下命令安装。

   pip install thrift==20.0.0

2. 在Hue的配置文件中添加Spark SQL连接串。

   请找到Hue的配置文件（通常位于/etc/hue/hue.conf），并在文件中添加以下内容。

      [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+https://<username>:<token>@<endpoint>:443/"}'

3. 重启Hue。

   修改配置后，您需要执行以下命令重启Hue服务以使更改生效。

   sudo service hue restart

4. 验证连接。

   成功重启后，访问Hue界面，找到Spark SQL选项。如果配置正确，您应能够成功连接到Spark Thrift Server并执行SQL查询。