E-MapReduce：管理Spark Thrift Server會話

建立Token

1. 在Spark Thrift Server頁簽，單擊新增的Spark Thrift Server的名稱。

2. 單擊Token管理頁簽。

3. 單擊建立Token。

4. 在建立Token對話方塊中，配置以下資訊，單擊確定。

   參數	說明
   名稱	建立Token的名稱。
   到期時間	設定該Token的到期時間。設定的天數應大於或等於1。預設情況下為開啟狀態，365天后到期。

5. 複製Token資訊。

   重要

   Token建立完成後，請務必立即複製新Token的資訊，後續不支援查看。如果您的Token到期或遺失，請選擇建立Token或重設Token。

使用Python串連Spark Thrift Server

1. 執行以下命令，安裝PyHive和Thrift包。

   pip install pyhive thrift

2. 編寫Python指令碼，串連Spark Thrift Server。

   以下是一個Python指令碼樣本，展示如何串連到Hive並顯示資料庫列表。

   from pyhive import hive
   
   if __name__ == '__main__':
       # 替換<endpoint>, <username>, 和 <token> 為您的實際資訊。
       cursor = hive.connect('<endpoint>', port=443, scheme='https', username='<username>', password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()
   

使用Java串連Spark Thrift Server

1. 請在您的pom.xml中引入以下Maven依賴。

   <dependencies>
           <dependency>
               <groupId>org.apache.hadoop</groupId>
               <artifactId>hadoop-common</artifactId>
               <version>3.0.0</version>
           </dependency>
           <dependency>
               <groupId>org.apache.hive</groupId>
               <artifactId>hive-jdbc</artifactId>
               <version>2.1.0</version>
           </dependency>
       </dependencies>
   

   說明

   當前Serverless Spark內建的Hive版本為2.x，因此僅支援hive-jdbc 2.x版本。

2. 編寫Java代碼，串連Spark Thrift Server。

   以下是一個Sample Java代碼，用於串連到Spark Thrift Server，並查詢資料庫列表。

   import java.sql.Connection;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.ResultSetMetaData;
   
   public class Main {
       public static void main(String[] args) throws Exception {
           String url = "jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token>";
           Class.forName("org.apache.hive.jdbc.HiveDriver");
           Connection conn = DriverManager.getConnection(url);
           HiveStatement stmt = (HiveStatement) conn.createStatement();
   
           String sql = "show databases";
           System.out.println("Running " + sql);
           ResultSet res = stmt.executeQuery(sql);
   
           ResultSetMetaData md = res.getMetaData();
           String[] columns = new String[md.getColumnCount()];
           for (int i = 0; i < columns.length; i++) {
               columns[i] = md.getColumnName(i + 1);
           }
           while (res.next()) {
               System.out.print("Row " + res.getRow() + "=[");
               for (int i = 0; i < columns.length; i++) {
                   if (i != 0) {
                       System.out.print(", ");
                   }
                   System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
               }
               System.out.println(")]");
           }
           
           conn.close();
       }
   }

通過Spark Beeline串連Spark Thrift Server

1. （可選）如果您使用的是EMR on ECS的叢集，建議您先進入Spark的bin目錄。

   cd /opt/apps/SPARK3/spark-3.4.2-hadoop3.2-1.0.3/bin/

2. 使用Beeline用戶端串連到Spark Thrift Server。

   beeline -u "jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token>"

   如果串連Serverless Spark Thrift Server時出現以下報錯，通常是由於Hive Beeline版本不相容導致的。請確保您使用的是Spark Beeline。

   24/08/22 15:09:11 [main]: ERROR jdbc.HiveConnection: Error opening session
   org.apache.thrift.transport.TTransportException: HTTP Response code: 404

配置Apache Superset以串連Spark Thrift Server

Apache Superset是一個現代資料探索和可視化平台，具有豐富的從簡單的折線圖到高度詳細的地理空間圖表的圖表形態。更多Superset資訊，請參見Superset。

1. 安裝依賴。

   請確保您已經安裝了高版本的 thrift 包（建議高於16.0.0）。如未安裝，您可以使用以下命令安裝。

   pip install thrift==20.0.0

2. 啟動Superset，進入Superset介面。

   更多啟動操作資訊，請參見Superset文檔。

3. 在頁面右上方單擊DATABASE，進入Connect a database頁面。

4. 在Connect a database頁面，選擇Apache Spark SQL。

   

5. 填寫連接字串，然後配置相關資料來源參數。

   hive+https://<username>:<token>@<endpoint>:443/<db_name>

6. 單擊FINISH，以確認成功串連和驗證。

配置Hue以串連Spark Thrift Server

Hue是一個流行的開源Web介面，可用於與Hadoop生態系統進行互動。關於Hue的更多介紹，請參見Hue官方文檔。

1. 安裝依賴。

   請確保您已經安裝了高版本的 thrift 包（建議高於16.0.0）。如未安裝，您可以使用以下命令安裝。

   pip install thrift==20.0.0

2. 在Hue的設定檔中添加Spark SQL串連串。

   請找到Hue的設定檔（通常位於/etc/hue/hue.conf），並在檔案中添加以下內容。

      [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+https://<username>:<token>@<endpoint>:443/"}'

3. 重啟Hue。

   修改配置後，您需要執行以下命令重啟Hue服務以使更改生效。

   sudo service hue restart

4. 驗證串連。

   成功重啟後，訪問Hue介面，找到Spark SQL選項。如果配置正確，您應能夠成功串連到Spark Thrift Server並執行SQL查詢。