全部產品
Search
文件中心

E-MapReduce:Kyuubi概述

更新時間:Jul 01, 2024

Apache Kyuubi是一個分布式和多租戶網關,為資料湖查詢引擎(例如Spark、Flink或Trino等)提供SQL等查詢服務。

功能特性

  • 多租戶:Kyuubi通過統一的身分識別驗證授權層為資源擷取,資料和中繼資料訪問提供端到端的多租戶支援。

  • 高可用:Kyuubi基於ZooKeeper提供了負載平衡,提供了企業級的高可用性,以及無限的用戶端高並發。

  • 多工作負載:Kyuubi可以通過一個平台、一個資料副本和一個SQL介面輕鬆支援多個不同的工作負載。

使用情境

  • 互動式分析:利用Kyuubi可以構建企業級分析平台,用於對巨量資料進行互動式可視化分析,支援常見的計算架構。Kyuubi支援JDBC和ODBC介面,您可以直接通過SQL或通過BI工具來訪問Kyuubi並高效地執行查詢。Kyuubi可以在使用者層級緩衝後台引擎執行個體,以更好的實現計算資源共用和快速響應,平行處理大量資料的查詢並快速返回結果。

  • 批資料處理:Kyuubi提供了SQL介面用於常見的批處理,通常是大型提取、轉換、載入(ETL)過程。Kyuubi及其引擎都是儲存獨立的,支援眾多的資料來源,並且Kyuubi支援在串連層級隔離後台引擎執行個體,以便實現更好的計算資源隔離並提升穩定性。

Kyuubi和Livy以及Spark ThriftServer對比

對比項

Kyuubi

Livy

Spark ThriftServer

支援介面

SQL、Scala

SQL、Scala、Python and R

SQL

支援引擎

Spark、Flink、Trino

Spark

Spark

Spark版本

Spark 3.x

Spark 2.x & Spark 3.x

Spark組件內建

協議支援

Thrift + JDBC

HTTP,Thrift + JDBC

Thrift + JDBC

用戶端

Kyuubi Beeline

HTTP Client

Spark Beeline

高可用

支援

支援

不支援

資源隔離

支援

支援

不支援

LDAP認證

支援

支援

支援

阿里雲EMR版本

  • EMR-3.42.0及後續版本

  • EMR-5.8.0後續版本

  • EMR-3.40.0及之前版本

  • EMR-5.6.0及之前版本

所有版本

參考文檔