Apache Kyuubi是一個分布式和多租戶網關,為資料湖查詢引擎(例如Spark、Flink或Trino等)提供SQL等查詢服務。
功能特性
多租戶:Kyuubi通過統一的身分識別驗證授權層為資源擷取,資料和中繼資料訪問提供端到端的多租戶支援。
高可用:Kyuubi基於ZooKeeper提供了負載平衡,提供了企業級的高可用性,以及無限的用戶端高並發。
多工作負載:Kyuubi可以通過一個平台、一個資料副本和一個SQL介面輕鬆支援多個不同的工作負載。
使用情境
互動式分析:利用Kyuubi可以構建企業級分析平台,用於對巨量資料進行互動式可視化分析,支援常見的計算架構。Kyuubi支援JDBC和ODBC介面,您可以直接通過SQL或通過BI工具來訪問Kyuubi並高效地執行查詢。Kyuubi可以在使用者層級緩衝後台引擎執行個體,以更好的實現計算資源共用和快速響應,平行處理大量資料的查詢並快速返回結果。
批資料處理:Kyuubi提供了SQL介面用於常見的批處理,通常是大型提取、轉換、載入(ETL)過程。Kyuubi及其引擎都是儲存獨立的,支援眾多的資料來源,並且Kyuubi支援在串連層級隔離後台引擎執行個體,以便實現更好的計算資源隔離並提升穩定性。
Kyuubi和Livy以及Spark ThriftServer對比
對比項 | Kyuubi | Livy | Spark ThriftServer |
支援介面 | SQL、Scala | SQL、Scala、Python and R | SQL |
支援引擎 | Spark、Flink、Trino | Spark | Spark |
Spark版本 | Spark 3.x | Spark 2.x & Spark 3.x | Spark組件內建 |
協議支援 | Thrift + JDBC | HTTP,Thrift + JDBC | Thrift + JDBC |
用戶端 | Kyuubi Beeline | HTTP Client | Spark Beeline |
高可用 | 支援 | 支援 | 不支援 |
資源隔離 | 支援 | 支援 | 不支援 |
LDAP認證 | 支援 | 支援 | 支援 |
阿里雲EMR版本 |
|
| 所有版本 |