Livy是一個通過REST介面或RPC client庫與Spark服務進行互動的服務。Livy支援提交Spark作業或者Spark程式碼片段,同步或者非同步進行結果檢索以及Spark Context上下文管理,Livy簡化了Spark和應用程式伺服器之間的互動,從而使Spark能夠用於互動式Web或行動裝置 App程式。
背景資訊
Livy還支援如下功能:
- 長時間啟動並執行Spark Context,可以被多個Spark作業和用戶端使用。
- 在多個Spark作業和用戶端之間共用快取RDD。
- 同時管理多個Spark Context。
- 可以通過先行編譯的JAR包、程式碼片段、Java API和Scala API等多種方式提交作業。
- 支援一定的安全機制。
提交作業
您可以通過以下方式提交作業: