全部產品
Search
文件中心

DataWorks:建立EMR Kyuubi節點

更新時間:Sep 04, 2024

Apache Kyuubi是一個分布式和多租戶網關,為資料湖查詢引擎(例如Spark、Flink或Trino等)提供SQL等查詢服務。DataWorks的EMR Kyuubi節點可進行Kyuubi任務的開發和周期性調度,以及與其他作業的整合操作。本文為您介紹如何建立EMR Kyuubi節點並進行資料開發。

前提條件

  • 已建立阿里雲EMR叢集,並註冊EMR叢集至DataWorks。操作詳情請參見註冊EMR叢集至DataWorks

  • (可選,RAM帳號需要)進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發空間管理員(許可權較大,謹慎添加)角色許可權,新增成員的操作詳情請參見為工作空間增加空間成員

  • 已購買Serverless資源群組並完成資源群組配置,包括綁定工作空間、網路設定等,詳情請參見新增和使用Serverless資源群組

  • 資料開發(DataStudio)中已建立商務程序。

    資料開發(DataStudio)基於商務程序對不同開發引擎進行具體開發操作,所以您建立節點前需要先建立商務程序,操作詳情請參見建立商務程序

使用限制

僅支援使用Serverless資源群組(推薦)或獨享調度資源群組運行該類型任務。

步驟一:建立EMR Kyuubi節點

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 建立EMR Kyuubi節點。

    1. 按右鍵目標商務程序,選擇建立節點 > EMR > EMR Kyuubi

      說明

      您也可以滑鼠移至上方至建立,選擇建立節點 > EMR > EMR Kyuubi

    2. 建立節點對話方塊中,輸入名稱,並選擇引擎執行個體節點類型路徑。單擊確認,進入EMR Kyuubi節點編輯頁面。

      說明

      節點名稱支援大小寫字母、中文、數字、底線(_)和小數點(.)。

步驟二:開發EMR Kyuubi任務

在EMR Kyuubi節點編輯頁面雙擊已建立的節點,進入任務開發頁面,執行如下開發操作。

開發SQL代碼

在SQL編輯地區開發工作單位代碼,您可在代碼中使用${變數名}的方式定義變數,並在節點編輯頁面右側導覽列的調度配置>調度參數中為該變數賦值。實現調度情境下代碼的動態傳參,調度參數使用詳情,請參考調度參數支援的格式,樣本如下。

show tables;
select * from kyuubi040702 where age >= '${a}'; --可以結合調度參數使用。
說明
  • SQL語句最大不能超過130KB。

  • 如果您工作空間的資料開發中綁定多個EMR資料來源,則需要根據業務需求選擇合適的引擎。如果僅綁定一個EMR引擎,則無需選擇。

(可選)配置進階參數

您可在節點進階設定處配置特有屬性參數。更多屬性參數設定,請參考Spark Configuration

進階參數

配置說明

queue

提交作業的調度隊列,預設為default隊列。

說明

若註冊EMR叢集至DataWorks工作空間配置了工作空間層級的YARN資源隊列,則Kyuubi任務運行時選擇調度隊列的規則如下:

  • 全域配置是否優先配置為:使用註冊EMR叢集時配置的調度隊列。

  • 未配置全域配置是否優先:使用EMR Kyuubi節點配置的調度隊列。

關於EMR YARN的說明,請參見隊列基礎配置;註冊EMR叢集時的隊列配置,請參見設定全域YARN資源隊列

priority

優先順序,預設為1。

FLOW_SKIP_SQL_ANALYZE

SQL語句執行方式。取值如下:

  • true:表示每次執行多條SQL語句。

  • false(預設值):表示每次執行一條SQL語句。

說明

該參數僅支援用於資料開發環境測試回合流程。

DATAWORKS_SESSION_DISABLE

適用於開發環境直接測試回合情境。取值如下:

  • true:表示每次運行SQL語句都會建立一個JDBC Connection。

  • false(預設值):表示使用者在一個節點裡運行不同的SQL語句時會複用同一個JDBC Connection。

說明

該參數配置為false時不會列印Hive的yarn applicationId,如需列印yarn applicationId,請配置該參數為true

執行SQL任務

  1. 在工具列單擊進階運行表徵圖,在參數對話方塊選擇已建立的調度資源群組,單擊運行

    說明
    • 訪問公用網路或VPC網路環境的資料來源需要使用與資料來源測試連通性成功的調度資源群組。詳情請參見網路連通方案

    • 如果您後續執行任務需要修改使用的資源群組,您可單擊帶參運行進階運行表徵圖,選擇需要更換的調度資源群組。

  2. 單擊儲存表徵圖,儲存編寫的SQL語句。

  3. (可選)煙霧測試 (Smoke Test)。

    如果您希望在開發環境進行煙霧測試 (Smoke Test),可在執行節點提交或節點提交後執行煙霧測試 (Smoke Test),操作詳情請參見執行煙霧測試 (Smoke Test)

步驟三:配置節點調度

如您需要周期性執行建立的節點任務,可單擊節點編輯頁面右側的調度配置,根據業務需求配置該節點任務的調度資訊。配置詳情請參見任務調度屬性配置概述

說明

您需要設定節點的重跑屬性依賴的上遊節點,才可以提交節點。

步驟四:發布節點任務

節點任務配置完成後,需執行提交發佈動作,提交發布後節點即會根據調度配置內容進行周期性運行。

  1. 單擊工具列中的儲存表徵圖,儲存節點。

  2. 單擊工具列中的提交表徵圖,提交節點任務。

    提交時需在提交對話方塊中輸入變更描述,並根據需要選擇是否在節點提交後執行程式碼檢閱。

    說明
    • 您需設定節點的重跑屬性依賴的上遊節點,才可提交節點。

    • 程式碼檢閱可對任務的代碼品質進行把控,防止由於任務代碼有誤,未經審核直接發布上線後出現任務報錯。如進行程式碼檢閱,則提交的節點代碼必須通過評審人員的審核才可發布,詳情請參見程式碼檢閱

如您使用的是標準模式的工作空間,任務提交成功後,需單擊節點編輯頁面右上方的發布,將該任務發布至生產環境執行,操作請參見發布任務

後續步驟

任務提交發布後,會基於節點的配置周期性運行,您可單擊節點編輯介面右上方的營運,進入營運中心查看周期任務的調度運行情況。詳情請參見查看並管理周期任務