在DataWorks註冊E-MapReduce(後續簡稱EMR)叢集後,您可自訂叢集的Kyuubi串連資訊,即您可使用自訂的帳號及密碼登入Kyuubi來運行相關任務。本文為您介紹如何在DataWorks自訂EMR叢集的Kyuubi串連資訊。
背景資訊
Apache Kyuubi是一個分布式和多租戶網關,為資料湖查詢引擎(例如Spark、Flink或Trino等)提供SQL等查詢服務。更多介紹請參見Kyuubi概述。
前提條件
登入EMR叢集至DataWorks,詳情請參見註冊EMR叢集至DataWorks。
設定Kyuubi串連資訊
進入Kyuubi配置頁面。
進入管理中心頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心。
單擊左側導覽列的叢集管理,進入叢集管理頁面。
找到目標EMR叢集,單擊 ,進入Kyuubi配置頁面。
設定Kyuubi串連資訊。
按照介面指引選擇合適的串連模式:
阿里雲EMR叢集串連資訊:直接使用註冊EMR叢集時配置的預設訪問身份登入Kyuubi。預設選擇該模式。
自訂串連資訊:如您需使用自訂的帳號及密碼登入Kyuubi,可選擇該模式。格式為
jdbc:hive2://host:port/;user=<登入使用者名稱>;password=<登入密碼>
。說明首次選擇自訂串連資訊時,平台會根據註冊EMR時的相關配置資訊來自動填滿JDBC URL,您可按需修改。
若註冊叢集時選擇傳遞Proxy User資訊,則在DataWorks運行EMR任務後,JDBC URL會拼接
hive.server2.proxy.user
配置資訊,拼接規則如下:若自訂串連資訊中的JDBC URL中未填寫預留位置
DATAWORKS_PROXY_USER
,則平台執行任務時預設會在JDBC URL結尾拼接hive.server2.proxy.user
配置資訊。若自訂串連資訊中的JDBC URL中填寫了預留位置
DATAWORKS_PROXY_USER
,則平台執行任務時會動態替換預留位置為hive.server2.proxy.user
配置資訊。
後續操作
您可參考通用開發流程配置相關組件環境,在DataWorks執行資料開發操作。