在DataWorks中,CDH Impala節點可以編寫並執行Impala SQL指令碼。與CDH Hive相比,CDH Impala節點為您提供了更快速的查詢效能。本文為您介紹如何建立與使用CDH Impala節點。
使用限制
支援Serverless資源群組(推薦)或舊版獨享調度資源群組運行該類型任務。
步驟一:建立CDH Impala節點
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
按右鍵某個商務程序,選擇
。說明滑鼠移至上方至頂部新增按鈕,根據介面提示選擇建立CDH節點。
在建立節點彈窗中,配置節點的名稱,完成後單擊確認,完成節點建立,後續您可在建立的節點中進行對應任務的開發與配置操作。
步驟二:開發Impala任務
您可以雙擊已建立的節點,進入任務開發頁面,進行以下任務開發操作。
(可選)選擇CDH叢集執行個體
如果您的工作空間註冊了多個CDH叢集,您可以在頁面頂部選擇合適的叢集。如果僅綁定一個CDH叢集,則無需選擇。
開發SQL代碼:簡單樣本
在SQL編輯地區輸入任務代碼,樣本如下。
show tables;
select * from userinfo ;
開發SQL代碼:使用調度參數
DataWorks提供調度參數,可實現調度情境下代碼動態入參,您可在節點中通過${變數名}
的方式定義代碼中的變數,並在調度配置>參數處,為該變數賦值。調度參數支援的格式,詳情請參見調度參數支援的格式。
select '${var}'; --可以結合調度參數使用。
步驟三:配置任務調度
如果您需要周期性執行建立的節點任務,可以單擊節點編輯頁面右側的調度配置,根據業務需求配置該節點任務的調度資訊:
步驟四:調試代碼任務
(可選)選擇運行資源群組、賦值自訂參數取值。
在工具列單擊表徵圖,在參數對話方塊選擇已調試運行需要使用的資源群組。
如果您的任務代碼中有使用調度參數變數,可在此處為變數賦值,用於調試。參數賦值邏輯詳情請參見運行,進階運行和開發環境煙霧測試 (Smoke Test)賦值邏輯有什麼區別。
儲存並運行SQL語句。
在工具列,單擊表徵圖,儲存編寫的SQL語句,單擊表徵圖,運行建立的SQL任務。
(可選)煙霧測試 (Smoke Test)。
如果您希望在開發環境進行煙霧測試 (Smoke Test),可在執行節點提交,或節點提交後執行,煙霧測試 (Smoke Test),操作詳情請參見執行煙霧測試 (Smoke Test)。