全部產品
Search
文件中心

DataWorks:建立CDH Impala節點

更新時間:Aug 28, 2024

在DataWorks中,CDH Impala節點可以編寫並執行Impala SQL指令碼。與CDH Hive相比,CDH Impala節點為您提供了更快速的查詢效能。本文為您介紹如何建立與使用CDH Impala節點。

使用限制

支援Serverless資源群組(推薦)或舊版獨享調度資源群組運行該類型任務。

步驟一:建立CDH Impala節點

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 按右鍵某個商務程序,選擇建立節點 > CDH > CDH Impala

    說明

    滑鼠移至上方至頂部新增按鈕,根據介面提示選擇建立CDH節點。

  3. 建立節點彈窗中,配置節點的名稱,完成後單擊確認,完成節點建立,後續您可在建立的節點中進行對應任務的開發與配置操作。

步驟二:開發Impala任務

您可以雙擊已建立的節點,進入任務開發頁面,進行以下任務開發操作。

(可選)選擇CDH叢集執行個體

如果您的工作空間註冊了多個CDH叢集,您可以在頁面頂部選擇合適的叢集。如果僅綁定一個CDH叢集,則無需選擇。image.png

開發SQL代碼:簡單樣本

在SQL編輯地區輸入任務代碼,樣本如下。

show tables;

select * from userinfo ;

開發SQL代碼:使用調度參數

DataWorks提供調度參數,可實現調度情境下代碼動態入參,您可在節點中通過${變數名}的方式定義代碼中的變數,並在調度配置>參數處,為該變數賦值。調度參數支援的格式,詳情請參見調度參數支援的格式

select '${var}'; --可以結合調度參數使用。

步驟三:配置任務調度

如果您需要周期性執行建立的節點任務,可以單擊節點編輯頁面右側的調度配置,根據業務需求配置該節點任務的調度資訊:

  • 配置任務調度的基本資料,詳情請參見配置基礎屬性

  • 配置時間調度周期、重跑屬性和上下遊依賴關係,詳情請參見時間屬性配置說明配置同周期調度依賴

    說明

    您需要設定節點的重跑屬性依賴的上遊節點,才可以提交節點。

  • 配置資源屬性,詳情請參見配置資源屬性。訪問公網或VPC網路時,請選擇與目標節點網路連通的調度資源群組作為周期調度任務使用的資源群組。詳情請參見網路連通方案

步驟四:調試代碼任務

  1. (可選)選擇運行資源群組、賦值自訂參數取值。

  2. 儲存並運行SQL語句。

    在工具列,單擊儲存表徵圖,儲存編寫的SQL語句,單擊運行表徵圖,運行建立的SQL任務。

  3. (可選)煙霧測試 (Smoke Test)。

    如果您希望在開發環境進行煙霧測試 (Smoke Test),可在執行節點提交,或節點提交後執行,煙霧測試 (Smoke Test),操作詳情請參見執行煙霧測試 (Smoke Test)

後續步驟

  1. 提交並發布節點任務。

    1. 單擊工具列中的儲存表徵圖,儲存節點。

    2. 單擊工具列中的提交表徵圖,提交節點任務。

    3. 提交新版本對話方塊中,輸入變更描述

    4. 單擊確定

    如果您使用的是標準模式的工作空間,任務提交成功後,需要將任務發布至生產環境進行發布。請單擊頂部功能表列左側的任務發布。具體操作請參見發布任務

  2. 查看周期調度任務。

    1. 單擊編輯介面右上方的營運,進入生產環境營運中心。

    2. 查看啟動並執行周期調度任務,詳情請參見查看並管理周期任務

    如果您需要查看更多周期調度任務詳情,可單擊頂部功能表列的營運中心,詳情請參見營運中心概述