Presto(即PrestoDB)是一款靈活、可擴充的分布式SQL查詢引擎,支援使用標準的SQL查詢語言進行巨量資料的互動式分析查詢,DataWorks為您提供EMR Presto節點,便於您在DataWorks上進行Presto任務的開發和周期性調度。本文為您介紹使用EMR Presto節點進行任務開發的主要流程和注意事項。
前提條件
已建立阿里雲EMR叢集,並註冊EMR叢集至DataWorks。操作詳情請參見註冊EMR叢集至DataWorks。
(可選,RAM帳號需要)進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發或空間管理員(許可權較大,謹慎添加)角色許可權,新增成員的操作詳情請參見為工作空間增加空間成員。
已購買Serverless資源群組並完成資源群組配置,包括綁定工作空間、網路設定等,詳情請參見新增和使用Serverless資源群組。
資料開發(DataStudio)中已建立商務程序。
資料開發(DataStudio)基於商務程序對不同開發引擎進行具體開發操作,所以您建立節點前需要先建立商務程序,操作詳情請參見建立商務程序。
使用限制
僅資料湖叢集(Hadoop)支援使用EMR Presto節點進行任務開發,新版資料湖叢集(DataLake)和自訂叢集(Custom)不支援。
僅支援使用Serverless資源群組(推薦)或獨享調度資源群組運行該類型任務。
開發Presto任務時,SQL語句最大不能超過130KB。
使用EMR Presto節點查詢資料時,返回的查詢結果最大支援10000條資料,並且資料總量不能超過10M。
資料血緣:當前EMR Presto節點的任務不支援產出血緣關係。
步驟一:建立EMR Presto節點
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
建立EMR Presto節點。
按右鍵目標商務程序,選擇
。說明您也可以滑鼠移至上方至建立,選擇
。在建立節點對話方塊中,輸入名稱,並選擇引擎執行個體、節點類型及路徑。單擊確認,進入EMR Presto節點編輯頁面。
說明節點名稱支援大小寫字母、中文、數字、底線(_)和小數點(.)。
步驟二:開發EMR Presto任務
在EMR Presto節點編輯頁面雙擊已建立的節點,進入任務開發頁面,執行如下開發操作。
開發SQL代碼
在SQL編輯地區開發工作單位代碼,您可在代碼中使用${變數名}的方式定義變數,並在節點編輯頁面右側導覽列的調度配置>調度參數中為該變數賦值。實現調度情境下代碼的動態傳參,調度參數使用詳情,請參考調度參數支援的格式,樣本如下。
select '${var}'; --可以結合調度參數使用。
select * from userinfo ;
SQL語句最大不能超過130KB。
如果您工作空間的資料開發中綁定多個EMR資料來源,則需要根據業務需求選擇合適的引擎。如果僅綁定一個EMR引擎,則無需選擇。
如果您需要修改代碼中的參數賦值,請單擊介面上方工具列的進階運行。參數賦值邏輯詳情請參見運行,進階運行和開發環境煙霧測試 (Smoke Test)賦值邏輯有什麼區別。
(可選)配置進階參數
您可在節點進階設定處配置特有屬性參數。更多屬性參數設定,請參考Spark Configuration。不同類型EMR叢集可配置的進階參數存在部分差異,具體如下表。
Hadoop叢集:EMR on ECS
進階參數 | 配置說明 |
FLOW_SKIP_SQL_ANALYZE | SQL語句執行方式。取值如下:
說明 該參數僅支援用於資料開發環境測試回合流程。 |
USE_GATEWAY | 設定本節點提交作業時,是否通過Gateway叢集提交。取值如下:
說明 如果本節點所在的叢集未關聯Gateway叢集,此處手動設定參數取值為 |
執行SQL任務
在工具列單擊表徵圖,在參數對話方塊選擇已建立的調度資源群組,單擊運行。
說明訪問公用網路或VPC網路環境的資料來源需要使用與資料來源測試連通性成功的調度資源群組。詳情請參見網路連通方案。
如果您後續執行任務需要修改使用的資源群組,您可單擊帶參運行表徵圖,選擇需要更換的調度資源群組。
單擊表徵圖,儲存編寫的SQL語句。
(可選)煙霧測試 (Smoke Test)。
如果您希望在開發環境進行煙霧測試 (Smoke Test),可在執行節點提交或節點提交後執行煙霧測試 (Smoke Test),操作詳情請參見執行煙霧測試 (Smoke Test)。
步驟三:配置節點調度
如您需要周期性執行建立的節點任務,可單擊節點編輯頁面右側的調度配置,根據業務需求配置該節點任務的調度資訊。配置詳情請參見任務調度屬性配置概述。
您需要設定節點的重跑屬性和依賴的上遊節點,才可以提交節點。
步驟四:發布節點任務
節點任務配置完成後,需執行提交發佈動作,提交發布後節點即會根據調度配置內容進行周期性運行。
單擊工具列中的表徵圖,儲存節點。
單擊工具列中的表徵圖,提交節點任務。
提交時需在提交對話方塊中輸入變更描述,並根據需要選擇是否在節點提交後執行程式碼檢閱。
說明您需設定節點的重跑屬性和依賴的上遊節點,才可提交節點。
程式碼檢閱可對任務的代碼品質進行把控,防止由於任務代碼有誤,未經審核直接發布上線後出現任務報錯。如進行程式碼檢閱,則提交的節點代碼必須通過評審人員的審核才可發布,詳情請參見程式碼檢閱。
如您使用的是標準模式的工作空間,任務提交成功後,需單擊節點編輯頁面右上方的發布,將該任務發布至生產環境執行,操作請參見發布任務。
後續步驟
任務提交發布後,會基於節點的配置周期性運行,您可單擊節點編輯介面右上方的營運,進入營運中心查看周期任務的調度運行情況。詳情請參見查看並管理周期任務。