本文通過簡單的樣本,帶您快速體驗Flink SQL作業的建立、部署和啟動等操作,以瞭解Flink SQL作業的操作流程。
前提條件
如果您使用RAM使用者或RAM角色等身份訪問,需要確認已具有Flink控制台相關許可權,詳情請參見許可權管理。
已建立Flink工作空間,詳情請參見開通Realtime ComputeFlink版。
步驟一:建立作業
進入SQL作業建立頁面。
單擊目標工作空間操作列下的控制台。
在左側導覽列,單擊SQL開發。
單擊建立。
單擊空白的流作業草稿。
單擊下一步。
在新增作業草稿對話方塊,填寫作業資訊。
作業參數
說明
樣本
檔案名稱
作業的名稱。
說明作業名稱在當前專案中必須保持唯一。
flink-test
儲存位置
指定該作業的代碼檔案所屬的檔案夾。
您還可以在現有檔案夾右側,單擊表徵圖,建立子檔案夾。
作業草稿
引擎版本
當前作業使用的Flink的引擎版本。引擎版本號碼含義、版本對應關係和生命週期重要時間點詳情請參見引擎版本介紹。
vvr-6.0.7-flink-1.15
單擊建立。
步驟二:編寫作業代碼
拷貝如下代碼到SQL編輯地區。
--建立一個datagen_source暫存資料表。
CREATE TEMPORARY TABLE datagen_source(
randstr VARCHAR
) WITH (
'connector' = 'datagen'
);
--建立一個print_table暫存資料表。
CREATE TEMPORARY TABLE print_table(
randstr VARCHAR
) WITH (
'connector' = 'print',
'logger' = 'true'
);
--將randstr欄位的資料列印出來。
INSERT INTO print_table
SELECT SUBSTRING(randstr,0,8) from datagen_source;
在實際生產作業中,建議您盡量減少暫存資料表的使用,直接使用中繼資料管理中已經註冊的表,詳情請參見管理中繼資料。
步驟三:查看配置資訊
在SQL開發頁面右側頁簽,您可以查看或上傳相關配置。
頁簽名稱 | 配置說明 |
更多配置 | |
代碼結構 |
|
版本資訊 | 您可以在此處查看作業版本資訊,操作列下的功能詳情請參見管理作業版本。 |
步驟四:進行深度檢查
在作業開發頁面頂部,單擊深度檢查。
深度檢查能夠檢查作業的SQL語義、網路連通性以及作業使用的表的中繼資料資訊。同時,您可以單擊結果地區的SQL最佳化,展開查看SQL風險問題提示以及對應的SQL最佳化建議。
(可選)步驟五:進行作業調試
在作業開發頁面頂部,單擊調試。
您可以使用作業調試功能類比作業運行、檢查輸出結果,驗證SELECT或INSERT商務邏輯的正確性,提升開發效率,降低資料品質風險。作業調試功能需要建立Session叢集,詳情請參見作業調試。
步驟六:作業部署
在作業開發頁面頂部,單擊部署,在部署新版本對話方塊,可根據需要填寫或選中相關內容,單擊確定。
Session叢集適用於非生產環境的開發測試環境,您可以使用Session叢集模式部署或調試作業,提高作業JM(Job Manager)資源使用率和提高作業啟動速度。但不推薦您將作業提交至Session叢集中,因為會存在業務穩定性問題。
步驟七:啟動作業並查看結果
在左側導覽列,單擊作業營運。
單擊目標作業名稱操作列中的啟動。
選擇無狀態啟動後,單擊啟動。當您看到作業狀態變為運行中,則代表作業運行正常。作業啟動參數配置詳情請參見作業啟動。
在作業營運詳情頁面,查看Flink計算結果。
在作業營運頁面,單擊目標作業名稱。
在作業探查頁簽,單擊運行Task Managers頁簽下的Path, ID。
單擊日誌,在頁面搜尋PrintSinkOutputWriter相關的日誌資訊。
(可選)步驟八:停止作業
如果您對作業進行了修改(例如更改SQL代碼、增刪改WITH參數、更改作業版本等),且希望修改生效,則需要重新部署作業,然後停止再啟動。另外,如果作業無法複用State,希望作業全新啟動時,也需要停止後再啟動作業。作業停止詳情請參見作業停止。
相關文檔
JAR作業完整的開發流程樣本,請參見Flink JAR作業快速入門。
Python作業完整的開發流程樣本,請參見Flink Python作業快速入門。
資料庫即時入倉完整的操作流程樣本,請參見資料庫即時入倉快速入門。
完成SQL作業部署上線後,您可以使用自動調優功能,提升資源使用率,請參見配置自動調優。