本文帶您快速體驗Flink JAR流作業和批作業的建立、部署和啟動,以瞭解Realtime ComputeFlink版JAR作業的操作流程。
前提條件
如果您使用RAM使用者或RAM角色等身份訪問,需要確認已具有Flink控制台相關許可權,詳情請參見許可權管理。
已建立Flink工作空間,詳情請參見開通Realtime ComputeFlink版。
步驟一:開發JAR包
Flink控制台不提供JAR包的開發平台,因此您需要線上下完成JAR包的開發。DataStream API的開發方法、調試及連接器的使用詳情請參見JAR作業開發。
本快速入門為了帶您快速熟悉Flink流作業和批作業的操作,已為您提供了測試JAR包和輸入資料檔案,您可以直接單擊下載待後續步驟使用。
單擊FlinkQuickStart-1.0-SNAPSHOT.jar,下載測試JAR包。
說明本文為您提供的是統計單詞出現頻率的測試JAR包。如果您有興趣研究其原始碼,請單擊FlinkQuickStart.zip下載後進行編譯。
單擊Shakespeare,下載輸入資料檔案Shakespeare。
步驟二:上傳測試JAR包和資料檔案
單擊目標工作空間操作列下的控制台。
在左側導覽列,單擊資源管理。
單擊上傳資源,上傳測試JAR包和資料檔案。
上傳後,檔案實際會被存放至名稱為您開通Flink工作空間時綁定的OSS Bucket下的artifacts目錄。上傳後,檔案路徑格式為
oss://<您綁定的OSS Bucket名稱>/artifacts/namespaces/<專案空間名稱>
目錄下。
步驟三:部署JAR作業
流作業
單擊目標工作空間操作列下的控制台。
在作業營運頁面,單擊部署作業,選擇JAR作業。
填寫部署資訊。
參數
說明
樣本
部署模式
請選擇部署為流模式。
流模式
部署名稱
填寫對應的JAR作業名稱。
flink-streaming-test-jar
引擎版本
當前作業使用的Flink的引擎版本。引擎版本號碼含義、版本對應關係和生命週期重要時間點詳情請參見引擎版本介紹。
vvr-6.0.7-flink-1.15
JAR URI
選擇步驟二中資源管理上傳的FlinkQuickStart-1.0-SNAPSHOT.jar,您也可以點擊右側的表徵圖選擇檔案,上傳您自己的JAR包。
-
Entry Point Class
程式的入口類。如果您的JAR包未指定主類,請在此處輸入您的Endpoint Class類的標準路徑。
說明因為本文提供的測試JAR包中既包含了流作業代碼,又包含批作業代碼。所以,此處需要指定為流作業的程式入口。
org.example.WordCountStreaming
Entry Point Main Arguments
填寫傳入參數資訊,在主方法裡面調用該參數。本文填寫輸入資料檔案的存放路徑。
--input oss://<您綁定的OSS Bucket名稱>/artifacts/namespaces/<專案空間名稱>/Shakespeare
附加依賴檔案
填寫目標附加依賴檔案的OSS路徑或者URL。
無需填寫
部署目標
在下拉式清單中,選擇目標資源隊列或者Session叢集(請勿生產使用)。詳情請參見管理資源隊列和步驟一:建立Session叢集。
說明部署到Session叢集的作業不支援顯示資料曲線、配置監控警示和開啟自動調優功能。請勿將Session叢集用於正式生產環境,Session叢集可以作為開發測試環境。詳情請參見作業調試。
default-queue
備忘
可選,填寫備忘資訊。
無需填寫
作業標籤
配置作業標籤後,您可以在作業營運頁面根據標籤名和標籤值快速過濾找到目標作業。您最多建立3組作業標籤。
無需填寫
更多設定
開啟該開關後,您需要配置以下資訊:
Kerberos叢集:單擊左側下拉式清單選擇您已建立的Kerberos叢集,Kerberos叢集建立操作詳情請參見註冊Hive Kerberos叢集。
principal:Kerberos principal又稱為主體,主體可以是使用者或服務,用於在Kerberos加密系統中標記一個唯一的身份。
無需填寫
說明參數填寫詳情請參見部署作業。
單擊部署。
批作業
單擊目標工作空間操作列下的控制台。
在作業營運頁面,單擊部署作業,選擇JAR作業。
填寫部署資訊。
參數
說明
樣本
部署模式
請選擇部署為批模式。
批模式
部署名稱
填寫對應的JAR作業名稱。
flink-batch-test-jar
引擎版本
當前作業使用的Flink的引擎版本。引擎版本號碼含義、版本對應關係和生命週期重要時間點詳情請參見引擎版本介紹。
vvr-6.0.7-flink-1.15
JAR URI
選擇步驟二中資源管理上傳的FlinkQuickStart-1.0-SNAPSHOT.jar,您也可以點擊右側的表徵圖選擇檔案,上傳您自己的JAR包。
-
Entry Point Class
程式的入口類。如果您的JAR包未指定主類,請在此處輸入您的Endpoint Class類的標準路徑。
說明因為本文提供的測試JAR包中既包含了流作業代碼,又包含批作業代碼。所以,此處需要指定為批作業的程式入口。
org.example.WordCountBatch
Entry Point Main Arguments
填寫輸入資料檔案和輸出資料檔案的存放路徑。
說明輸出檔案和測試JAR包存放路徑一致。在此您僅需要指定結果資料輸出檔案路徑和名稱,無需提前在指定目錄建立輸出檔案。
--input oss://<您綁定的OSS Bucket名稱>/artifacts/namespaces/<專案空間名稱>/Shakespeare
--output oss://<您綁定的OSS Bucket名稱>/artifacts/namespaces/<專案空間名稱>/batch-quickstart-test-output.txt
附加依賴檔案
填寫目標附加依賴檔案的OSS路徑或者URL。
無需填寫
部署目標
在下拉式清單中,選擇目標資源隊列或者Session叢集(請勿生產使用)。詳情請參見管理資源隊列和步驟一:建立Session叢集。
說明部署到Session叢集的作業不支援顯示資料曲線、配置監控警示和開啟自動調優功能。請勿將Session叢集用於正式生產環境,Session叢集可以作為開發測試環境。詳情請參見作業調試。
default-queue
備忘
可選,填寫備忘資訊。
無需填寫
作業標籤
配置作業標籤後,您可以在作業營運頁面根據標籤名和標籤值快速過濾找到目標作業。您最多可以建立3組作業標籤。
無需填寫
更多設定
開啟該開關後,您需要配置以下資訊:
Kerberos叢集:單擊左側下拉式清單選擇您已建立的Kerberos叢集,Kerberos叢集建立操作詳情請參見註冊Hive Kerberos叢集。
principal:Kerberos principal又稱為主體,主體可以是使用者或服務,用於在Kerberos加密系統中標記一個唯一的身份。
無需填寫
單擊部署。
步驟四:啟動並查看Flink計算結果
在作業營運頁面,單擊目標作業名稱操作列中的啟動。
配置資源資訊和基礎設定。
作業啟動參數配置詳情請參見作業啟動。
單擊啟動。
單擊啟動後,您可以看到作業狀態變為運行中,則代表作業運行正常。
重要如果您需要啟動批作業,則需要在作業營運頁面,將作業類型切換為批作業,才可以看到您上線的批作業。系統預設展示的作業為流作業。
查看Flink計算結果。
說明由於Taskmanager.out日誌展示資料限制為2000條,因此流作業和批作業的結果資料條數會不一致。有關限制詳情請參見Print。
流作業樣本的計算結果
在TaskManager中以.out結尾的記錄檔中,搜尋shakespeare查看Flink計算結果。
批作業樣本的計算結果
登入OSS管理主控台,在oss://<您綁定的OSS Bucket名稱>/artifacts/namespaces/<專案空間名稱>/batch-quickstart-test-output.txt目錄進行查看。
(可選)步驟五:停止作業
如果您對作業進行了修改且希望修改生效,則需要先上線,然後停止再啟動。另外,如果作業無法複用State,希望作業全新啟動時,也需要停止後再啟動作業。作業停止詳情請參見作業停止。
相關文檔
JAR作業部署上線後,您可以使用自動調優功能,提升資源使用率,請參見配置自動調優。
SQL作業完整的開發流程樣本,請參見Flink SQL作業快速入門。
Python作業完整的開發流程樣本,請參見Flink Python作業快速入門。
資料庫即時入倉完整的操作流程樣本,請參見資料庫即時入倉快速入門。