完成作業開發和部署後,您需要在作業營運頁面啟動作業至運行階段。此外,作業在停止後需要恢複、更新非動態生效的參數配置後需要生效時,也需要啟動作業。本文為您介紹如何啟動作業。
前提條件
已完成作業部署,詳情請參見部署作業。
使用限制
僅流作業支援填寫啟動選項。
僅Realtime Compute引擎VVR 4.0.11及以上版本支援State相容性檢測。
注意事項
當RAM使用者、RAM角色或其他阿里雲帳號在啟動作業時,請確保其具有目標專案空間的存取權限,詳情請參見專案空間授權和許可權管理。
在啟動作業時,如果您選擇從最新狀態或指定狀態啟動作業時,系統會進行State相容性檢測。請謹慎啟動存在不相容情況的作業,因為啟動後可能會出現啟動失敗或者運行結果等不符合預期的問題。詳情請參見Flink State相容性參考。
操作步驟
進入作業啟動介面。
具有owner角色的成員登入Flink開發控制台。
在頁面頂部,選擇目標專案空間名稱。
在
頁面的下拉式清單中,選擇流作業或批作業。
在目標作業名稱右側,單擊操作列下的啟動。
(可選)流作業需要填寫啟動選項資訊。
無狀態啟動
當您是新上線作業或者無法複用State時,需要選擇無狀態啟動。此外,您需要根據業務情況決定是否開啟自動調優。
策略
說明
指定源表開始時間
選中指定源表開始時間並指定具體的時間資訊。
僅Log ServiceSLS和訊息佇列Kafka支援在介面上設定源表開始時間。
作業啟動介面指定的讀取資料時間優先順序高於作業DDL代碼裡設定的startTime。
說明不是所有連接器都支援配置startTime參數,詳情請參見各連接器WITH參數是否包含startTime,例如Log ServiceSLS WITH參數。
只有全新啟動作業並指定了startTime,startTime才生效。如果基於系統檢查點或作業快照啟動作業,指定了startTime不會生效。
配置自動調優
開啟該開關後,您需要選擇調優模式:
有狀態啟動
您可以根據業務情況選擇具體的啟動策略,以及決定是否開啟自動調優。
策略
說明
從最新狀態恢複
從快照或者系統檢查點的最新狀態進行恢複。如果您選擇從最新狀態啟動作業時,Flink系統會檢測SQL作業變化(SQL、Flink運行參數配置和引擎版本)。
當檢測到作業發生變化時,建議單擊狀態相容性檢測旁的點擊檢測檢查相容性,並依據相容性結果後決定後續行為。相容性結果含義及建議,詳情請參見相容性。
從指定狀態恢複
選擇指定的快照,快照建立步驟詳情請參見作業狀態集管理。
從其他作業恢複
選擇從其他作業恢複後,您需要指定目標作業及對應的快照,來進行作業恢複。支援作業間快照的共用,但需要滿足作業間的狀態的相容性,詳情請參見作業狀態集管理。
允許忽略部分運算元狀態(AllowNonRestoredState)
說明僅JAR作業支援。
預設情況下,Flink系統會嘗試將整個快照與正在提交的作業匹配。作業的修改引起運算元狀態的變化,會出現任務不能恢複的情況。此時您可以開啟此開關,Flink系統將跳過無法匹配的狀態,讓作業先正常啟動起來。允許忽略部分運算元狀態詳情請參見Allow None-Restored State。
配置自動調優
開啟該開關後,您需要選擇調優模式:
單擊啟動。
在查看作業運行狀態。
頁面,查看作業運行狀態,詳情請參見
相關文檔
作業啟動後,如果您需要修改作業運行參數,請參見運行參數配置。部分參數也支援動態更新,減少作業啟停帶來的業務斷流時間,詳情請參見動態擴縮容與參數動態更新。
作業啟動後,如果您需要進行作業的資料溯源和追蹤,定位問題或者評估影響面,請參見查看血緣關係。
如果您需要瞭解企業級狀態後端儲存GeminiStateBackend,以及其與RocksDBStateBackend的效能對比情況,請參見企業級狀態後端儲存介紹。