全部產品
Search
文件中心

Realtime Compute for Apache Flink:作業啟動

更新時間:Jul 13, 2024

完成作業開發和部署後,您需要在作業營運頁面啟動作業至運行階段。此外,作業在停止後需要恢複、更新非動態生效的參數配置後需要生效時,也需要啟動作業。本文為您介紹如何啟動作業。

前提條件

已完成作業部署,詳情請參見部署作業

使用限制

  • 僅流作業支援填寫啟動選項。

  • 僅Realtime Compute引擎VVR 4.0.11及以上版本支援State相容性檢測。

注意事項

  • 當RAM使用者、RAM角色或其他阿里雲帳號在啟動作業時,請確保其具有目標專案空間的存取權限,詳情請參見專案空間授權許可權管理

  • 在啟動作業時,如果您選擇從最新狀態或指定狀態啟動作業時,系統會進行State相容性檢測。請謹慎啟動存在不相容情況的作業,因為啟動後可能會出現啟動失敗或者運行結果等不符合預期的問題。詳情請參見Flink State相容性參考

操作步驟

  1. 進入作業啟動介面。

    1. 具有owner角色的成員登入Flink開發控制台。

    2. 在頁面頂部,選擇目標專案空間名稱。

      image.png

    3. 作業營運頁面的下拉式清單中,選擇流作業批作業

      image.png

  2. 在目標作業名稱右側,單擊操作列下的啟動

  3. (可選)流作業需要填寫啟動選項資訊。

    • 無狀態啟動

      當您是新上線作業或者無法複用State時,需要選擇無狀態啟動。此外,您需要根據業務情況決定是否開啟自動調優。

      策略

      說明

      指定源表開始時間

      選中指定源表開始時間並指定具體的時間資訊。

      僅Log ServiceSLS和訊息佇列Kafka支援在介面上設定源表開始時間。

      作業啟動介面指定的讀取資料時間優先順序高於作業DDL代碼裡設定的startTime

      說明
      • 不是所有連接器都支援配置startTime參數,詳情請參見各連接器WITH參數是否包含startTime,例如Log ServiceSLS WITH參數

      • 只有全新啟動作業並指定了startTimestartTime才生效。如果基於系統檢查點或作業快照啟動作業,指定了startTime不會生效。

      配置自動調優

      開啟該開關後,您需要選擇調優模式:

      • 智能調優:系統將在資源使用率比較低時,自動降低資源配置,在資源使用率提高到一定閾值時,再自動提高資源配置。詳情請參見開啟並配置智能調優

      • 定時調優:選擇定時調優後,您需要在下拉式清單中選擇定時計劃。一個計劃中可以包含多組資源和時間點的對應關係。您可以根據各時間段的資源使用方式,配置對應的資源。詳情請參見開啟並配置定時調優

    • 有狀態啟動

      您可以根據業務情況選擇具體的啟動策略,以及決定是否開啟自動調優。

      策略

      說明

      從最新狀態恢複

      從快照或者系統檢查點的最新狀態進行恢複。如果您選擇從最新狀態啟動作業時,Flink系統會檢測SQL作業變化(SQL、Flink運行參數配置和引擎版本)。

      當檢測到作業發生變化時,建議單擊狀態相容性檢測旁的點擊檢測檢查相容性,並依據相容性結果後決定後續行為。相容性結果含義及建議,詳情請參見相容性

      從指定狀態恢複

      選擇指定的快照,快照建立步驟詳情請參見作業狀態集管理

      從其他作業恢複

      選擇從其他作業恢複後,您需要指定目標作業及對應的快照,來進行作業恢複。支援作業間快照的共用,但需要滿足作業間的狀態的相容性,詳情請參見作業狀態集管理

      允許忽略部分運算元狀態(AllowNonRestoredState)

      說明

      僅JAR作業支援。

      預設情況下,Flink系統會嘗試將整個快照與正在提交的作業匹配。作業的修改引起運算元狀態的變化,會出現任務不能恢複的情況。此時您可以開啟此開關,Flink系統將跳過無法匹配的狀態,讓作業先正常啟動起來。允許忽略部分運算元狀態詳情請參見Allow None-Restored State

      配置自動調優

      開啟該開關後,您需要選擇調優模式:

      • 智能調優:系統將在資源使用率比較低時,自動降低資源配置,在資源使用率提高到一定閾值時,再自動提高資源配置。詳情請參見開啟並配置智能調優

      • 定時調優:選擇定時調優後,您需要在下拉式清單中選擇定時計劃。一個計劃中可以包含多組資源和時間點的對應關係。您可以根據各時間段的資源使用方式,配置對應的資源。詳情請參見開啟並配置定時調優

  4. 單擊啟動

    作業營運頁面,查看作業運行狀態,詳情請參見查看作業運行狀態

相關文檔

  • 作業啟動後,如果您需要修改作業運行參數,請參見運行參數配置。部分參數也支援動態更新,減少作業啟停帶來的業務斷流時間,詳情請參見動態擴縮容與參數動態更新

  • 作業啟動後,如果您需要進行作業的資料溯源和追蹤,定位問題或者評估影響面,請參見查看血緣關係

  • 如果您需要瞭解企業級狀態後端儲存GeminiStateBackend,以及其與RocksDBStateBackend的效能對比情況,請參見企業級狀態後端儲存介紹