在作業啟動前,您需要配置作業部署資訊。本文為您介紹如何配置作業部署資訊。
前提條件
操作步驟
單擊目標工作空間操作列下的控制台。
在 頁面,單擊目標作業名稱。
在部署詳情頁簽,單擊目的地區域右側的編輯。
說明因為SQL作業基礎配置需要返回到
頁面,才能編輯作業草稿並重新部署。所以在單擊基礎配置地區右側的編輯後,您還需要在彈出的對話方塊中,單擊確定。修改作業部署資訊。
單擊儲存。
基礎配置
作業類型 | 說明 |
SQL作業 | 包括SQL代碼、引擎版本、附加依賴檔案、備忘和作業標籤資訊。參數含義詳情請參見SQL作業開發。 說明 單擊基礎配置右側的編輯後,需要返回到SQL開發頁面編輯作業草稿並重啟部署。如果您需要繼續進行編輯,請單擊確定。 |
JAR作業 | 包括引擎版本、JAR Uri、 Entry Point Class、 Entry Point Main Arguments、附加依賴檔案、備忘、Kerberos叢集和作業標籤。參數含義詳情請參見部署作業。 |
Python作業 | 包括引擎版本、Python Uri、Entry Module、Entry Point Main Arguments、Python Libraries、Python Archives、 附加依賴檔案、備忘、Kerberos叢集和作業標籤。參數含義詳情請參見部署作業。 |
運行參數配置
參數 | 說明 |
系統檢查點間隔 | 定時執行系統檢查點的時間間隔。如果不填寫,將會關閉系統檢查點。 |
系統檢查點逾時時間 | 預設值為10分鐘,到達預設值後系統檢查點將產生失敗。 |
兩次系統檢查點間最短間隔 | 兩次系統檢查點之間的最短時間間隔,如果系統檢查點最大並行度是1,則該配置確保兩個系統檢查點之間有一個最短時間間隔。 |
State資料到期時間 | 即TTL(Time-to-Live),狀態資訊的存活時間,單位為小時,預設值為36小時,即作業狀態資訊將在36小時後自動到期並清除。 重要 此處預設值根據云上最佳實務的經驗值設定,與開源的預設值不同(開源預設值為0,表示狀態資訊永不到期)。 當資料首次進入系統並被處理後,它會儲存在狀態記憶體中。當下一次相同主鍵的資料到來時,系統會使用之前儲存的狀態資料進行計算,並更新其訪問時間。這一過程是Realtime Compute的核心,因為它依賴於資料的持續流動。如果資料在設定的TTL時間視窗內未被再次訪問,它將被系統視為到期,並從狀態儲存中清除。 通過合理設定TTL的值,不僅可以維持計算的精確性,還能及時清理陳舊資料,有效減少狀態記憶體的佔用,進而降低系統記憶體負擔,提升計算效率和系統穩定性。 |
Flink重啟策略 | 在Flink作業中,任務失敗與重啟的機制依賴於作業的拓撲結構。即當多個任務(Task)在短時間內失敗時,它們之間的串連關係會影響重啟行為:
只有沒配置重啟策略的情況下,Flink才會根據系統檢查點開啟與否來決定是否要重啟作業。如果配置了重啟策略,則會按照配置的策略進行重啟。該參數取值如下:
|
其他配置 | 在此設定其他Flink配置。例如 |
日誌配置
參數 | 說明 |
日誌歸檔 | 預設已開啟日誌歸檔功能。開啟日誌歸檔後,您可以在作業日誌頁面查看歷史工作執行個體的日誌,詳情請參見查看歷史工作執行個體日誌。 說明
|
歸檔日誌有效期間 | 歸檔日誌有效期間預設為7天。 |
根記錄層級 | 記錄層級從低到高順序如下:
|
類日誌等級 | 填寫日誌名稱和記錄層級。 |
日誌模板 | 可以選擇為default系統模板或自訂模板。選擇自訂模板時支援將日誌輸出到其他儲存,詳情請參見配置作業日誌輸出。 |
相關文檔
支援設定運算元TTL,更精準的控制各個運算元的狀態大小,節約大狀態作業的使用資源,詳情請參見運算元狀態生命週期(State TTL)提示
本文檔配置的是單個作業的日誌,如果您需要對整個專案空間下的作業的日誌進行配置,請參見設定項目空間下所有作業日誌輸出。