全部產品
Search
文件中心

Realtime Compute for Apache Flink:配置作業部署資訊

更新時間:Sep 20, 2024

在作業啟動前,您需要配置作業部署資訊。本文為您介紹如何配置作業部署資訊。

前提條件

  • 其他阿里雲帳號或RAM使用者等訪問專案空間,並進行作業資源配置等操作時,則需要為其進行授權,詳情請參見專案空間授權

  • 已完成作業部署,詳情請參見部署作業

操作步驟

  1. 登入Realtime Compute控制台

  2. 單擊目標工作空間操作列下的控制台

  3. 營運中心 > 作業營運頁面,單擊目標作業名稱。

  4. 部署詳情頁簽,單擊目的地區域右側的編輯

    說明

    因為SQL作業基礎配置需要返回到資料開發 > ETL頁面,才能編輯作業草稿並重新部署。所以在單擊基礎配置地區右側的編輯後,您還需要在彈出的對話方塊中,單擊確定

  5. 修改作業部署資訊。

    您可以修改以下幾個方面的部署資訊:

  6. 單擊儲存

基礎配置

作業類型

說明

SQL作業

包括SQL代碼、引擎版本附加依賴檔案備忘作業標籤資訊。參數含義詳情請參見SQL作業開發

說明

單擊基礎配置右側的編輯後,需要返回到SQL開發頁面編輯作業草稿並重啟部署。如果您需要繼續進行編輯,請單擊確定

JAR作業

包括引擎版本JAR UriEntry Point ClassEntry Point Main Arguments附加依賴檔案備忘Kerberos叢集作業標籤。參數含義詳情請參見部署作業

Python作業

包括引擎版本Python UriEntry ModuleEntry Point Main ArgumentsPython LibrariesPython Archives附加依賴檔案備忘Kerberos叢集作業標籤。參數含義詳情請參見部署作業

運行參數配置

參數

說明

系統檢查點間隔

定時執行系統檢查點的時間間隔。如果不填寫,將會關閉系統檢查點。

系統檢查點逾時時間

預設值為10分鐘,到達預設值後系統檢查點將產生失敗。

兩次系統檢查點間最短間隔

兩次系統檢查點之間的最短時間間隔,如果系統檢查點最大並行度是1,則該配置確保兩個系統檢查點之間有一個最短時間間隔。

State資料到期時間

即TTL(Time-to-Live),狀態資訊的存活時間,單位為小時,預設值為36小時,即作業狀態資訊將在36小時後自動到期並清除。

重要

此處預設值根據云上最佳實務的經驗值設定,與開源的預設值不同(開源預設值為0,表示狀態資訊永不到期)。

當資料首次進入系統並被處理後,它會儲存在狀態記憶體中。當下一次相同主鍵的資料到來時,系統會使用之前儲存的狀態資料進行計算,並更新其訪問時間。這一過程是Realtime Compute的核心,因為它依賴於資料的持續流動。如果資料在設定的TTL時間視窗內未被再次訪問,它將被系統視為到期,並從狀態儲存中清除。

通過合理設定TTL的值,不僅可以維持計算的精確性,還能及時清理陳舊資料,有效減少狀態記憶體的佔用,進而降低系統記憶體負擔,提升計算效率和系統穩定性。

Flink重啟策略

在Flink作業中,任務失敗與重啟的機制依賴於作業的拓撲結構。即當多個任務(Task)在短時間內失敗時,它們之間的串連關係會影響重啟行為:

  • 對於沒有相互串連的任務,每個失敗的任務都會獨立重啟,並且每次重啟都會被分別記錄。

  • 對於相互串連的任務,一旦某個任務失敗,與其相連的任務也會隨之重啟,但這樣的一系列重啟只會被計為一次事件。

只有沒配置重啟策略的情況下,Flink才會根據系統檢查點開啟與否來決定是否要重啟作業。如果配置了重啟策略,則會按照配置的策略進行重啟。該參數取值如下:

  • Failure Rate:基於失敗率重啟。

    選擇基於失敗率重啟後,您還需要設定檢測Failure Rate的時間間隔時間間隔內的最大失敗次數每次重啟時間間隔

  • Fixed Delay(預設值):固定間隔重啟。

    選擇基於固定間隔重啟後,您可以結合實際業務情境修改嘗試重啟的次數每次重啟時間間隔參數的取值。

  • No Restarts:不會重啟。

其他配置

在此設定其他Flink配置。例如akka.ask.timeout: 10

日誌配置

參數

說明

日誌歸檔

預設已開啟日誌歸檔功能。開啟日誌歸檔後,您可以在作業日誌頁面查看歷史工作執行個體的日誌,詳情請參見查看歷史工作執行個體日誌

說明
  • 在VVR 3.x版本,僅VVR 3.0.7及以上版本支援開啟日誌歸檔功能。

  • 在VVR 4.x版本,僅VVR 4.0.11及以上版本支援開啟日誌歸檔功能。

歸檔日誌有效期間

歸檔日誌有效期間預設為7天。

根記錄層級

記錄層級從低到高順序如下:

  1. TRACE:比DEBUG更細粒度的資訊。

  2. DEBUG:系統運行狀態的資訊。

  3. INFO:重要或者您感興趣的資訊。

  4. WARN:系統可能出現潛在錯誤的資訊。

  5. ERROR:系統出現錯誤和異常的資訊。

類日誌等級

填寫日誌名稱和記錄層級。

日誌模板

可以選擇為default系統模板或自訂模板。選擇自訂模板時支援將日誌輸出到其他儲存,詳情請參見配置作業日誌輸出

相關文檔