全部產品
Search
文件中心

Realtime Compute for Apache Flink:作業引擎版本升級

更新時間:Dec 11, 2024

Flink作為當前最活躍的Realtime Compute引擎之一,版本更新速度相對較快。及時升級作業到新版本,可以使用新版本的功能和特性。本文將為您介紹如何升級Realtime ComputeFlink版作業的引擎版本。

注意事項

Realtime ComputeFlink版引擎發布前,會進行豐富的相容性測試,原則上同一大版本下的小版本間升級是相容的,大版本間升級不保證相容。引擎版本詳情和作業快照(Savepoint)在Flink版本之間的相容性詳情請參見引擎版本號碼及其含義Compatibility Table

切換作業版本時,需注意:

  • 小版本升級時State相容,可使用版本切換之前的系統檢查點或作業快照。例如,vvr-4.0.15-flink-1.13切換至vvr-4.0.18-flink-1.13。

  • 大版本切換時State不相容,需無狀態重啟。例如,vvr-4.0.15-flink-1.13切換至vvr-6.0.2-flink-1.15。

  • SQL或DataStream作業中的Flink相關依賴版本需要與作業選中的Flink版本保持一致。

  • 社區從Flink 1.13.0版本開始,預設的SQL Planner使用了阿里巴巴貢獻給開源社區的BlinkPlanner,和之前的版本存在部分差異,差異詳情請參見 Apache Flink 1.13.0 發布公告。因此請注意從社區Flink 1.13.0之前的版本,遷移至VVR 4.0(基於社區Flink 1.13.0版本)及以上版本的Realtime ComputeFlink版時,可能涉及部分文法和API不相容的問題。

升級流程

步驟一:備份作業並部署新作業

為了確保作業啟動並執行穩定性,建議通過複製建立一個完全相同的新作業,並在新作業上進行作業引擎版本升級。

SQL

  1. 登入Realtime Compute管理主控台,單擊目標工作空間操作列下的控制台

  2. 備份SQL老作業。

    1. 資料開發 > ETL頁面,單擊開啟目標作業草稿。

    2. 單擊作業名稱上方的另存新檔

      image

    3. 填寫檔案名稱並選擇儲存位置後,單擊儲存

  3. 新作業切換引擎新版本。

    新作業使用新版本時,建議您選擇穩定版(STABLE)或推薦版本(RECOMMENDED)。這些版本修複了其他版本的已知缺陷和相關問題,除了可以使用最新的功能,還提供了更強的穩定性保證。

    1. 單擊新作業編輯區右側的更多配置,在引擎版本切換作業版本後,單擊右上方的部署

      image

    2. 營運中心 > 作業營運頁面,單擊目標作業名稱,在部署詳情頁簽的基礎配置部分,檢查新部署作業版本是否切換成功。

      image

DataStream

  1. 登入Realtime Compute管理主控台,單擊目標工作空間操作列下的控制台

  2. 備份DataStream老作業,新作業選擇引擎新版本。

    新作業使用新版本時,建議您選擇穩定版(STABLE)或推薦版本(RECOMMENDED)。這些版本修複了其他版本的已知缺陷和相關問題,除了可以使用最新的功能,還提供了更強的穩定性保證。

    1. 營運中心 > 作業營運頁面,單擊開啟目標作業。

    2. 單擊頁面右上方的複製

      image

    3. 更新部署名稱後選擇引擎版本,選擇為新版本。

  3. 單擊部署

步驟二:老作業備份作業狀態

營運中心 > 作業營運頁面,單擊目標作業,在作業詳情中的狀態集管理頁簽查看作業狀態集,詳情請參見查看狀態產生總覽

  • 如果您的作業屬於有狀態計算,那麼在升級版本時,首要考慮的是狀態能否複用。

    升級前請先手動產生一個作業快照,以便升級出現異常時可以快速復原業務。具體操作請參見手動建立作業快照

    重要
    • 原則上同一大版本下的小版本間升級相容,大版本間升級不保證相容。如果相容,則新版本的引擎可以讀取舊版本引擎產生的作業快照,反之並不保證。

    • 從VVR 6.x版本起,系統支援原生格式和標準格式兩種作業快照格式。前者產生速度更快,後者相容性更好。因此,如果希望將作業的引擎版本升級至同一大版本下的更高小版本,建議在作業快照產生時選擇原生格式;如果希望將作業的引擎版本升級至更高的大版本,建議選擇標準格式。

  • 如果您的作業是無狀態的,可以直接進入下一步。

(可選)步驟三:停止老作業

營運中心 > 作業營運面,單擊老作業操作列下的停止。操作詳情請參見作業停止

如果下遊寫入等冪或者業務上能接受重複資料,可以考慮新老作業同時運行。

步驟四:啟動新作業

  • 如果您的作業是有狀態的:在有狀態啟動中選擇從指定狀態恢複,選擇老作業建立的作業快照。

  • 如果您的作業是無狀態的,可以直接選擇無狀態啟動新作業。

作業啟動步驟詳情請參見作業啟動

步驟五:觀察線上情況並刪除老作業

通常情況下,如果升級後作業可以正常啟動並完成第一個系統檢查點,可以視為升級初步成功。但仍然建議您觀察一下業務資料的正確性,以確保升級結果的完整性。

當作業正常運行且驗證資料正確性後,可以考慮手動刪除升級之前的作業快照及作業,作業快照刪除具體操作請參見手動刪除指定作業快照

升級失敗復原處理

如果在升級後發現作業無法啟動或業務資料異常,建議您立即停止作業,將作業版本切換到升級前的版本,並通過升級前儲存的作業快照恢複業務。同時,可以通過提交工單反饋相關問題。

如果您無法跟蹤整個升級過程,建議配置作業失敗警示,以便在發生異常時及時通知您,避免業務受損,具體操作請參見配置監控警示