全部產品
Search
文件中心

Realtime Compute for Apache Flink:作業引擎版本升級

更新時間:Nov 13, 2024

Flink作為當前最活躍的Realtime Compute引擎之一,版本更新速度相對較快。及時升級作業到新版本,可以使用新版本的功能和特性。本文將為您介紹如何升級Realtime ComputeFlink版作業的引擎版本。

注意事項

Realtime ComputeFlink版引擎發布前,會進行豐富的相容性測試,原則上同一大版本下的小版本間升級是相容的,大版本間升級不保證相容。引擎版本詳情和作業快照(Savepoint)在Flink版本之間的相容性詳情請參見引擎版本號碼及其含義Compatibility Table

切換作業版本時,需注意:

  • 小版本升級時State相容,可使用版本切換之前的系統檢查點或作業快照。例如,vvr-4.0.15-flink-1.13切換至vvr-4.0.18-flink-1.13。

  • 大版本切換時State不相容,需無狀態重啟。例如,vvr-4.0.15-flink-1.13切換至vvr-6.0.2-flink-1.15。

  • SQL或DataStream作業中的Flink相關依賴版本需要與作業選中的Flink版本保持一致。

  • 社區從Flink 1.13.0版本開始,預設的SQL Planner使用了阿里巴巴貢獻給開源社區的BlinkPlanner ,和之前的版本存在部分差異,差異詳情請參見 Apache Flink 1.13.0 發布公告。因此請注意從社區Flink 1.13.0之前的版本,遷移至VVR 4.0(基於社區Flink 1.13.0版本)及以上版本的Realtime ComputeFlink版時,可能涉及部分文法和API不相容的問題。

升級流程

步驟一:備份作業狀態

您可以在營運中心 > 作業營運頁面,單擊目標作業,在作業詳情中的狀態集管理頁簽查看作業狀態集,詳情請參見查看狀態產生總覽

  • 如果您的作業屬於有狀態計算,那麼在升級版本時,首要考慮的是狀態能否複用。

    升級前請先手動產生一個作業快照,以便升級出現異常時可以快速復原業務。具體操作請參見手動建立作業快照

    重要
    • 原則上同一大版本下的小版本間升級相容,大版本間升級不保證相容。如果相容,則新版本的引擎可以讀取舊版本引擎產生的作業快照,反之並不保證。

    • 從VVR 6.x版本起,系統支援原生格式和標準格式兩種作業快照格式。前者產生速度更快,後者相容性更好。因此,如果希望將作業的引擎版本升級至同一大版本下的更高小版本,建議在作業快照產生時選擇原生格式;如果希望將作業的引擎版本升級至更高的大版本,建議選擇標準格式。

  • 如果您的作業是無狀態的,可以直接進入下一步驟,進行作業版本切換。

步驟二:切換作業版本

在進行版本切換時,建議您選擇穩定版(STABLE)或推薦版本(RECOMMENDED)。這些版本修複了其他版本的已知缺陷和相關問題,除了可以使用最新的功能,還提供了更強的穩定性保證。

SQL

  1. 進入目標作業。

    1. 登入Realtime Compute控制台,單擊目標工作空間操作列下的控制台

    2. 單擊左側導覽列的資料開發 > ETL,並開啟目標作業草稿。

  2. 單擊作業編輯區右側的更多配置,在引擎版本切換作業版本後,單擊右上方的部署

    image

  3. 營運中心 > 作業營運頁面,單擊目標作業名稱,在部署詳情頁簽的基礎配置部分,檢查新部署作業版本是否切換成功。

    image

  4. 重新啟動作業,使部署生效。

DataStream

  1. 進入目標作業。

    1. 登入Realtime Compute控制台,單擊目標工作空間操作列下的控制台

    2. 單擊左側導覽列的營運中心 > 作業營運,並單擊目標作業。

  2. 部署詳情頁簽,單擊基礎配置模組右側的編輯

  3. 引擎版本切換作業版本後,單擊右上方的儲存

    image

  4. 重新啟動作業,使部署生效。

步驟三:作業資料驗證

通常情況下,如果升級後作業可以正常啟動並完成第一個系統檢查點,可以視為升級初步成功。但仍然建議您觀察一下業務資料的正確性,以確保升級結果的完整性。

當作業正常運行且驗證資料正確性後,可以考慮手動刪除升級之前的作業快照,具體操作請參見手動刪除指定作業快照

升級失敗復原處理

如果在升級後發現作業無法啟動或業務資料異常,建議您立即停止作業,將作業版本切換到升級前的版本,並通過升級前儲存的作業快照恢複業務。同時,可以通過提交工單反饋相關問題。

如果您無法跟蹤整個升級過程,建議配置作業失敗警示,以便在發生異常時及時通知您,避免業務受損,具體操作請參見配置監控警示