本文為您介紹2023年8月21日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
經過仔細評估，發現Realtime Compute引擎VVR 8.0.1版本在極端情況下可能存在資料丟失的風險，這可能會影響到您的業務資料正確性。因此該版本將快速逐步EOS，請您儘快將作業引擎版本升級到VVR 8.0.5及以上版本，升級方法請參見作業引擎版本升級。我們可以提供必要的支援和指導，協助您平滑過渡到更安全、更穩定的版本，感謝您的理解與合作。
概述
2023年8月21日正式對外發布Realtime ComputeFlink版的新版本，包含引擎更新、連接器更新、效能最佳化以及缺陷修複。
引擎側將正式對外發布VVR 8.0.1版本，該版本是基於Apache Flink 1.17.1的全新企業級Flink引擎。在該版本中，我們將包含Apache Flink 1.17.1的所有新功能、效能提升與缺陷修複。在Apache Flink 1.17中，通過通用增量Checkpoint（GIC）功能，提升了Checkpoint的處理速度和穩定性。同時，增強了Unaligned Checkpoint（UC）在處理作業反壓時的穩定性，現在已達到生產級可用性。此外，Batch的效能也得到大幅度改進。
在這個版本中，我們對企業級狀態後端核心架構進行了重構，在效能和穩定性方面都有大幅提升，主要體現在兩個方面：（1）採用了更緊湊的狀態格式和檔案儲存體，以及更高效的資料清理策略，顯著降低了本地狀態儲存空間，並大幅提升了訪問效能。對於狀態瓶頸的作業，其平均效能可以提升40%以上，狀態大小可縮減約30%。（2）進一步提升了狀態擴縮容和恢複機制，在大狀態情境下（100G）可以讓作業更新斷流時間從分鐘級降低到秒級。新版本企業級狀態在VVR 8.0.1作為預設版本，無需您更改配置。
除引擎核心與狀態後端升級外，本次發布進一步增強了Flink與阿里雲各儲存和計算產品間的互通性，提供了更豐富的連接器功能，並提升了效能和穩定性。主要包括：
正式推出MongoDB CDC連接器，進入公測階段，支援高效地從MongoDB資料庫中（複本集或分區叢集架構）捕獲即時增量和歷史資料同步到下遊系統。MongoDB CDC連接器實現了增量快照演算法，在全量階段支援並發讀取海量歷史資料，自動切換從全量讀到增量讀，同步過程提供資料不丟不重語義；在增量讀取階段，支援掃描完整變更事件流，對下遊Flink SQL計算作業非常友好。同時MongoDB CDC提供多種啟動位點模式，方便您按需靈活選擇。
CDAS功能支援了在對新增表等變更操作後，可以以有狀態的方式重啟作業並繼續執行，這避免了重啟帶來的狀態丟失與額外作業的管理成本。
新增OceanBase連接器，可以將OceanBase資料庫作為結果表和維表使用。OceanBase是阿里巴巴和螞蟻集團100% 自主研發的一款原生分布式關係型HTAP資料庫，具有資料強一致、高可用、高效能、線上擴充、高度相容SQL標準和主流關係型資料庫、低成本等特點。
加強了Tair的企業級資料結構的更全面支援，您可以使用Flink+TairTs即時構建時序資料集，使用Flink+TairVector構建AI向量資料集，也可以通過Flink+TairCpc進行即時風控應用構建，或者採用Flink+TairRoaring實現即時客戶畫像系統。
新增對阿里雲SLS Catalog結果表的支援，您可以使用持久表的方式進行SLS資料表的定義與寫入。
作為一個預覽功能，本次發布包含了Apache Paimon 0.5-snapshot的更新，並支援了Flink CDC寫入Paimon時源表列類型變更應用。
我們將在兩周內在全網進行分步驟的灰階，灰階完畢後的客戶和地區平台能力將完成升級，並且可以在作業選擇引擎的列表中看到新引擎版本，歡迎您將作業使用的引擎升級至此版本，具體操作請參見作業引擎版本升級。期待您的使用體驗反饋！
主要功能介紹
特性 | 詳情 | 相關文檔 |
MongoDB CDC連接器開始公測 | 支援以源表形式讀取MongoDB增量變化資料。 | |
CDAS支援源庫新增表加入資料同步 | CDAS作業啟動後，如果源庫新增表，支援從作業快照重啟，從而捕獲到新的表，對新增表進行資料同步。 | |
支援在Begin Statement/END中新添加CTAS子句 | 如果新增CTAS語句，支援從作業快照重啟，從而捕獲到新的表，對新增表進行資料同步。CTAS的使用更加靈活，且不會增加作業數量。 | |
雙流Join支援不同流的State TTL分別設定 | 在部分涉及雙流Join的業務情境中，兩個不同的流可能需要設定不一樣的長度。通常而言，某一個流或許需要長達15天的設定時間，與此同時，另一條流可能只需短至1天的設定時間，即可使業務需求得以滿足。通過新加此項功能，一方面能提升作業穩定性，另一方面則能有效降低運行成本。 | |
新增OceanBase連接器 | 支援作為結果表和維表使用。 | |
SLS連接器支援查詢下推 | 支援在源端進行資料過濾，提升讀取效率。 | |
SLS Catalog支援結果表 | 支援使用Catalog進行SLS的寫入。 | |
ADB PostgreSQL連接器支援ADB PostgreSQL 7.0版本 | 新增對雲原生資料倉儲AnalyticDB PostgreSQL版7.0版本的支援。 | |
Tair連接器支援更多的資料類型寫入 | 新增對TairTs、TairCpc、TairRoaring、TairVector和TairGis的支援。 | |
Paimon升級，並支援Flink CDC寫入Paimon時源表列類型變更應用 | Paimon升級到0.5-snapshot版本，並支援了當通過Flink CDC寫入Paimon資料時，如果源表發生了列變更，Paimon可以應用此變更。 |
重要缺陷修複
修複MySQL源表讀取PolarDB MySQL時出現Filtering update table metadata event: Event{header=EventHeaderV4的問題。
修複使用帶有條件的視窗TVF時無資料輸出的問題。