本文為您介紹2022年5月16日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
概述
2022年5月16日正式對外發布VVR 4.0.13版本，該版本是基於Apache Flink 1.13。在本次新版本中，在源庫為分庫分表的資料同步情境中，即時資料入湖入倉能力提供了更為強大便捷的分庫合并同步功能，可以將上遊多個分庫下相同表名的資料合併同步到Hologres目標庫對應表名的同一張表中；提供了全新的Kafka Catalog，您可以通過註冊Catalog，直接在Flink SQL作業中將其中的Topic作為源表或結果表使用；Hologres連接器支援在一個作業中首先全量同步然後增量同步處理消費Binlog的模式，可以更為優雅的一站式完成資料同步處理，高效地構建即時數倉；Redis連接器支援結果表設定TTL；發布了多項連接器增強功能；提升了Session叢集停止、文檔查看、作業探查中日誌查看、產品公告等多項使用者體驗。另外，本次新版本還同步修改了若干已在Apache Flink社區修複的缺陷以及產品自有缺陷。
新特性
特性 | 詳情 | 相關文檔 |
新增支援Kafka Catalog | Kafka Catalog支援自動解析Kafka訊息推導表資訊，您無需使用DDL，可以直接存取Kafka叢集中的Topic。同時，此功能還支援解析JSON格式訊息擷取Schema，提升Flink SQL的開發效率和正確性。 | |
CDAS新增分庫分表同步能力 | 支援使用Regex定義庫名，匹配資料來源的多個分庫下的源表，合并後同步到下遊每張對應表名的目標表中，在分庫下資料同步更加優雅高效。 | |
Hologres連接器支援全增量一體源表消費 | Hologres源表支援首先全量同步，然後平滑的切換至增量同步處理消費Binlog的模式，協助您在構建即時數倉資料管道時，高效便捷的完成資料移轉與同步。 | |
Redis結果表支援Key TTL | Redis中的資料往往需要設定到期時間，支援在寫入Redis結果表的同時設定Key層級的TTL。 | |
MaxCompute連接器支援Stream Tunnel，以及支援Stream Tunnel和Batch Tunnel的資料壓縮 | MaxCompute流式資料通道服務提供了以流式的方式把資料寫入MaxCompute的能力，在作業不需要Exactly Once語義時，您可以使用MaxComputeStream Tunnel來避免Checkpoint緩慢導致的效能問題。此外，通過Tunnel進行資料壓縮，可以提高傳輸效率。 | |
Hologres連接器支援Datastream API | 支援Datastream形式的Hologres連接器。 | |
Elasticsearch連接器支援retry_on_conflict參數 | 在對Elasticsearch更新操作中，允許設定因版本衝突異常而重試的最大次數。 | |
MySQL CDC連接器和Postgres CDC連接器同步Flink CDC社區2.2版本 | 同步Flink CDC社區2.2版本提供的全部功能，並同步修改社區2.2版本的缺陷。 | 無 |
MySQL CDC連接器通過心跳事件，解決慢表Binlog到期問題 | 通過在Source中插入心跳事件，推動Binlog位點前進的方式，可以使得Source推動Binlog位點前進不再依賴於資料更新事件，這對於MySQL中資料更新緩慢的表更加友好。 | |
MySQL CDC連接器和MySQLCatalog同步支援Unsigned Float、Double和Decimal類型 | 新增支援Unsigned Float、Double和Decimal類型。 | |
MySQL CDC連接器支援配置JDBC串連參數 | 支援對串連參數的配置，以便串連各種配置下的MySQL執行個體。 | |
Session叢集增強停止能力 | 一段時間以來，Session叢集作為使用者節省資源的一種方式被大量使用。但Session叢集本身因為架構限制無法保證生產的穩定性，Session叢集的異常將引起該叢集上所有作業的異常。 因此，請勿將生產作業提交到Session叢集運行。針對Session叢集異常導致作業無法操作的問題，我們通過強制停止能力來停止Session叢集。 | |
JM異常智能分析 | 當Flink作業運行發生異常時，TM的異常會被JM收集到日誌中，通常通過作業探查中的異常日誌，就可以查看到這部分資訊。但是這部分資訊僅會被儲存比較短的時間。因此，當作業連續失敗時，真正的Root Cause會被後續的堆棧資訊淹沒。這個版本，我們對此進行了改良，異常日誌可以被儲存更長時間，同時對異常日誌進行了分類，協助您更好的定位到作業的異常原因。 | |
內建阿里雲文檔 | 作業開發和營運的過程中，經常需要跳轉到阿里雲協助中心查看文檔。頻繁的視窗切換會擾亂開發人員的思路。為了最佳化開發體驗，我們將阿里雲協助中心的文檔內建在Realtime ComputeFlink版的開發頁面內，您可以直接在開發控制台喚起協助文檔，避免來回跳轉。 | 無 |
新增產品公告能力 | Realtime ComputeFlink版在開發控制台上新增了產品公告的能力，您可以直接接收到包括產品升級在內的各種使用者須知資訊。這樣可以有效避免通過簡訊、站內信、DingTalk群等途徑無法完全觸達終端使用者的問題。 | 無 |
UI最佳化 |
|
效能最佳化
暫無
缺陷修複
修複SLS連接器在Shard個數變更時沒有擷取新的Shard列表，導致資料無法讀取的問題。
修複使用Minibatch AGG導致的[J cannot be cast to [Ljava.lang.Object; 問題。
修複雲資料庫Hbase結果表資料非同步亂序問題。
修複雙流Join中的null 指標問題。
修複MySQL CDC連接器寫入Hudi時Checkpoint一直不成功的問題。
最佳化了Kafka源表上報pendingRecords指標的計算邏輯。
修複開發控制台介面部分成員名稱不顯示的問題。
修複部分合法DDL文法校正報錯的問題。