Flink功能與優勢 - Realtime Compute for Apache Flink

本文為您介紹阿里雲Realtime ComputeFlink全託管產品的功能點和價值，以及和開源Flink的對比優勢。

類型	功能	描述	價值
效能與成本	相容性	全面相容開源Flink，包括各層API、參數配置及SQL文法等。	更好的引擎效能和更細粒度資源配置使得整體TCO優於開源，且靈活的付費模式以及智能擴縮容，進一步提高了資源使用的精細程度。
	核心效能提升	GeminiStateBackend是阿里自研的後端儲存系統，採用全新的架構和資料結構設計，支援儲存計算分離，擺脫了狀態資料的本地碟儲存限制，並且還支援KV分離，從而大幅提升雙流或多流Join作業的效率。此外，GeminiStateBackend還能自適應參數調優，消除了手動調參的煩惱。在NexmarkRealtime Compute標準效能測試中，效能是開源Flink的2倍左右，詳情請參見企業級狀態後端儲存介紹和效能白皮書（Nexmark效能測試）。 SQL引擎在相容開源Flink文法的同時增加了一系列最佳化，包括但不限於運算元的狀態結構最佳化、計算層延遲物化、Codegen增強，以及針對Join情境如維表Cache增強、資料扭曲，流Join Minibatch最佳化、精細化的狀態設定等，實現CPU、記憶體利用率的提升及狀態儲存用量的降低。
	資源使用率提升	您可以根據業務負載進行彈性擴縮容，詳情請參見動態擴縮容與參數動態更新。
		您可以配置智能調優，無人值守自動監控並調整作業資源分派，並可以在指定時間段應用對應的資源計劃，協助您平穩順利地度過業務洪峰，同時最大程度的節省成本，詳情請參見配置自動調優。
		您可以進行細粒度資源管理，支援SQL運算元層級的精細化資源（CPU和Memory）配置，大規模作業資源使用率提升100%，詳情請參見配置作業資源。
	付費類型	您可以根據自身業務特點，選擇訂用帳戶或者隨用隨付，詳情請參見計費項目。
特色能力	資料即時入湖入倉	支援整庫即時同步、分庫分表即時同步和表結構變更即時同步，詳情請參見資料同步模板。	可以更加高效便捷地對包含分庫分表等架構的業務資料庫、訊息中介軟體中的資料進行即時的入湖入倉。
	即時風控情境能力	企業級複雜事件處理（CEP）支援作業無需重啟動態可配置規則，實現線上即時風控等情境的不間斷生產級能力，詳情請參見複雜事件處理（CEP）語句。	應用於即時營銷、即時風控、安全Security Center等領域，提升開發效率和大規模資料處理能力，同時保證商務持續性。
	上下遊資料連線（Connector）	涵蓋阿里雲產品和開源社區30+主流引擎，涉及資料庫、訊息中介軟體、資料倉儲、湖格式、檔案系統等多種上下遊儲存，詳情請參見支援的連接器。支援特有資料類比Connector貼近業務含義的測試資料。相對開源版本，Connector也有諸多易用性和穩定性提升。可以按需自訂註冊Connector對接各種外部儲存系統。	您無需自己開發對接各種上下遊生態，並操心穩定性和效能。
開發效率	作業開發	多語言支援：一站式開發管理平台，包括SQL、Java、Scala和Python語言。	您無需自己搭建或者對接開源。Flink SQL簡單易懂，整體開發環境上手便捷。
		多版本支援：支援主流Flink版本，包括多版本作業代碼比較和復原，詳情請參見管理作業版本。
		提供中繼資料管理：您可以通過Catalog串連常見的上下遊組件（例如MySQL、Hive、Hologres、DLF和Kafka等），進行統一中繼資料管理與使用，詳情請參見管理中繼資料。
		自訂函數：您可以方便地管理和使用自訂函數，詳情請參見管理自訂函數（UDF）。
		代碼模板：提供20多個Flink SQL通用情境的模板，協助您快速瞭解如何使用Flink SQL構建作業代碼，詳情請參見代碼模板。
	代碼調試	測試資料管理：支援線上採樣和類比測試資料管理，方便構建測試流程，詳情請參見作業調試。	程式員、甚至是資料分析師都可以完成調試和上線的動作，大幅減少調試測試成本，提高作業上線速度和品質。
		快速運行調試：基於Session叢集實現作業秒級啟停，大幅提高作業調試效率。
		中間結果展示：支援中間結果展示，提高複雜SQL的調試效率。
		開發生產隔離：開發調試過程不影響生產作業和資料。
營運管理	監控警示	豐富的指標監控和維度彙總，便於排查作業延遲、資料扭曲、反壓等問題，詳情請參見監控指標說明。	大幅提高系統穩定性，減少營運工作量，降低調優的難度。精細化資源管理，大幅度降低成本。提供原廠高可用服務保障。
	監控警示	通過DingTalk、郵件、簡訊、電話等途徑進行及時警示，並可對接企業內部統一監控警示系統（Prometheus），詳情請參見自訂監控指標及上報渠道。
	問題分析與診斷	動態修改作業的配置，無需啟停即可對日誌Level、火焰圖是否開啟等配置進行線上調整。
	問題分析與診斷	對於反壓、Job異常、TM失聯等常見問題提供智能化診斷和快速日誌定位分析，給出調優或者修改建議，並聯動自動調優能力協助您定位問題，詳情請參見作業智能診斷。
	高可用保障	原廠營運服務兜底，SLA 99.9%保證。
		全鏈路自動容錯能力，支援JobManager容錯，系統無單點，更穩定。
		提供更快速的非全域（單點）容錯恢複能力，在資料一致性和商務持續性間提供靈活平衡。
	狀態管理	提供完整的系統檢查點和作業快照生命週期管理，提供狀態相容性檢查和狀態資料移轉，以最大可能地複用原來的狀態資料。
企業安全	空間隔離	支援租戶級和專案級的資源和代碼隔離，滿足跨團隊協作需求。	提供了企業多部門協同工作互不干擾的能力，安全可控地滿足企業內控外審要求。
企業安全	存取控制	與阿里雲帳號體系打通，支援多角色的存取控制。	提供了企業多部門協同工作互不干擾的能力，安全可控地滿足企業內控外審要求。