全部產品
Search
文件中心

Realtime Compute for Apache Flink:基本概念

更新時間:Jul 13, 2024

本文匯總使用Realtime ComputeFlink版過程中涉及的基本概念,方便您查詢和瞭解相關概念。

階層

您可以瞭解Realtime ComputeFlink版產品基本概念的階層,為後期作業開發、作業部署、作業營運和安全管理等操作提供思路。Realtime ComputeFlink版產品基本概念的階層如下圖所示。

概念說明

基本概念

說明

相關文檔

工作空間(Workspace)

工作空間是Flink全託管管理專案空間的基本單元,每個工作空間的計算資源隔離,開發控制台相互獨立。

專案空間(Namespace)

專案空間是Flink全託管管理作業的基本單元,您的所有配置、作業、許可權均在單個專案空間下進行。您可以建立多重專案空間,為每個專案空間分配單獨的資源和許可權,實現多租戶通過專案空間進行資源和許可權的完全隔離。

資源(Resource)

Flink全託管的基本計量單位為Compute Unit(CU),即計算資源,1 CU=1核CPU+4 GiB記憶體+20 GB本機存放區(放置日誌、系統檢查點等資訊)

CU對應Realtime Compute底層系統的CPU計算能力。1個Realtime Compute作業的CU使用量取決於此Job輸入資料流的QPS、計算複雜程度,以及具體的輸入資料分布情況。您可以根據業務規模以及Realtime Compute的計算能力,估算所需購買的資源數量。

草稿(Draft)

您在Realtime ComputeFlink版SQL開發介面中建立的SQL作業稱為草稿。該概念只適用於通過Realtime Compute控制台方式進行作業開發,不適用於SDK方式。

SQL作業開發

部署(Deployment)

為了避免修改草稿中的內容會影響到線上正在啟動並執行作業,提出了部署(Deployment)概念,目的是將開發和生產隔離,SQL開發中的作業草稿、上傳的JAR和Python包都可以成為部署。通過部署使草稿變為線上作業,具有確定的流批屬性。該概念只適用於通過Realtime Compute控制台和SDK方式進行的作業開發。

部署作業

工作執行個體(Job)

線上啟動並執行一個工作執行個體,由部署產生,具有確定的流批屬性。

連接器(Connector)

Realtime ComputeFlink版內建了豐富的連接器用於多種上下遊的資料讀寫與同步,並支援上傳和使用自訂連接器。

支援的連接器

函數(Function)

Realtime ComputeFlink版提供函數功能,包括內建函數和自訂函數。

中繼資料(Catalog)

資料處理最關鍵的方面之一是管理中繼資料,Realtime ComputeFlink版的中繼資料提供了中繼資料資訊,例如資料庫、表、欄位、分區以及資料庫或其他外部系統中儲存的資訊。

管理中繼資料

角色(Role)

角色是Realtime ComputeFlink版安全功能中的概念,可以理解為擁有相同許可權的使用者的集合。多個使用者可以同時存在於一個角色下,一個使用者也可以隸屬於多個角色。給角色授權後,該角色下的所有使用者擁有相同的許可權。

角色授權

成員(User)

成員是Realtime ComputeFlink版安全功能中的概念,支援將阿里雲帳號和RAM使用者添加為成員。非Realtime ComputeFlink專案所有者的成員必須被加入Realtime ComputeFlink專案中,且被授予相應的許可權,才能操作Realtime ComputeFlink專案中的資料、作業、資源及函數。

專案空間授權

資源隊列

通過將作業部署到指定隊列,進行資源隔離和管理。

管理資源隊列