本文匯總使用Realtime ComputeFlink版過程中涉及的基本概念,方便您查詢和瞭解相關概念。
階層
您可以瞭解Realtime ComputeFlink版產品基本概念的階層,為後期作業開發、作業部署、作業營運和安全管理等操作提供思路。Realtime ComputeFlink版產品基本概念的階層如下圖所示。
概念說明
基本概念 | 說明 | 相關文檔 |
工作空間(Workspace) | 工作空間是Flink全託管管理專案空間的基本單元,每個工作空間的計算資源隔離,開發控制台相互獨立。 | |
專案空間(Namespace) | 專案空間是Flink全託管管理作業的基本單元,您的所有配置、作業、許可權均在單個專案空間下進行。您可以建立多重專案空間,為每個專案空間分配單獨的資源和許可權,實現多租戶通過專案空間進行資源和許可權的完全隔離。 | |
資源(Resource) | Flink全託管的基本計量單位為Compute Unit(CU),即計算資源,1 CU=1核CPU+4 GiB記憶體+20 GB本機存放區(放置日誌、系統檢查點等資訊)。 CU對應Realtime Compute底層系統的CPU計算能力。1個Realtime Compute作業的CU使用量取決於此Job輸入資料流的QPS、計算複雜程度,以及具體的輸入資料分布情況。您可以根據業務規模以及Realtime Compute的計算能力,估算所需購買的資源數量。 | |
草稿(Draft) | 您在Realtime ComputeFlink版SQL開發介面中建立的SQL作業稱為草稿。該概念只適用於通過Realtime Compute控制台方式進行作業開發,不適用於SDK方式。 | |
部署(Deployment) | 為了避免修改草稿中的內容會影響到線上正在啟動並執行作業,提出了部署(Deployment)概念,目的是將開發和生產隔離,SQL開發中的作業草稿、上傳的JAR和Python包都可以成為部署。通過部署使草稿變為線上作業,具有確定的流批屬性。該概念只適用於通過Realtime Compute控制台和SDK方式進行的作業開發。 | |
工作執行個體(Job) | 線上啟動並執行一個工作執行個體,由部署產生,具有確定的流批屬性。 | 無 |
連接器(Connector) | Realtime ComputeFlink版內建了豐富的連接器用於多種上下遊的資料讀寫與同步,並支援上傳和使用自訂連接器。 | |
函數(Function) | Realtime ComputeFlink版提供函數功能,包括內建函數和自訂函數。 | |
中繼資料(Catalog) | 資料處理最關鍵的方面之一是管理中繼資料,Realtime ComputeFlink版的中繼資料提供了中繼資料資訊,例如資料庫、表、欄位、分區以及資料庫或其他外部系統中儲存的資訊。 | |
角色(Role) | 角色是Realtime ComputeFlink版安全功能中的概念,可以理解為擁有相同許可權的使用者的集合。多個使用者可以同時存在於一個角色下,一個使用者也可以隸屬於多個角色。給角色授權後,該角色下的所有使用者擁有相同的許可權。 | |
成員(User) | 成員是Realtime ComputeFlink版安全功能中的概念,支援將阿里雲帳號和RAM使用者添加為成員。非Realtime ComputeFlink專案所有者的成員必須被加入Realtime ComputeFlink專案中,且被授予相應的許可權,才能操作Realtime ComputeFlink專案中的資料、作業、資源及函數。 | |
資源隊列 | 通過將作業部署到指定隊列,進行資源隔離和管理。 |