每個Flink專案空間都會有一個預設隊列(default-queue)來承載作業的運行。如果您有資源隔離和管理的需求,可以通過添加資源隊列的方式實現。本文為您介紹如何添加、修改和刪除資源隊列。
使用情境及方式
對於有資源隔離和管理需求的批作業情境,配置資源隊列可以實現批作業資源的有效管理,避免單一任務或使用者過度佔用資源,造成其他任務或使用者無法獲得足夠資源而任務失敗的情況發生。同時,通過將批作業部署到指定資源隊列,並配合任務編排功能確定調度優先順序,可以確保關鍵或重要作業獲得更高的處理優先順序和更多的資源,從而提高系統效能和資源使用率。
您可以通過以下方式使用資源隊列:
部署作業時,部署目標選擇為目標資源隊列,詳情請參見部署作業。
說明如果您沒有添加新的資源隊列,則預設會使用default-queue來部署並運行作業。
建立Session叢集時,部署目標選擇為目標資源隊列,詳情請參見步驟一:建立Session叢集。
建立工作流程時設定目標資源隊列,詳情請參見管理工作流程。
使用限制
目前僅支援獨享模式,暫不支援搶佔模式。即資源隊列的任務資源不會被搶佔,使用完成釋放資源後,對應的資源才可以被新的任務使用。
添加資源隊列
您可以通過添加資源隊列來實現對資源的隔離和管理。不添加新的資源隊列,則預設會使用default-queue來承載作業的運行。
單擊目標工作空間操作列下的控制台。
在左側導覽列,單擊
。單擊添加隊列。
填寫隊列名稱和資源量。
單擊確定。
配置 | 說明 |
隊列名稱 | 隊列名稱不可重複,只允許小寫字母、數字和中劃線(-) 且長度不超過32位。 說明 資源隊列添加成功後,不可修改資源隊列名稱。 |
資源量(CU) | 允許配置的資源量上限由該專案空間剩餘的可用資源量決定。如果專案空間可用資源量不足,則可以通過如下方式進行調整: |
修改資源量
單擊目標工作空間操作列下的控制台。
在左側導覽列,單擊
。單擊編輯隊列後,填寫資源量。
說明修改資源隊列時,資源量的填寫說明請參見添加資源隊列。
最小資源量不能小於當前隊列已使用資源量。
單擊確定。
刪除資源隊列
不支援刪除default-queue。
如果隊列上存在已部署且啟動並執行作業時,則無法刪除。
隊列刪除後,已部署在該隊列上的作業重新啟動時會報錯。
單擊目標工作空間操作列下的控制台。
在左側導覽列,單擊
。單擊刪除隊列。
單擊確定。
相關文檔
專案空間資源變更配置或配額上限調整,請參見資源調整。
SQL作業、JAR作業和Python作業部署操作,請參見部署作業。
Session叢集建立操作,請參見步驟一:建立Session叢集。
使用任務編排功能可以編排批作業啟動並執行順序,詳情請參見任務編排(公測)。