每個Flink專案空間都會有一個預設隊列(default-queue)來承載作業的運行。如果您有資源隔離和管理的需求,可以通過添加資源隊列的方式實現。本文為您介紹如何添加、修改和刪除資源隊列。
使用情境及方式
對於有資源隔離和管理需求的批作業情境,配置資源隊列可以實現批作業資源的有效管理,避免單一任務或使用者過度佔用資源,造成其他任務或使用者無法獲得足夠資源而導致任務失敗的情況發生。同時,通過將批作業部署到指定資源隊列,並配合任務編排功能確定調度優先順序,可以確保關鍵或重要作業獲得更高的處理優先順序和更多的資源,從而提高系統效能和資源使用率。
您可以通過以下方式使用資源隊列:
部署作業時,部署目標選擇為目標資源隊列,詳情請參見部署作業。
說明如果您沒有添加新的資源隊列,則預設會使用default-queue來部署並運行作業。
建立Session叢集時,部署目標選擇為目標資源隊列,詳情請參見步驟一:建立Session叢集。
建立工作流程時設定目標資源隊列,詳情請參見管理工作流程。
注意事項
目前僅支援獨享模式,暫不支援搶佔模式。即資源隊列的任務資源不會被搶佔,使用完成釋放資源後,對應的資源才可以被新的任務使用。
添加資源隊列
您可以通過添加資源隊列來實現對資源的隔離和管理。不添加新的資源隊列,則預設會使用default-queue來承載作業的運行。
單擊目標工作空間操作列下的控制台。
在左側導覽列,單擊
。單擊添加隊列,配置隊列資訊。
未分配彈性資源的專案空間
當工作空間為隨用隨付或訂用帳戶,以及混合計費但未給該專案空間分配彈性資源時,可參考如下資訊配置隊列。
配置
說明
隊列名稱
隊列名稱不可重複,只允許小寫字母、數字和中劃線(-) 且長度不超過32位。
說明資源隊列添加成功後,不可修改資源隊列名稱。
資源量(CU)
允許配置的資源量上限由該專案空間剩餘的可用資源量決定。如果專案空間可用資源量不足,則可以通過如下方式進行調整:
已指派彈性資源的專案空間
如果為混合計費工作空間,並已為該專案空間分配的彈性資源,可參考如下資訊配置隊列。
配置
說明
隊列名稱
隊列名稱不可重複,只允許小寫字母、數字和中劃線(-) 且長度不超過32位。
說明資源隊列添加成功後,不可修改資源隊列名稱。
固定資源(CU)
允許配置的固定資源上限。如果固定資源不足,可以進行調整(與訂用帳戶資源調整操作相同),詳情請參見訂用帳戶資源調整。
彈性資源(CU)
允許配置的彈性資源上限,您可以在隊列管理頁面查看可以分配的彈性資源數,如果不足,可以進行調整(與隨用隨付資源調整操作相同),詳情請參見隨用隨付資源調整。
單擊確定。
修改資源量
單擊目標工作空間操作列下的控制台。
在左側導覽列,單擊
。單擊編輯隊列後,填寫資源量。填寫參數說明詳情請參見添加資源隊列。
說明最小資源量不能小於當前隊列已使用資源量。
單擊確定。
刪除資源隊列
不支援刪除default-queue。
如果隊列上存在已部署且啟動並執行作業時,則無法刪除。
隊列刪除後,已部署在該隊列上的作業重新啟動時會報錯。
單擊目標工作空間操作列下的控制台。
在左側導覽列,單擊
。單擊刪除隊列,單擊確定。
相關文檔
專案空間資源變更配置或配額上限調整,請參見資源調整。
SQL作業、JAR作業和Python作業部署操作,請參見部署作業。
Session叢集建立操作,請參見步驟一:建立Session叢集。
使用任務編排功能可以編排批作業啟動並執行順序,詳情請參見任務編排(公測)。