：設定基準優先順序與YARN隊列優先順序的映射關係

背景資訊

YARN是一個分布式的資源管理系統，用於管理及調度E-MapReduce（簡稱EMR）叢集中資源，為運行在YARN上的各種類型作業分配資源。在YARN中，通過作業的YARN隊列優先順序，決定YARN優先為哪個作業分配資源，即優先調度運行哪個作業。更多YARN介紹，詳情請參見YARN概述。

DataWorks中您可通過如下方式配置調度運行節點任務時使用的YARN隊列：

• 方式一（YARN隊列全域配置）：通過工作空間的管理中心，設定工作空間層級某DataWorks功能模組運行EMR任務時使用哪個YARN隊列。詳情請參見配置全域YARN資源隊列。

• 方式二（單個節點YARN隊列配置）：通過EMR節點編輯頁面，設定單個EMR節點調度運行任務使用的YARN隊列及隊列優先順序。詳情請參見建立EMR Hive節點、建立EMR Spark節點、建立EMR Spark SQL節點。

若節點所在工作空間開啟了全域配置優先，則調度運行該EMR節點任務時優先使用全域配置的YARN；若未開啟，則調度運行EMR節點任務則使用節點本身配置的YARN隊列。

另外，調度運行EMR任務生效的YARN隊列優先順序，取決於如下原則：

• 若設定了基準優先順序與YARN隊列的映射關係，則節點的YARN隊列優先順序，最終由節點所在基準優先順序和該優先順序基準映射的YARN隊列優先順序決定。

• 若未設定基準優先順序與YARN隊列的映射關係，則使用單個EMR節點配置的YARN隊列優先順序。

前提條件

已建立EMR節點作業，並配置節點的YARN隊列的優先順序。詳情請參見建立EMR Hive節點、建立EMR Spark節點、建立EMR Spark SQL節點。

使用限制

設定基準優先順序與YARN隊列的映射關係，相關限制如下：

• 功能相關

  • 僅支援EMR Hive、EMR Spark、EMR Spark SQL節點使用該功能。

  • 您必須先在EMR叢集配置YARN隊列的最大優先順序，配置後才可設定基準優先順序與YARN隊列的映射關係。

  • YARN隊列優先順序需進入EMR管理主控台修改，且修改優先順序需重啟YARN。修改後的優先順序僅針對指定隊列生效。

  說明

  配置YARN隊列優先順序，詳情請參見DataLake叢集配置。

• 許可權相關

  • 僅支援租用戶系統管理員設定映射關係。如某成員需設定該功能，則可被授予租用戶系統管理員角色。授權詳情，請參見管理租戶成員角色許可權。

  • 該功能為租戶層級，即設定的映射關係對整個租戶生效。

  • 僅擁有AliyunDataWorksAccessingEMRReadOnlyPolicy權限原則的使用者可設定映射關係。授權詳情請參見為RAM使用者授權。

• 資源群組相關

  2023年8月31號之前購買的獨享調度資源群組不支援該功能。若您用於運行EMR任務的獨享調度資源群組於該日期之前購買，請先聯絡平台技術人員進行資源群組升級，若資源群組未升級，配置的映射關係將不生效，即YARN隊列優先順序最終仍由節點本身配置的YARN隊列優先順序決定。

映射關係配置入口

1. 進入營運中心頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料建模與開發 > 營運中心，在下拉框中選擇對應工作空間後單擊進入營運中心。

2. 在左側導覽列單擊智能基準，進入智能基準配置頁面。

映射關係配置邏輯

您可在智能基準 > 基準優先順序映射頁簽設定映射關係。

根據業務情況，選擇運行EMR任務的叢集及YARN隊列，設定基準優先順序與該YARN隊列優先順序的映射關係。配置邏輯如下：

• 配置的YARN隊列優先順序不能超過EMR叢集中YARN隊列的最大隊列容量。

• YARN隊列數字越大優先順序越高，也會優先獲得資源。

• 低基準優先順序映射的YARN隊列優先順序，取值不能高於高基準優先順序。

更多YARN的配置資訊，詳情請參見YARN。