E-MapReduce：Node Labels特性使用

基本介紹

YARN Node Labels特性支援將YARN NodeManager節點進行分區管理。因為一個節點只能設定屬於某一個Node Label，所以可以使用 Node Label將整個YARN叢集劃分為不相交的節點集合。預設節點屬於DEFAULT分區（partition=""，Null 字元串）。

目前只有Capacity Scheduler調度器支援Node Labels分區調度，您可以通過調度器配置或者計算引擎node-label-expression參數讓隊列上的任務容器調度到隊列可訪問的分區上。

更詳細的Node Labels特性說明，請參見YARN Node Labels。

使用限制

• EMR-5.11.1之前版本和EMR-3.45.1之前版本，且yarn-site.xml設定檔中yarn.node-labels.configuration-type配置項值為centralized時，可以按照本文檔進行配置。

• EMR-5.11.1及之後版本、EMR-3.45.1及之後版本支援在EMR控制台管理YARN分區，具體操作請參見EMR控制台管理YARN分區。

使用方式

在控制台配置開啟Node Labels特性

命令添加相關Node Labels分區並建立節點映射

如果是需要自動指定彈性節點群組擴容節點的NodeManager分區，則需要在建立分區後，將replaceLabelsOnNode營運命令添加到對應節點群組範圍的引導操作指令碼中，在組件啟動後執行。

# 使用YARN預設管理員hadoop賬戶執行
sudo su - hadoop
# 添加分區
yarn rmadmin -addToClusterNodeLabels "DEMO"
yarn rmadmin -addToClusterNodeLabels "CORE"
# 列出YARN節點列表
yarn node -list
# 配置指定節點分區映射
yarn rmadmin -replaceLabelsOnNode "core-1-1.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"
yarn rmadmin -replaceLabelsOnNode "core-1-2.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"

CapacityScheduler配置隊列的可訪問分區、作業使用的分區

使用CapacityScheduler：確保yarn-site.xml檔案配置中參數yarn.resourcemanager.scheduler.class的值為org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler。

在capacity-scheduler.xml中使用如下配置項，配置隊列可訪問的分區和容量，<queue-path>替換為配置隊列，<label>替換為配置分區（DEFAULT分區直接用常規的capacity或maximum-capacity配置即可）。

• 必須配置其所有祖先隊列的相同分區容量才能使指定隊列的實際資源量大於0，原因是包括root節點在內的yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.capacity的預設值為0，所以必須配置yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity=100所有的子隊列這個分區的容量才有可能不為0（理論上只要大於0即可，但是配置小於100導致子隊列推算的實際capacity變少了，沒什麼意義）；如果目標隊列的祖先隊列capacity 配置缺失使用預設值 0，實際推算出來該隊列在此分區的實際capacity還是為0。

• 當yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity配置大於0後，和常規的yarn.scheduler.capacity.<queue-path>.capacity規則一樣，要求直接子隊列的相同分區capacity之和為100。

  添加配置範例如下。

  <configuration>
    <!-- 在XML中Node Label相關新增配置項 -->
    <property>
      <!-- 配置default隊列可訪問DEMO分區，必須 -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
      <value>DEMO</value>
    </property>
    <property>
      <!-- 配置default隊列所有祖先隊列DEMO分區容量，必須 -->
      <name>yarn.scheduler.capacity.root.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- 配置default隊列在DEMO分區容量，必須 -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- 配置default隊列在DEMO分區最大容量，可選，預設為100 -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.maximum-capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- 配置default隊列作業容器請求預設提交分區，可選，預設為DEFAULT分區"" -->
      <name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
      <value>DEMO</value>
    </property>
  <configuration>
  
                          

常見問題

高可用叢集必須將centralized模式Node Labels資料存放區在Distributed File System中?

添加節點分區映射時為什麼不指定NodeManager連接埠？

EMR叢集一個節點上最多隻有一個NodeManager進程，所以指定連接埠沒有太大的意義。如果因為不瞭解導致寫錯連接埠，或者配置連接埠為隨機的情況下，帶連接埠執行replaceLabelsOnNode不能正確建立節點分區映射。您可以使用命令yarn node -list -showDetails查看節點當前分區。

Node Labels適用的情境？

通常情況下，EMR叢集不需要使用Node Labels特性。目前開源Hadoop YARN很多指標都沒考慮到分區，只統計DEFAULT分區的狀態資料，帶來管理營運上的複雜性；分區調度可能無法充分利用叢集資源，造成資源浪費。使用到Node Labels的情境包括叢集同時運行批作業和流作業，使用分區隔離；存在需要重保的作業，分區後運行在非彈性節點；執行個體規格差異過大，用分區管理的方式分別運行作業避免不均衡等。