全部产品
Search
文档中心

开源大数据平台E-MapReduce:Gateway实例说明

更新时间:Nov 28, 2024

在阿里云E-MapReduce(简称EMR)体系中,Gateway实例扮演着至关重要的角色。它可以作为一个独立的作业提交点,关联到已有的集群。本文为您介绍如何在已有的EMR集群基础上创建Gateway集群和Gateway节点组。

Gateway集群或Gateway节点组通常是一个独立的集群或节点组,由多台相同配置的Gateway实例组成,集群上会部署HDFS、YARN、Hive、Spark2、Spark3、JindoSDK、Flink、Sqoop、Impala、Presto、Hudi、Iceberg、Tez和Deltalake等客户端。未创建Gateway集群或Gateway节点组时,Hadoop等集群的作业是在本集群的Master或Core节点上提交的,会占用本集群的资源。创建Gateway集群后,您可以通过Gateway集群来提交其关联的集群的作业,这样既不会占用关联集群的资源,又可以提高关联集群Master或Core节点的稳定性,尤其是Master节点。

每一个Gateway集群或Gateway节点组均支持独立的环境配置。例如,在多个部门共用一个集群的场景下,您可以为这个集群创建多个Gateway集群或Gateway节点组,以满足不同部门的业务需求。您可以根据集群类型和版本选择创建Gateway集群或Gateway节点组,具体操作请参见以下文档。

集群类型

文档链接

Hadoop

创建Gateway集群

DataLake和DataFlow集群

EMR-5.10.1及以上版本

支持增加Gateway类型的节点组,详情请参见管理节点组

EMR-5.10.1以下版本

使用EMR-CLI自定义部署Gateway环境

OLAP