在阿里云E-MapReduce(简称EMR)体系中,Gateway实例扮演着至关重要的角色。它可以作为一个独立的作业提交点,关联到已有的集群。本文为您介绍如何在已有的EMR集群基础上创建Gateway集群和Gateway节点组。
Gateway集群或Gateway节点组通常是一个独立的集群或节点组,由多台相同配置的Gateway实例组成,集群上会部署HDFS、YARN、Hive、Spark2、Spark3、JindoSDK、Flink、Sqoop、Impala、Presto、Hudi、Iceberg、Tez和Deltalake等客户端。未创建Gateway集群或Gateway节点组时,Hadoop等集群的作业是在本集群的Master或Core节点上提交的,会占用本集群的资源。创建Gateway集群后,您可以通过Gateway集群来提交其关联的集群的作业,这样既不会占用关联集群的资源,又可以提高关联集群Master或Core节点的稳定性,尤其是Master节点。
每一个Gateway集群或Gateway节点组均支持独立的环境配置。例如,在多个部门共用一个集群的场景下,您可以为这个集群创建多个Gateway集群或Gateway节点组,以满足不同部门的业务需求。创建Gateway集群和Gateway节点组的具体操作请参见以下文档。
创建Gateway集群
集群类型
文档链接
Hadoop
DataLake、DataFlow和OLAP
创建Gateway节点组
仅EMR-5.10.1及以上版本的DataLake和DataFlow集群,支持增加Gateway类型的节点组,详情请参见管理节点组。