全部产品
Search
文档中心

开源大数据平台E-MapReduce:创建Gateway集群

更新时间:Jul 24, 2023

您可以通过Gateway集群实现负载均衡和安全隔离,也可以通过Gateway集群向E-MapReduce集群提交作业。本文为您介绍如何在E-MapReduce中创建Gateway集群。

前提条件

已经在E-MapReduce中创建了Hadoop集群或Kafka集群,详情请参见创建集群

说明

如果您在2022年12月19日17点(UTC+8)以后第一次创建EMR集群,则不能选择Hadoop、Kafka集群类型。

使用限制

本文档仅适用于Hadoop集群和Kafka集群。DataLake、OLAP和DataFlow集群的Gateway环境部署信息,请参见使用EMR-CLI自定义部署Gateway环境

操作步骤

  1. 登录EMR on ECS

  2. EMR on ECS页面,单击目标集群的集群名称。

  3. 基础信息页面,选择右上角的全部操作>创建Gateway

  4. 创建Gateway页面,配置各参数。

    模块

    参数

    描述

    关联设置

    地域

    Gateway集群所在的物理位置。

    资源组

    选择Gateway集群所属的资源组。

    如果需要创建新的资源组,单击创建资源组,详细信息请参见创建资源组

    关联集群

    根据所选地域筛选出Gateway集群可以关联的计算集群。待关联的集群有以下要求:

    • 集群状态须为运行中。

    • 仅支持关联Hadoop或Kafka类型的集群。

    说明

    当选择关联集群之后,Gateway集群的VPC默认与关联集群一致。新旧版控制台的集群均可关联。

    基础设置

    付费类型

    • 包年包月:一种预付费模式,即先付费再使用。

    • 按量付费:一种后付费模式,即先使用再付费。按量付费是根据实际使用的小时数来支付费用,每小时计费一次,适合短期的测试任务或是灵活的动态任务。

    可用区

    关联集群所在的可用区(Zone)。

    交换机

    选择在对应的VPC下对应可用区的交换机。

    默认安全组

    关联集群所属的安全组。

    挂载公网

    Gateway是否挂载弹性公网IP地址。

    节点组

    • 实例类型:该地域内可选择的ECS实例规格,详细说明请参见实例规格族

    • 系统盘:Gateway节点使用的系统盘类型。系统盘有高效云盘、ESSD云盘和SSD云盘三种,根据不同机型和不同的Region,系统盘显示类型会有不同。系统盘默认随着集群的释放而释放。

      系统盘大小请根据需要调整。取值范围为60 ~ 500 GiB。

    • 数据盘:Gateway节点使用的数据盘类型。数据盘有高效云盘、ESSD云盘和SSD云盘三种,根据不同机型和不同的Region,数据盘显示类型会有不同。数据盘默认随着集群的释放而释放。

      数据盘大小请根据需要调整。取值范围为40 ~ 32768 GiB。

    • 实例数量:默认1台,您可以根据需要调整。

    集群名称

    Gateway集群的名称,长度限制为1~64个字符,只允许包含中文、字母、数字、短划线(-)、下划线(_)。

    身份凭证

    登录Gateway集群所有节点的用户凭证。

    • 密码:在文本框中输入登录Gateway的密码。长度限制为8~30个字符,且必须同时包含大写字母、小写字母、数字和特殊字符。

      支持输入以下字符:

      !@#$%^&*

    • 密钥对:在列表中选择登录Gateway的密钥对名称。如果还未创建过密钥对,则您可以单击后面的新建密钥对,进入ECS管理控制台进行创建。

      请妥善保管好密钥对所对应的私钥文件(.pem文件)。Gateway创建成功后,该密钥对的公钥部分会自动绑定到Gateway所在的云服务器ECS上,当通过SSH登录Gateway时,您需要输入私钥文件中的私钥。

    高级设置

    ECS应用角色

    通过RAM角色为在集群上运行的应用程序提供调用其他阿里云服务所需的必要权限,无需调整,使用默认即可。默认值为AliyunECSInstanceForEMRRole。

    引导操作

    可选配置,您可以在集群启动前执行您自定义的脚本,详情请参见管理引导操作手动执行脚本

    标签

    可选配置,您可以在创建集群时绑定标签,也可以在集群创建完成后,详情请参见设置标签

    数据盘加密

    可选配置。仅支持在创建集群时开启该功能,详情请参见开启数据盘加密

  5. 完成上述参数配置后,选中服务协议,单击创建

    创建成功后,集群的状态变为空闲