资源编排服务ROS(Resource Orchestration Service)支持通过创建资源栈的方式安装Spark单机版。
背景信息
Apache Spark是专为大规模数据处理设计的通用计算引擎。Spark将Scala用作其应用程序框架,启用了内存分布数据集,除了能够提供交互式查询外,还可以迭代优化工作负载。
模板示例Spark单机版(已有VPC)在已有专有网络、交换机和安全组等资源的基础上,创建一台ECS实例并绑定弹性公网IP(EIP)。模板示例中使用的软件版本如下:
Java JDK(Java Development Kit):1.8.0
Hadoop(分布式系统基础架构):2.7.7
Scala(编程语言):2.12.1
Spark(计算引擎):2.1.0
使用模板创建资源栈成功后即可获取SparkWebSiteURL,登录Spark管理控制台。如需通过外网访问SparkWebSiteURL,请在安全组添加入方向8088和8080访问规则。具体操作,请参见添加安全组规则。
步骤一:创建资源栈
登录资源编排控制台。
在左侧导航栏,选择
。查找模板Spark单机版(已有VPC)。
单击创建资源栈。
在配置参数页面,输入资源栈名称,并设置以下参数。
参数
说明
示例
现有VPC的实例ID
VPC实例ID。
关于如何创建和查询VPC实例,请参见创建和管理专有网络。
vpc-bp1m6fww66xbntjyc****
交换机可用区
专有网络下的交换机可用区ID。
华东1可用区K
网络交换机ID
专有网络下的交换机ID。
关于如何创建和查询交换机,请参见创建和管理交换机。
vsw-bp183p93qs667muql****
业务安全组ID
ECS安全组ID。
关于如何查询安全组ID,请参见查询安全组。
sg-bp15ed6xe1yxeycg7o****
实例规格
ECS实例规格。
请选用有效的实例规格。更多信息,请参见实例规格族。
ecs.c5.large
镜像ID
ECS镜像ID,默认使用centos_7。
更多信息,请参见镜像概述。
centos_7
实例密码
ECS实例密码。
Test_12****
公网IP带宽值
公网IP带宽。
取值范围:1~100。
单位:Mbps。
5
磁盘类型
取值:
cloud_efficiency:高效云盘。
cloud_ssd:SSD云盘。
cloud_essd:ESSD云盘。
cloud:普通云盘。
ephemeral_ssd:本地SSD盘。
更多信息,请参见云盘概述。
cloud_efficiency
系统盘空间
实例系统盘大小。
取值范围:40~500
单位:GB
40
单击创建。
在资源栈信息页签查看资源栈状态。资源栈创建成功后,单击输出,获取SparkWebSiteURL。
访问SparkWebSiteURL,登录Spark管理控制台。
步骤二:查看资源
在左侧导航栏,单击资源栈。
在资源栈列表页面,单击目标资源栈名称。
单击资源页签,查看资源信息。
本示例中,资源信息如下表所示。
资源
数量
资源说明
规格说明
ALIYUN::ECS::Instance
1
创建一台云服务器,用于安装Spark单机版。
总数量:1台。
实例规格:ecs.c5.large。
磁盘类别:高效云盘。
系统盘空间:40GB。
分配公网IP:是。
说明资源收费情况,请参见官网报价或各产品定价文档。