全部产品
Search
文档中心

开源大数据平台E-MapReduce:快速使用存算一体版实例

更新时间:Dec 13, 2024

存算一体版实例适用于对查询性能要求高的场景,例如OLAP多维分析、高并发查询和实时数据分析等。该实例类型将数据存储于云盘或本地盘,以确保较高的数据读写效率。本文为您介绍如何通过阿里云账号创建并快速使用EMR Serverless StarRocks存算一体实例。

前提条件

  • 注册阿里云账号,并完成实名认证。

  • 如果是RAM用户,已授权AliyunEMRStarRocksFullAccess系统权限策略。

    说明

    创建和管理StarRocks实例需要具备AliyunEMRStarRocksFullAccess系统权限策略。

注意事项

代码的运行环境由所属用户负责管理和配置。

步骤一:创建存算一体版StarRocks实例

  1. 进入EMR Serverless StarRocks实例列表页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > StarRocks

    3. 在顶部菜单栏处,根据实际情况选择地域。

  2. 实例列表页面,单击上方的创建实例

  3. 选择存算一体版的实例类型。

  4. E-MapReduce Serverless StarRocks页面,完成实例相关配置。

    配置项

    示例

    描述

    付费类型

    按量付费

    支持包年包月和按量付费的计费方式。

    地域

    华东1(杭州)

    实例所在的物理位置。

    重要

    实例创建后,无法更改地域,请谨慎选择。

    可用区

    可用区I

    实例所在可用区。

    重要

    实例创建后,无法更改可用区,请谨慎选择。

    专有网络

    vpc_Hangzhou/vpc-bp1f4epmkvncimpgs****

    选择对应地域下的专有网络。如果没有,单击创建VPC进行创建。创建完成后,单击右侧的刷新图标图标,可以选择刚创建的VPC。

    交换机

    vsw_i/vsw-bp1e2f5fhaplp0g6p****

    选择在对应专有网络下所选可用区内的交换机。如果在所选专有网络下没有交换机,可单击创建交换机前往创建。创建完成后,单击右侧的刷新图标图标,可以选择刚创建的交换机。

    实例系列

    标准版

    支持入门版标准版,详情请参见实例系列说明

    版本

    3.1

    StarRocks的社区版本号。

    BE规格类型

    标准规格

    StarRocks BE节点的规格。

    • 入门版:支持标准规格

    • 标准版:支持标准规格高性能存储大规格存储三种规格。

    BE规格

    8 CU

    • 入门版:默认8 CU规格。BE节点存储的默认配置如下:

      • 数据盘类型:仅支持ESSD PL1云盘。

      • 数据盘大小:默认50 GB。

      • 数据盘数量:默认1个。

    • 标准版

      • 标准规格:支持8 CU、16 CU、32 CU、64 CU规格。还需配置BE节点存储参数,涉及以下配置:

        • 数据盘类型:支持ESSD PL0、ESSD PL1云盘(推荐)、ESSD PL2云盘、ESSD PL3云盘。更多信息,请参见ESSD云盘

        • 数据盘大小:取值范围为100 GB~65000 GB,步长为100。

        • 数据盘数量:取值范围为1~14个,步长为1。

      • 高性能存储大规格存储:在BE规格下拉列表中,可以选择详细规格。

    BE节点数量

    3

    StarRocks BE节点的数量。

    • 入门版:1个。

    • 标准版:取值范围为3~100个,步长为1。

    高可用

    开启

    默认开启。标准版支持开启高可用,打开高可用开关后,StarRocks FE节点数由1增加到3,以降低故障风险。

    重要

    生产环境强烈建议您开通高可用。

    FE资源配置

    • 规格:8 CU。

    • 存储大小:100 GB。

    • 节点数量:3个。

    • 入门版:FE的资源配置默认为4 CU,50 GB,节点数量为1。

    • 标准版:FE资源配置会随着BE的数量以及资源配置而自动适配。另外,FE的节点数量取决于是否开启高可用,不开启高可用,FE节点数量为1;开启高可用,FE节点数量为3。

    资源配置总计

    FE计算资源:24CU

    存储资源:ESSD PL1云盘(推荐)100GB

    BE计算资源:24CU存储资源:ESSD PL1云盘(推荐)300GB

    展示FE资源详情、BE资源详情以及数据存储详情。

    实例名称

    自定义实例名称。

    实例名称,长度限制为1~64个字符,仅可使用中文、字母、数字、短划线(-)和下划线(_)。

    管理员用户

    admin

    用于管理StarRocks的管理员用户,默认为admin,无法修改。

    登录密码确认密码

    自定义密码。

    StarRocks实例内置管理员用户admin的密码。请记录该配置,管理和使用StarRocks实例需要您输入该密码。

    执行RAM角色

    AliyunEMRStarRocksAccessingOSSRole

    该角色将会授权StarRocks实例访问对象存储OSS的数据内容的权限。

    (可选)高级设置 > 资源组

    选择已创建的资源组

    可以使用默认资源组,或者选择已有的资源组,或者单击创建资源组前往资源管理控制台新建一个资源组,详情请参见创建资源组

    说明

    资源组(Resource Group)是在阿里云账号下进行资源分组管理的一种机制,资源组能够帮助您解决单个阿里云账号内的资源分组和授权管理的复杂性问题。资源组更多信息,请参见什么是资源组

    (可选)高级设置 > 标签

    自定义标签

    您可以在创建实例时绑定标签,也可以在实例创建完成后添加标签,这可以方便您识别和管理拥有的实例资源,详情请参见设置标签

  5. 选中服务协议,单击创建实例,根据提示完成支付。

    支付完成后,回到实例管理页面,查看创建的实例。当实例状态运行中时,表示实例创建成功。

步骤二:连接StarRocks实例

  1. 实例列表页面,单击操作列的连接实例

    您也可以通过其他方式连接StarRocks实例,详情请参见连接实例

  2. 连接StarRocks实例。

    1. 新建连接页签,配置以下信息。

      image.png

      参数

      示例

      描述

      地域

      华东1(杭州)

      选择已创建的StarRocks实例所在的物理位置。

      实例

      StarRocks_Serverlesss

      选择已创建的StarRocks实例的名称。

      连接名称

      Connection_Serverlesss

      连接名称,自定义输入。

      长度限制为1~64字符,仅可使用中文、字母、数字、短划线(-)和下划线(_)。

      用户名

      根据实际情况输入

      默认初始用户名为admin,您可以选择使用该用户名进行连接,或者根据需要创建其他用户,创建用户详情请参见管理用户及数据授权

      密码

      根据实际情况输入

      StarRocks实例中已创建的用户名对应的密码。

    2. 单击测试连通性

    3. 验证通过后,单击确定

      进入SQL Editor页面,即可执行相关的SQL。更多使用信息,请参见通过EMR StarRocks Manager连接StarRocks实例

步骤三:临时查询

SQL Editor查询列表页面,单击image.png图标,输入以下命令,单击运行

/**创建数据库**/
CREATE DATABASE IF NOT EXISTS load_test;

/**使用数据库**/
USE load_test;

/**创建表**/
CREATE TABLE insert_wiki_edit
(
    event_time DATETIME,
    channel VARCHAR(32) DEFAULT '',
    user VARCHAR(128) DEFAULT '',
    is_anonymous TINYINT DEFAULT '0',
    is_minor TINYINT DEFAULT '0',
    is_new TINYINT DEFAULT '0',
    is_robot TINYINT DEFAULT '0',
    is_unpatrolled TINYINT DEFAULT '0',
    delta INT SUM DEFAULT '0',
    added INT SUM DEFAULT '0',
    deleted INT SUM DEFAULT '0'
)
AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
PARTITION BY RANGE(event_time)
(
    PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
    PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
    PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
    PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
)
DISTRIBUTED BY HASH(user) BUCKETS 10
PROPERTIES("replication_num" = "1");

/**插入数据**/
INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);

/**查询数据**/
select * from insert_wiki_edit;

返回信息如下所示。

image.png

步骤四:性能测试

详细信息请参见测试说明

(可选)步骤五:释放实例

重要

该操作将删除实例及该实例下的所有资源,且不可逆,请谨慎操作。

当您不再需要某个实例提供服务时,您可以释放该实例,以免产生额外的费用。

  1. 实例列表页面,单击实例操作列的释放

  2. 在弹出的对话框中,单击确定

相关文档

  • 如需了解SQL Editor更多操作,请参见SQL Editor

  • 如需查看当前实例的SQL查询信息,分析SQL的执行计划,及时诊断和排查SQL问题,详情请参见诊断与分析

  • 如需查看并分析数据库中发生的所有操作,详情请参见审计日志

联系我们

如果您在使用过程中有任何疑问或问题,可以使用钉钉搜索群号24010016636进行咨询。