全部產品
Search
文件中心

E-MapReduce:快速使用存算一體版執行個體

更新時間:Sep 07, 2024

存算一體版執行個體適用於對查詢效能要求高的情境,例如OLAP多維分析、高並發查詢和即時資料分析等。該執行個體類型將資料存放區於雲端硬碟或本地碟,以確保較高的資料讀寫效率。本文為您介紹如何通過阿里雲帳號建立並快速使用EMR Serverless StarRocks存算一體執行個體。

前提條件

  • 註冊阿里雲帳號,並完成實名認證。

  • 如果是RAM使用者,已授權AliyunEMRStarRocksFullAccess系統權限原則。

    說明

    建立和管理StarRocks執行個體需要具備AliyunEMRStarRocksFullAccess系統權限原則。

注意事項

代碼的運行環境由所屬使用者負責管理和配置。

步驟一:建立存算一體版StarRocks執行個體

  1. 進入EMR Serverless StarRocks執行個體列表頁面。

    1. 登入E-MapReduce控制台

    2. 在左側導覽列,選擇EMR Serverless > StarRocks

    3. 在頂部功能表列處,根據實際情況選擇地區。

  2. 執行個體列表頁面,單擊上方的建立執行個體

  3. 選擇存算一體版的執行個體類型。

  4. E-MapReduce Serverless StarRocks頁面,完成執行個體相關配置。

    配置項

    樣本

    描述

    付費類型

    隨用隨付

    支援訂用帳戶和隨用隨付的計費方式。

    地區

    華東1(杭州)

    執行個體所在的物理位置。

    重要

    執行個體建立後,無法更改地區,請謹慎選擇。

    可用性區域

    可用性區域I

    執行個體所在可用性區域。

    重要

    執行個體建立後,無法更改可用性區域,請謹慎選擇。

    專用網路

    vpc_Hangzhou/vpc-bp1f4epmkvncimpgs****

    選擇對應地區下的專用網路。如果沒有,單擊建立VPC進行建立。建立完成後,單擊右側的重新整理表徵圖表徵圖,可以選擇剛建立的VPC。

    交換器

    vsw_i/vsw-bp1e2f5fhaplp0g6p****

    選擇在對應專用網路下所選可用性區域內的交換器。如果在所選專用網路下沒有交換器,可單擊建立交換器前往建立。建立完成後,單擊右側的重新整理表徵圖表徵圖,可以選擇剛建立的交換器。

    負載平衡

    選中

    會開通負載平衡。StarRocks FE內網服務,依賴負載平衡的CLB私網服務。

    重要

    使用負載平衡會產生費用,相關計費說明,請參見CLB計費概述

    執行個體系列

    標準版

    支援入門版標準版,詳情請參見執行個體系列說明

    版本

    3.1

    StarRocks的社區版本號碼。

    BE規格類型

    標準規格

    StarRocks BE節點的規格。

    • 入門版:支援標準規格

    • 標準版:支援標準規格高效能儲存大規格儲存三種規格。

    BE規格

    8 CU

    • 入門版:預設8 CU規格。BE節點儲存的預設配置如下:

      • 資料盤類型:僅支援ESSD PL1雲端硬碟。

      • 資料盤大小:預設50 GB。

      • 資料盤數量:預設1個。

    • 標準版

      • 標準規格:支援8 CU、16 CU、32 CU、64 CU規格。還需配置BE節點儲存參數,涉及以下配置:

        • 資料盤類型:支援ESSD PL0、ESSD PL1雲端硬碟(推薦)、ESSD PL2雲端硬碟、ESSD PL3雲端硬碟。更多資訊,請參見ESSD雲端硬碟

        • 資料盤大小:取值範圍為100 GB~65000 GB,步長為100。

        • 資料盤數量:取值範圍為1~14個,步長為1。

      • 高效能儲存大規格儲存:在BE規格下拉式清單中,可以選擇詳細規格。

    BE節點數量

    3

    StarRocks BE節點的數量。

    • 入門版:1個。

    • 標準版:取值範圍為3~100個,步長為1。

    高可用

    開啟

    預設開啟。標準版支援開啟高可用,開啟高可用開關後,StarRocks FE節點數由1增加為3,以降低故障風險。

    重要

    生產環境強烈建議您開通高可用。

    FE資源配置

    • 規格:8 CU。

    • 儲存大小:100 GB。

    • 節點數量:3個。

    • 入門版:FE的資源配置預設為4 CU,50 GB,節點數量為1。

    • 標準版:FE資源配置會隨著BE的數量以及資源配置而自動適配。另外,FE的節點數量取決於是否開啟高可用,不開啟高可用,FE節點數量為1;開啟高可用,FE節點數量為3。

    資源群組

    default resource group

    可以使用預設資源群組,或者選擇已有的資源群組,或者單擊建立資源群組前往資源管理主控台建立一個資源群組,詳情請參見建立資源群組

    說明

    資源群組(Resource Group)是在阿里雲帳號下進行資源分組管理的一種機制,資源群組能夠協助您解決單個阿里雲帳號內的資源分組和授權管理的複雜性問題。

    資源群組更多資訊,請參見資源群組概述

    執行個體名稱

    自訂執行個體名稱。

    執行個體名稱,長度限制為1~64個字元,僅可使用中文、字母、數字、短劃線(-)和底線(_)。

    管理使用者

    admin

    用於管理StarRocks的管理使用者,預設為admin,無法修改。

    登入密碼確認密碼

    自訂密碼。

    StarRocks執行個體內建管理使用者admin的密碼。請記錄該配置,管理和使用StarRocks執行個體需要您輸入該密碼。

  5. 選中服務合約,單擊建立執行個體,根據提示完成支付。

    支付完成後,回到執行個體管理頁面,查看建立的執行個體。當執行個體狀態運行中時,表示執行個體建立成功。

步驟二:串連StarRocks執行個體

  1. 執行個體列表頁面,單擊操作列的串連執行個體

    您也可以通過其他方式串連StarRocks執行個體,詳情請參見串連執行個體

  2. 串連StarRocks執行個體。

    1. 建立串連頁簽,配置以下資訊。

      image.png

      參數

      樣本

      描述

      地區

      華東1(杭州)

      選擇已建立的StarRocks執行個體所在的物理位置。

      執行個體

      StarRocks_Serverlesss

      選擇已建立的StarRocks執行個體的名稱。

      串連名稱

      Connection_Serverlesss

      執行個體名稱,自訂輸入。

      長度限制為1~64字元,僅可使用中文、字母、數字、短劃線(-)和底線(_)。

      使用者名稱

      根據實際情況輸入

      預設初始使用者名稱為admin,您可以選擇使用該使用者名稱進行串連,或者根據需要建立其他使用者,建立使用者詳情請參見系統管理使用者及資料授權

      密碼

      根據實際情況輸入

      StarRocks執行個體中已建立的使用者名稱對應的密碼。

    2. 單擊測試連通性

    3. 驗證通過後,單擊確定

      進入SQL Editor頁面,即可執行相關的SQL。更多使用資訊,請參見通過EMR StarRocks Manager串連StarRocks執行個體

步驟三:臨時查詢

SQL Editor查詢列表頁面,單擊image.png表徵圖,輸入以下命令,單擊運行

/**建立資料庫**/
CREATE DATABASE IF NOT EXISTS load_test;

/**使用資料庫**/
USE load_test;

/**建立表**/
CREATE TABLE insert_wiki_edit
(
    event_time DATETIME,
    channel VARCHAR(32) DEFAULT '',
    user VARCHAR(128) DEFAULT '',
    is_anonymous TINYINT DEFAULT '0',
    is_minor TINYINT DEFAULT '0',
    is_new TINYINT DEFAULT '0',
    is_robot TINYINT DEFAULT '0',
    is_unpatrolled TINYINT DEFAULT '0',
    delta INT SUM DEFAULT '0',
    added INT SUM DEFAULT '0',
    deleted INT SUM DEFAULT '0'
)
AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
PARTITION BY RANGE(event_time)
(
    PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
    PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
    PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
    PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
)
DISTRIBUTED BY HASH(user) BUCKETS 10
PROPERTIES("replication_num" = "1");

/**插入資料**/
INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);

/**查詢資料**/
select * from insert_wiki_edit;

返回資訊如下所示。

image.png

步驟四:效能測試

詳細資料請參見測試說明

(可選)步驟五:釋放執行個體

重要

該操作將刪除執行個體及該執行個體下的所有資源,且無法復原,請謹慎操作。

當您不再需要某個執行個體提供服務時,您可以釋放該執行個體,以免產生額外的費用。

  1. 執行個體列表頁面,單擊執行個體操作列的釋放

  2. 在彈出的對話方塊中,單擊確定

相關文檔

  • 如需瞭解SQL Editor更多操作,請參見SQL Editor

  • 如需查看當前執行個體的SQL查詢資訊,分析SQL的執行計畫,及時診斷和排查SQL問題,詳情請參見診斷與分析

  • 如需查看並分析資料庫中發生的所有操作,請開啟審計日誌,詳情請參見管理審計日誌

聯絡我們

如果您在使用過程中有任何疑問或問題,可以使用DingTalk搜尋群號24010016636進行諮詢。