E-MapReduce：快速使用存算分離版執行個體

前提條件

• 登入阿里雲帳號，並完成實名認證。

• 如果是RAM使用者，已授權AliyunEMRStarRocksFullAccess系統權限原則，詳情請參見為RAM使用者授權。

  說明

  建立和管理StarRocks執行個體需要具備AliyunEMRStarRocksFullAccess系統權限原則。

注意事項

代碼的運行環境由所屬使用者負責管理和配置。

操作步驟

步驟二：串連StarRocks執行個體

1. 在執行個體列表頁面，單擊操作列的连接实例。

   您也可以通過其他方式串連StarRocks執行個體。

2. 串連StarRocks執行個體。

   1. 在建立串連頁簽，配置以下資訊。

      

      參數	樣本	描述
      地區	華東1（杭州）	選擇已建立的StarRocks執行個體所在的物理位置。
      執行個體	StarRocks_Serverless	選擇已建立的StarRocks執行個體的名稱。
      串連名稱	Connection_Serverless	串連名稱，自訂輸入。 長度限制為1~64字元，僅可使用中文、字母、數字、短劃線（-）和底線（_）。
      使用者名稱	根據實際情況輸入	預設初始使用者名稱為admin，您可以選擇使用該使用者名稱進行串連，或者根據需要建立其他使用者，建立使用者詳情請參見系統管理使用者及資料授權。
      密碼	根據實際情況輸入	StarRocks執行個體中已建立的使用者名稱對應的密碼。

   2. 單擊測試連通性。

   3. 驗證通過後，單擊確定。

      進入SQL Editor頁面，即可執行相關的SQL。更多使用資訊，請參見通過EMR StarRocks Manager串連StarRocks執行個體。

步驟三：SQL查詢

1. 在SQL Editor的查詢列表頁面，單擊表徵圖。

2. 在建立檔案對話方塊中，單擊確認。

3. 在建立的檔案中，輸入以下命令，選中所有命令後，單擊運行。

   /**建立資料庫**/
   CREATE DATABASE IF NOT EXISTS load_test;
   
   /**使用資料庫**/
   USE load_test;
   
   /**建立表**/
   CREATE TABLE insert_wiki_edit
   (
       event_time DATETIME,
       channel VARCHAR(32) DEFAULT '',
       user VARCHAR(128) DEFAULT '',
       is_anonymous TINYINT DEFAULT '0',
       is_minor TINYINT DEFAULT '0',
       is_new TINYINT DEFAULT '0',
       is_robot TINYINT DEFAULT '0',
       is_unpatrolled TINYINT DEFAULT '0',
       delta INT SUM DEFAULT '0',
       added INT SUM DEFAULT '0',
       deleted INT SUM DEFAULT '0'
   )
   AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
   PARTITION BY RANGE(event_time)
   (
       PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
       PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
       PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
       PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
   )
   DISTRIBUTED BY HASH(user) BUCKETS 10
   PROPERTIES("replication_num" = "1");
   
   /**插入資料**/
   INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);
   
   /**查詢資料**/
   select * from insert_wiki_edit;

返回資訊如下所示。

步驟四：查看錶資訊

1. 在建立的檔案中，輸入以下命令，查看資料庫。

   SHOW PROC '/dbs';

   返回資訊如下所示。

   

2. 輸入以下命令，查看錶的詳細資料。

   SHOW PROC '/dbs/10120';

   返回資訊如下所示。

   

   其中，在存算分離模式下，CLOUD_NATIVE為表的類型欄位標識；StoragePath為表在OSSObject Storage Service中的路徑，通過該路徑可以定位到存算分離表的資料存放區位置。

步驟五：Cache特性示範

1. 在左側導覽列，選擇診斷與分析 > SQL任務。

2. 找到對應的Query，單擊查詢ID。

3. 單擊執行詳情頁簽。

   通過查看Profile執行樹，您可以定位到相關節點，並重點關注右側指標中的CompressedBytesReadLocalDisk（從本機快取讀取）和CompressedBytesReadRemote（從遠端OSSObject Storage Service讀取）兩個指標。

   本樣本中，insert_wiki_edit_cache表開啟了本機快取功能。通過觀察相關指標值，可以確定查詢全部命中了本機快取。

   

   insert_wiki_edit_nocache表未啟用本機快取功能。通過分析其對應的指標值，可以確定該表的查詢操作未命中本機快取，資料全部來自遠端OSSObject Storage Service。

   

步驟六：效能測試

本樣本為您展示了存算分離結合本機快取和存算一體兩種模式下的查詢效能對比。您可以使用SSB測試集進行更詳細的效能對比測試，詳情請參見SSB效能測試說明。

• 準備資料環境。

  • 叢集資源配置：1FE（8CU）+3CN（算力：16CU｜儲存：1000 GB）。

  • 叢集參數：使用預設設定，存算分離叢集開啟本機快取。

  • 資料量：500 GB（sf=500）

• 測試結果。

  • 存算一體總計用時：21.586s。

  • 存算分離總計用時（第2次執行時開啟本機快取的情況下）： 27.364s。

  • 存算分離沒有開啟本機快取，總計用時：117.529s。

執行sh ssb_query.sh ssb指令碼進行SSB測試後，結果顯示錶明在開啟本機快取的情況下，存算分離和存算一體的查詢效能基本相同，且明顯優於未開啟本機快取時的效能。

（可選）步驟七：釋放執行個體

當您不再需要某個執行個體提供服務時，您可以釋放該執行個體，以免產生額外的費用。

1. 在執行個體列表頁面，單擊執行個體操作列的释放。

2. 在彈出的對話方塊中，單擊确定。

相關文檔

• 如需瞭解SQL Editor更多操作，請參見SQL Editor。

• 如需查看當前執行個體的SQL查詢資訊，分析SQL的執行計畫，及時診斷和排查SQL問題，詳情請參見診斷與分析。

• 如需查看並分析資料庫中發生的所有操作，詳情請參見審計日誌。

聯絡我們

如果您在使用過程中有任何疑問或問題，可以使用DingTalk搜尋群號24010016636進行諮詢。