全部產品
Search
文件中心

Hologres:計算群組分時彈性(Beta)

更新時間:Oct 26, 2024

Hologres計算群組型執行個體支援按時間設定彈性計劃,從而根據業務流量峰值,自動完成計算資源伸縮,提升執行個體穩定性和資源使用率,節約成本。本文為您介紹如何使用分時彈性功能。

適用情境

假設您當前使用計算群組執行個體的情境為:資料中台團隊使用init warehouse完成大型ETL、巨量資料量離線匯入、分鐘級近即時匯入、即時資料匯入,業務團隊A使用warehouse 1查詢資料,業務團隊B使用warehouse 2查詢資料。則分時彈性功能可能的適用情境如下:

  • 分鐘級近即時匯入和即時資料匯入:仍使用計算群組init warehouse執行。如果全天資料量穩定,則無需設定分時彈性。如果每天有一段時間(通常建議16小時內)有明顯的寫入流量高峰,則建議設定分時彈性計劃,在寫入流量高峰期彈出額外的彈性資源。

  • 業務團隊查詢資料:仍分別使用不同的從計算群組承載不同業務團隊的查詢請求,以保障負載隔離。如果業務團隊查詢請求量穩定,則無需設定分時彈性。如果每天的查詢請求量有明顯周期性變化,則建議設定分時彈性計劃,在查詢請求高峰期彈出額外的彈性資源。

  • 大型ETL作業和巨量資料量離線匯入:建議改用Serverless資源執行。Serverless Computing可以提供額外的計算資源,無需預留計算資源,顯著提升執行個體穩定性、減少OOM,且僅需為任務單獨付費。Serverless Computing詳情請參見Serverless Computing概述,使用方法請參見Serverless Computing使用指南

使用限制

  • 僅計算群組型執行個體支援分時彈性功能,通用型執行個體和唯讀從執行個體不支援。

  • Hologres從V2.2.21版本起支援分時彈性功能。

  • 如下地區暫不支援分時彈性:華東 2 金融雲、華北 2 阿里政務雲1、華南 1 金融雲、日本(東京)、馬來西亞(吉隆坡)、印尼(雅加達)。

說明

分時彈性功能現處於公測期,請使用阿里雲帳號填寫表單即時數倉Hologres分時彈性公測申請,申請試用。

注意事項

  • 使用分時彈性功能要求的權限:

    • 需要使用阿里雲帳號,或被授予了AliyunHologresWarehouseFullAccess許可權的RAM使用者,該許可權包含了Hologres管理主控台的唯讀許可權和分時彈性功能的配置許可權,授權方式請參見授予RAM使用者權限

    • 需要帳號擁有執行個體內部的Superuser許可權,授權方式請參見授予RAM使用者執行個體的開發許可權

  • Hologres V2.2版本中,使用分時彈性功能對計算群組執行定時擴容、縮容操作,計算群組的查詢和寫入會中斷約15秒。Hologres V3.0版本起,計算群組擴容期間,計算群組的查詢和寫入不受影響,計算群組的狀態仍會處於處理中。計算群組縮容期間,查詢和寫入仍會中斷約15秒。

  • 當對計算群組配置了彈性計劃後:

    • 不支援停止計算群組或刪除計算群組,不支援縮容計算群組資源。

    • 只支援通過Hologres管理主控台操作擴容計算群組資源,不支援手動執行hg_alter_warehouse命令擴容計算群組資源。

    • 只支援通過Hologres管理主控台建立計算群組,不支援手動執行hg_create_warehouse命令建立計算群組。

名詞解釋

  • 執行個體層級的計算資源

    • 執行個體預留資源:執行個體預留的計算資源總量,有訂用帳戶和隨用隨付兩種付費模式。可以分為已指派和未分配資源。

      • 執行個體已指派資源:執行個體預留資源中,已經分配給所有計算群組的資源總量。

      • 執行個體未分配資源:執行個體預留資源中,還沒有分配給計算群組的資源量。

    • 執行個體彈性資源:執行個體下的所有計算群組,在預留資源之外,額外彈出的資源總量。

    • 執行個體總計算資源:執行個體實際使用的資源總量,為執行個體預留資源和執行個體彈性資源總和。

  • 計算群組層級的計算資源

    • 計算群組預留資源:每個計算群組從執行個體預留資源中分配到的資源量。

    • 計算群組彈性資源:每個計算群組在預留資源之外,額外彈出的資源量。

    • 計算群組總計算資源:計算群組實際使用的資源總量,為執行個體預留資源和執行個體彈性資源總和。

樣本:如圖為某執行個體資源樣本,資源詳情如下:

類別

資源詳情

執行個體

預留資源96 CU,其中64 CU已指派,32 CU未分配。

彈性資源32 CU。

總計算資源96+32=128 CU。

計算群組init_warehouse

預留資源32 CU,彈性資源16 CU,總計算資源48 CU。

計算群組warehouse_2

預留資源32 CU,彈性資源16 CU,總計算資源48 CU。

image

價格說明

  • 執行個體預留資源:即計算群組執行個體獨享計算資源,仍按執行個體付費模式(訂用帳戶/隨用隨付)付費。

  • 執行個體彈性資源:包含分時彈性功能額外彈出的計算資源。計費公式為:費用 = 執行個體實際彈出彈性資源量(CU*小時) * 資源單價,具體資源單價請參見計費概述。每小時結算一次,系統將會推送賬單並從賬戶中自動扣除費用。

    說明

    執行個體彈性資源與執行個體未分配資源不相關。即使執行個體預留資源中仍有未分配資源,分時彈性功能仍會額外彈出計算資源,而不會使用執行個體未分配資源。

使用指南

計算群組資源管理

  1. 進入計算群組管理頁面。

    1. 登入Hologres管理主控台,在頂部功能表列左側,選擇相應的地區。

    2. 在左側導覽列選擇執行個體列表,單擊目標執行個體ID進入執行個體詳情頁。

    3. 在執行個體詳情頁的左側導覽列單擊計算群組管理

  2. 查看計算群組型執行個體的資源使用方式。

    計算群組資源管理頁簽可查看計算群組型執行個體的資源使用方式,包括執行個體預留資源(含執行個體已指派資源和未分配資源)、執行個體彈性資源。

  3. 管理計算群組資源。

    • 單擊新增計算群組,在新增計算群組對話方塊中輸入計算群組名稱計算群組資源,建立新的計算群組。

    • 狀態正在運行的計算群組,支援執行調整配置重啟停止Rebalance操作。Rebalance詳情請參見均衡分區(Rebalance)

      說明

      不支援對執行個體的預設計算群組init_warehouse執行停止操作。

計算群組彈性計劃

查看彈性計劃時序圖

  1. 進入計算群組管理頁面,單擊計算群組彈性計劃頁簽。

  2. 執行個體/計算群組選擇下拉式清單中選擇執行個體或某一計算群組,可以查看彈性計劃時序圖。時序圖表明未來執行個體或計算群組會按此計劃執行擴縮容操作,不表示過去的資源監控指標。

則儲存後,計算群組A的總計算資源會立即從96 CU縮容至64 CU。

配置計算群組彈性計劃

  • 計算群組彈性計劃頁簽中單擊目標計算群組左側的image,然後單擊增加時間段,配置每日生效時間段的起始和結束時間,並配置彈性計算資源量,單擊操作列的儲存即可生效。

  • 支援對已有彈性計劃執行編輯刪除操作。

重要
  • 彈性計算資源量不支援超過預留計算資源量。

  • 每個計算群組最多支援5個彈性時間段。

  • 刪除彈性計劃時,即使計算群組資源未發生變化,計算群組狀態也會變為處理中,此時計算群組的讀寫不受影響。

儲存計算群組的彈性計劃時,如果計算群組當前時刻設定的彈性資源發生變化,會同步生效,即Hologres會立即對計算群組執行變更配置操作。樣本如下:

  • 樣本1

    假設目前時間為16:00,對計算群組A(預留資源64 CU)新增彈性計劃:

    生效時間段為15:00-18:00、彈性計算資源為32 CU,則儲存後,計算群組A的總計算資源會立即擴容至96 CU。

  • 樣本2

    假設目前時間為16:00,修改計算群組A(預留資源64 CU)的原有彈性計劃:

    • 修改前:生效時間段為15:00-18:00、彈性計算資源為32 CU。

    • 修改後:生效時間段為17:00-18:00、彈性計算資源32 CU。

    則儲存後,計算群組A的總計算資源會立即從96 CU縮容至64 CU。

分時彈性監控

可以通過如下方式監控彈性計劃執行情況。

彈性計劃執行日誌

  1. 進入計算群組管理頁面,單擊彈性計劃執行日誌頁簽。

  2. 選擇時間範圍,可查看過去的彈性計劃執行情況,包括執行時間、計算群組、執行狀態、事件類型、預留計算資源和目標彈性計算資源。

監控指標

您可以在Hologres管控台的監控指標中,查看Warehouse_timed_elastic_cores(Count)(即執行個體分時彈性彈出Core數)指標,如有需要,可為其配置相應警示規則,詳情請參見Hologres管控台的監控指標

Action Trail

Hologres管理主控台上執行的編輯彈性計劃等操作,以及彈性計劃實際執行擴縮容操作,均會記錄到Action Trail中。詳情請參見查詢事件記錄