全部產品
Search
文件中心

Hologres:計算群組分時彈性(Beta)

更新時間:Sep 13, 2024

Hologres計算群組型執行個體支援按時間設定彈性計劃,從而根據業務流量峰值,自動完成計算資源伸縮,提升執行個體穩定性和資源使用率,節約成本。本文為您介紹如何使用分時彈性功能。

適用情境

假設您當前使用計算群組執行個體的情境為:資料中台團隊使用init warehouse完成大型ETL、巨量資料量離線匯入、分鐘級近即時匯入、即時資料匯入,業務團隊A使用warehouse 1查詢資料,業務團隊B使用warehouse 2查詢資料。則分時彈性功能可能的適用情境如下:

  • 分鐘級近即時匯入和即時資料匯入:仍使用計算群組init warehouse執行。如果全天資料量穩定,則無需設定分時彈性。如果每天有一段時間(通常建議16小時內)有明顯的寫入流量高峰,則建議設定分時彈性計劃,在寫入流量高峰期彈出額外的彈性資源。

  • 業務團隊查詢資料:仍分別使用不同的從計算群組承載不同業務團隊的查詢請求,以保障負載隔離。如果業務團隊查詢請求量穩定,則無需設定分時彈性。如果每天的查詢請求量有明顯周期性變化,則建議設定分時彈性計劃,在查詢請求高峰期彈出額外的彈性資源。

  • 大型ETL作業和巨量資料量離線匯入:建議改用Serverless資源執行。Serverless Computing可以提供額外的計算資源,無需預留計算資源,顯著提升執行個體穩定性、減少OOM,且僅需為任務單獨付費。Serverless Computing詳情請參見Serverless Computing概述,使用方法請參見Serverless Computing使用指南

使用限制

  • 僅計算群組型執行個體支援分時彈性功能,通用型執行個體和唯讀從執行個體不支援。

  • Hologres從V2.2.21版本起支援分時彈性功能。

  • 如下地區暫不支援分時彈性:華東 2 金融雲、華北 2 阿里政務雲1、華南 1 金融雲、日本(東京)、馬來西亞(吉隆坡)、印尼(雅加達)。

說明

分時彈性功能現處於公測期,請使用阿里雲帳號填寫表單即時數倉Hologres分時彈性公測申請,申請試用。

注意事項

  • 使用分時彈性功能要求的權限:

    • 需要使用阿里雲帳號,或被授予了AliyunHologresWarehouseFullAccess許可權的RAM使用者,該許可權包含了Hologres管理主控台的唯讀許可權和分時彈性功能的配置許可權,授權方式請參見授予RAM使用者權限

    • 需要帳號擁有執行個體內部的Superuser許可權,授權方式請參見授予RAM使用者執行個體的開發許可權

  • Hologres V2.2版本中,使用分時彈性功能對計算群組執行定時擴容、縮容操作,計算群組的查詢和寫入會中斷約15秒。Hologres V3.0版本起,計算群組擴容期間,計算群組的查詢和寫入不受影響,計算群組的狀態仍會處於處理中。計算群組縮容期間,查詢和寫入仍會中斷約15秒。

  • 當對計算群組配置了彈性計劃後:

    • 不支援停止計算群組或刪除計算群組,不支援縮容計算群組資源。

    • 只支援通過Hologres管理主控台操作擴容計算群組資源,不支援手動執行hg_alter_warehouse命令擴容計算群組資源。

    • 只支援通過Hologres管理主控台建立計算群組,不支援手動執行hg_create_warehouse命令建立計算群組。

名詞解釋

  • 執行個體層級的計算資源

    • 執行個體預留資源:執行個體預留的計算資源總量,有訂用帳戶和隨用隨付兩種付費模式。可以分為已指派和未分配資源。

      • 執行個體已指派資源:執行個體預留資源中,已經分配給所有計算群組的資源總量。

      • 執行個體未分配資源:執行個體預留資源中,還沒有分配給計算群組的資源量。

    • 執行個體彈性資源:執行個體下的所有計算群組,在預留資源之外,額外彈出的資源總量。

    • 執行個體總計算資源:執行個體實際使用的資源總量,為執行個體預留資源和執行個體彈性資源總和。

  • 計算群組層級的計算資源

    • 計算群組預留資源:每個計算群組從執行個體預留資源中分配到的資源量。

    • 計算群組彈性資源:每個計算群組在預留資源之外,額外彈出的資源量。

    • 計算群組總計算資源:計算群組實際使用的資源總量,為執行個體預留資源和執行個體彈性資源總和。

價格說明

  • 執行個體預留資源:即計算群組執行個體獨享計算資源,仍按執行個體付費模式(訂用帳戶/隨用隨付)付費。

  • 執行個體彈性資源:包含分時彈性功能額外彈出的計算資源。計費公式為:費用 = 執行個體實際使用彈性資源量(CU/小時) * 資源單價,具體資源單價請參見計費概述。每小時結算一次,系統將會推送賬單並從賬戶中自動扣除費用。

    說明

    執行個體彈性資源與執行個體未分配資源不相關。即使執行個體預留資源中仍有未分配資源,分時彈性功能仍會額外彈出計算資源,而不會使用執行個體未分配資源。

使用指南

計算群組資源管理

  1. 進入計算群組管理頁面。

    1. 登入Hologres管理主控台,在頂部功能表列左側,選擇相應的地區。

    2. 在左側導覽列選擇執行個體列表,單擊目標執行個體ID進入執行個體詳情頁。

    3. 在執行個體詳情頁的左側導覽列單擊計算群組管理

  2. 查看計算群組型執行個體的資源使用方式。

    計算群組資源管理頁簽可查看計算群組型執行個體的的資源使用方式,包括執行個體預留資源(含執行個體已指派資源和未分配資源)、執行個體彈性資源。

  3. 管理計算群組資源。

    • 單擊新增計算群組,在新增計算群組對話方塊中輸入計算群組名稱計算群組資源,建立新的計算群組。

    • 狀態正在運行的計算群組,支援執行調整配置重啟停止Rebalance操作。Rebalance詳情請參見均衡分區(Rebalance)

      說明

      不支援對執行個體的預設計算群組init_warehouse執行停止操作。

計算群組彈性計劃

查看彈性計劃時序圖

  1. 進入計算群組管理頁面,單擊計算群組彈性計劃頁簽。

  2. 執行個體/計算群組選擇下拉式清單中選擇執行個體或某一計算群組,可以查看彈性計劃時序圖。時序圖表明未來執行個體或計算群組會按此計劃執行擴縮容操作,不表示過去的資源監控指標。

則儲存後,計算群組A的總計算資源會立即從96 CU縮容至64 CU。

配置計算群組彈性計劃

  • 計算群組彈性計劃頁簽中單擊目標計算群組左側的image,然後單擊增加時間段,配置每日生效時間段的起始和結束時間,並配置彈性計算資源量,單擊操作列的儲存即可生效。

  • 支援對已有彈性計劃執行編輯刪除操作。

重要
  • 彈性計算資源量不支援超過預留計算資源量。

  • 每個計算群組最多支援5個彈性時間段。

  • 刪除彈性計劃時,即使計算群組資源未發生變化,計算群組狀態也會變為處理中,此時計算群組的讀寫不受影響。

儲存計算群組的彈性計劃時,如果計算群組當前時刻設定的彈性資源發生變化,會同步生效,即Hologres會立即對計算群組執行變更配置操作。樣本如下:

  • 樣本1

    假設目前時間為16:00,對計算群組A(預留資源64 CU)新增彈性計劃:

    生效時間段為15:00-18:00、彈性計算資源為32 CU,則儲存後,計算群組A的總計算資源會立即擴容至96 CU。

  • 樣本2

    假設目前時間為16:00,修改計算群組A(預留資源64 CU)的原有彈性計劃:

    • 修改前:生效時間段為15:00-18:00、彈性計算資源為32 CU。

    • 修改後:生效時間段為17:00-18:00、彈性計算資源32 CU。

    則儲存後,計算群組A的總計算資源會立即從96 CU縮容至64 CU。

分時彈性監控

可以通過如下方式監控彈性計劃執行情況。

彈性計劃執行日誌

  1. 進入計算群組管理頁面,單擊彈性計劃執行日誌頁簽。

  2. 選擇時間範圍,可查看過去的彈性計劃執行情況,包括執行時間、計算群組、執行狀態、事件類型、預留計算資源和目標彈性計算資源。

監控指標

您可以在Hologres管控台的監控指標中,查看Warehouse_timed_elastic_cores(Count)(即執行個體分時彈性彈出Core數)指標,如有需要,可為其配置相應警示規則,詳情請參見Hologres管控台的監控指標

Action Trail

Hologres管理主控台上執行的編輯彈性計劃等操作,以及彈性計劃實際執行擴縮容操作,均會記錄到Action Trail中。詳情請參見查詢事件記錄