全部產品
Search
文件中心

ApsaraDB for ClickHouse:社區相容版叢集垂直變更配置和水平擴縮容

更新時間:Sep 30, 2024

為了應對業務的不斷變化,當您需要調整雲資料庫 ClickHouse 社區相容版叢集的配置或規模時,您可以對雲資料庫ClickHouse進行垂直變更配置和水平擴縮容操作,以協助您的業務在成本與效能之間達到最佳平衡。

垂直變更配置和水平擴縮容概覽

垂直變更配置相比水平擴縮容,變更配置耗時更短,因此對您的業務影響更小。當您的叢集效能指標未能滿足業務需求時,建議優先考慮垂直變更配置。

變更類型

適用情境

原理

影響

操作

垂直變更配置

CPU、記憶體、磁碟資源不足或冗餘時,增加或減少每個節點的資源。

增加或減少社區相容版叢集的節點規格、儲存空間和ZooKeeper規格,縱向擴充叢集的計算能力、儲存空間能力和分布式協作能力

說明

儲存空間不支援垂直降配。儲存空間縮容解決方案如下。

  • 如果您是多節點執行個體,您可以考慮水平縮容一個節點來達到儲存空間縮容的目的,具體需要根據您的業務需求而定。

  • 如果您是單節點執行個體,您可以考慮建立執行個體,通過執行個體遷移來達到儲存空間縮容的目的。

社區相容版叢集進行升級儲存類型和增加儲存空間後不會對執行個體產生影響(僅2021年12月01日之後建立的執行個體),但在變更集群規格和ZooKeeper規格後會重啟叢集。

重要
  • 垂直變更配置所需時間為10至15分鐘。重啟叢集所需的時間與叢集的資料量密切相關:庫表數量及冷存資料量越多,啟動時間越長。

  • 針對雙複本集群,因為涉及到副本之間的請求切換,升級過程中叢集可能出現串連閃斷現象,建議在業務低峰期進行變更配置並保證業務有重試機制。

  • 針對單複本集群,整個升級過程中叢集不可用,建議在業務低峰期或停寫狀態下進行變更配置並保證業務有重試機制。

  • ZooKeeper在業務高峰期進行變更配置可能會導致庫表中繼資料和實際資料不一致,建議在業務低峰期或停寫狀態下進行變更配置。

垂直升配和垂直降配

水平擴容

  • 遷移擴容:擴容後的叢集資料需重新分配的情境。

  • 簡單擴容:擴容前資料是直接寫入本地表模式或者分布式表的sharding key為rand方式,只需要增加節點數。擴容前後節點間的資料無需均衡的情境。

遷移擴容:遷移擴容將增加社區相容版叢集節點數量,橫向擴充叢集的計算能力,並對已有歷史資料進行遷移和資料重分布。

簡單擴容:遷移擴容將增加社區相容版叢集節點數量,橫向擴充叢集的計算能力,資料是直接寫入本地表模式且擴容前後不依賴節點間的資料均衡。

社區相容版叢集在水平擴容時,停寫視窗期間不可寫,直到完成擴容。

水平擴容和水平縮容

水平縮容

  • 水平縮容:

    • 減少節點,節約成本。

    • 隨機下線節點,沒有指定固定的節點。

  • 指定節點縮容:下線指定的叢集規格類型為大儲存規格的叢集。

減少社區相容版叢集節點數量,降低成本。

重要

被下線的節點的數會丟失。

社區相容版叢集在水平縮容過程中可讀不可寫,直到完成縮容。

水平擴容和水平縮容

前提條件

  • 叢集狀態為運行中。

  • 叢集沒有未完成支付的續約訂單。

    說明

    您可以登入雲資料庫ClickHouse控制台,在頁面右上方,選擇費用 > 費用與成本在左側導覽列,單擊訂單管理,完成訂單支付或作廢該訂單。

注意事項

  • 垂直變更配置:僅2021年12月01日之後建立的雲資料庫ClickHouse社區相容版叢集支援變更ZooKeeper規格。ZooKeeper規格費用請參見社區相容版ZooKeeper規格費用

  • 水平擴縮容:

    • MergeTree類型引擎表水平擴容後,會將原有歷史資料移轉寫入新的叢集中並自動完成重分布。

    • 非MergeTree類型(如外表,Log表等)水平擴容後,僅進行表結構遷移,不進行資料移轉。物化視圖僅進行結構遷移,不進行資料移轉。

    • Kafka/RabbitMQ引擎表不支援遷移,擴縮容前先刪除。

    • 水平擴容後內部節點IP會發生變化,如果依賴節點IP資料寫入和訪問,需重新擷取叢集的VPC網段IP,具體操作,請參見擷取叢集的VPC網段IP

    • 指定節點縮容僅支援叢集規格類型為大儲存規格的叢集。

  • 費用:變更集群配置後,費用將會發生變化,具體費用請以控制台為準。更多資訊,請參見變更配置計費說明

垂直升配和垂直降配

  1. 登入雲資料庫ClickHouse控制台

  2. 在頁面左上方,選擇叢集所在地區。

  3. 叢集列表頁面,選擇社區版執行個體列表

  4. 在目標叢集ID操作列,單擊變更配置

  5. 變更配置彈窗中,選擇垂直升配或者垂直降配,單擊確定

  6. 變更配置降配頁面,根據業務需求選擇相應的變更配置。

    說明
    • 儲存空間儲存類型在進行變更配置時,不能與規格同時進行變更配置。

    • 叢集預設提供4核8 GB的ZooKeeper規格。您可以在監控警示頁面的叢集監控面板查看ZooKeeper指標是否存在資源瓶頸,當預設規格不滿足業務需求時請及時升配。

  7. 單擊立即購買,根據提示完成支付。

  8. 支付完成頁面,單擊管理主控台

  9. 社區版執行個體列表狀態列,可查看目的地組群的狀態。

    說明
    • 變更儲存空間後,變更立即生效,叢集狀態為運行中

    • 變更規格ZooKeeper規格後,預計等待10~15分鐘。當叢集狀態由變更配置中轉變為運行中時,垂直升配或垂直降配成功。

水平擴容和水平縮容

  1. 登入雲資料庫ClickHouse控制台

  2. 在頁面左上方,選擇叢集所在地區。

  3. 叢集列表頁面,選擇社區版執行個體列表

  4. 在目標叢集ID操作列,單擊變更配置

  5. 變更配置彈窗中,選擇水平擴容或者水平縮容,單擊確定

  6. 在彈出的擴容或縮容檢測視窗,查看檢測狀態。

    說明

    進入檢測視窗時,水平擴容預設選擇的遷移擴容的方式,如需選擇簡單擴容,需單擊此頁面的上一步,在擴容選擇彈框中,選擇簡單擴容,單擊下一步,進入變更配置頁面。

    • 檢測成功:單擊下一步

    • 檢測失敗:根據頁面提示進行相應修改,修改完成後單擊重試檢測。檢測成功後,單擊下一步

      在水平擴容的過程中,檢測失敗的原因主要有以下幾種。

      • 缺失唯一的分布式表:表示本地表沒有建立分布式表,需要再建立一個對應的分布式表。

      • 對應的分布式表不唯一:表示本地表有不止一個分布式表,請刪除多餘的分布式表,僅保留一個即可。

      • Kafka/RabbitMQ引擎表不支援:表示存在Kafka/RabbitMQ引擎表,請刪除。

      • 多副本執行個體存在非Replicated的*MergeTree表:表示資料在多副本之間不一致,擴縮容在遷移資料期間會出現異常。

      • 分布式表和本地表的列不一致:表示需要您修改分布式表和本地表的列一致,否則擴縮容在遷移資料期間會出現異常。

  7. 變更配置降配頁面,根據您的業務需求,配置節點數量以及停寫時間。

    說明

    叢集擴縮容會發生資料移轉,為了保證遷移的成功率,停寫時間有以下要求:

    • 建議您停寫時間至少設定30分鐘。

    • 擴縮容必須在配置變更建立後的5天內結束,因此,源叢集停寫時間的結束日期必須小於或等於當前日期+5

    • 為了降低擴縮容對您業務的影響,建議您設定的停寫時間範圍處於您的業務低峰時段。

  8. 單擊立即購買,並根據頁面提示完成支付。

  9. 訂購完成頁面,單擊管理主控台

  10. 社區版執行個體列表狀態列,可查看目的地組群的狀態。當叢集狀態由擴縮容中轉變為運行中時,水平擴容或水平縮容成功。

說明

水平擴容或水平縮容預計等待30分鐘以上,等待時間長度和資料量相關,具體任務執行狀態以控制台顯示的叢集狀態為準。