阿里雲資料庫HBase支援自由組合Master和Core節點規格,數量和盤的種類。您可以根據業務特徵(如QPS、儲存量、讀寫請求、相應延遲、穩定性等)自由搭配。
選型主要包括以下幾個方面:
Master機器的規格。
Core節點的規格和數量。
盤的大小和種類。
HBase版本。參見HBase版本選擇。
ECS版本:獨享規格。獨享規格是完全沒有資源爭搶的規格,資源保障穩定,延遲敏感的業務請務必使用獨佔且選擇SSD雲端硬碟。
Master選擇
Master節點不帶儲存,預設是主備保障單點容災。Master節點上會部署HBase的Master,HDFS的Namenode和Zookeeper等,是叢集中重要節點。如果master的CPU不夠或者記憶體不夠,會嚴重製約HBase的效能。
core的規模 | master選擇 |
< 4台 | 4核/8 GB |
4 <= core數 < 8 | 8核/16 GB (小規模叢集推薦Master規格) |
8 <= core數 <16 | 8核/32 GB |
大於16台 | 16核/64 GB或者以上 |
Master的規格不僅受到Core節點數量的影響,還和叢集上表的數量和地區的數量有關,如果叢集的表數量或者地區數量非常多,Master節點也需要適當選擇高規格。
Core選擇
Core節點指HBase的RegionServer,您可根據業務請求量來選擇合適的Core節點規格。Core節點支援的範圍為:4核/8 G 至 32核/128 G。
為了達到最佳效能,通常我們以元資訊能夠全部放入緩衝作為高效能的重要依據。針對不同的執行個體,如下給出的節點選擇樣本供參考:
小執行個體:推薦使用4核16 GB或8核32 GB。
中大執行個體:根據記憶體與資料量的比例,來選擇Core節點。
儲存量大:推薦使用16核64 GB或32核128 GB。
儲存量小:推薦使用16核32 GB或32核64 GB。
請求量的多少並不是Core節點選擇的唯一標準,進行節點選擇時,需要綜合多方面考慮。例如:某個業務的請求量為每秒數百,根據請求量判斷,選擇4核8 GB的節點即可。但如果該業務中,若假設存在以下幾種情況,選擇4核8 GB的Core節點可能會導致業務不穩定和延遲上漲。
使用者請求的一行資料非常大,存在幾KB,甚至數MB。
Scan請求中存在複雜的Filter。
請求的Cache命中率很低,每個請求都會請求磁碟。
叢集上表和region非常多。
若需要輔助容量評估,請在DingTalk上聯絡雲HBase答疑
DingTalk號或者發起工單諮詢。
下表給出一些簡單的建議,但是評估Core節點的規格需要綜合多方面考慮。
TPS+QPS | Core的個數及選擇 | 建議 |
小於1000 | 2台 4核16 GB | 推薦的最低規格,適合低負載訪問。每台Core節點上的region不宜超過600個。 雲HBase中能買到的最低Core節點為4核8 GB,但不推薦4核8 GB規格,8 GB的記憶體過小,在面對高峰和大KV時容易出現OOM等不穩定現象。 |
1000 ~ 2W | 2~3台 8核32 GB | 8核32 GB是我們推薦的適合中低負載的規格,價格相比8核16 GB貴的不多,但記憶體翻倍,穩定性更好。 |
2W以上 | 8核32 GB,16核32 GB,16核64 GB,32核64 GB,32核128 GB, 或者以上 | 按照實際請求量選擇Core節點的數量,如果是線上型業務,適當選擇大記憶體機型來增加Cache命中率來提高效能。如果有MR/Spark等離線大負載任務要運行或者TPS/QPS非常高,需要適當選擇大核機器。 |
選擇高配置機器還是更多Core節點?
HBase支援水平無限擴充,當出現負載過高,延遲變高,不穩定,可以通過水平增加Core節點解決。但是由於業務設計的問題或者使用問題,很可能出現單機熱點,因此Core節點的規格決定了單機抗熱點的能力。因此把Core節點的規格選擇的特別低,只通過水平擴充Core節點的方式,在面對風險時的穩定性會沒有高配機型來得強。如果有瞬時的大請求打過來,或者偶發的熱點流量(在一個地區),低配的機器可能會出現負載過高或者OOM影響整體的穩定性。
因此,我們建議Core節點的規格要根據業務事先做好評估,選擇合適規格的Core節點。
如果事先選擇的Core節點或者Master節點規格無法滿足要求,我們還將提供原地升配的功能,將Core/Master的配置升級到合適規格,詳情請DingTalk上聯絡雲HBase答疑
(DingTalk號:s0s3eg3)或者發起工單諮詢。
儲存介質
儲存介質分為3個大類,雲端硬碟,本地碟和冷儲存。
雲端硬碟: 雲端硬碟的特點是靈活和高可靠。雲端硬碟本身有副本冗餘,完全屏蔽了硬體細節,不會因為壞盤等原因遺失資料。並且可以自由擴容,是業務的首選儲存介質。雲端硬碟分為SSD雲端硬碟和高效雲端硬碟。
本地碟: 本地碟即真實的物理盤,特點是價格比雲端硬碟便宜,但是本地碟大小與機型強綁定,不能對單塊磁碟擴容,只能通過增加Core節點來增加儲存容量,而且本地碟機型ECS也不支援升配,靈活性沒有雲端硬碟強。同時,本地碟如果出現壞盤會對使用者產生影響(單塊壞盤不會出現丟資料,出現壞盤後,雲HBase團隊會第一時間處理更換)。本地碟購買的起步較高,適合儲存容量大的大客戶。
冷儲存:阿里雲HBase特有儲存,基於OSS實現,冷儲存可以搭配雲端硬碟使用,使用者可以將不常用資料存放區到冷儲存或者使用冷熱分離功能自動實現冷資料歸檔來降低成本。
在選定了儲存介質後,叢集的儲存介質不可以再更改,其中雲端硬碟可以通過擴容或者增加Core節點來增加容量,但本地碟只能通過增加Core節點擴容。例外的是冷儲存,冷儲存功能不一定需要在開通HBase叢集時購買,可以在之後的使用過程中隨時開通和擴容。
冷熱程度 | 介質類型 | 業務類型 |
高效能 | SSD雲端硬碟/本地SSD盤/ESSD雲端硬碟 | 適合對延遲要求高的線上業務,如廣告、推薦、Feed流、人物畫像等業務,SSD/ESSD盤的延遲低,通常在1~2ms左右,最重要的是毛刺率低。對P99延遲(99%請求的最大延遲)在意的使用者首選。 |
高效能 | 高效雲端硬碟/本地HDD盤 | 適合對延遲要求一般的線上業務,HDD盤的延遲通常在10ms量級,但毛刺率要比SSD盤要大。 |
冷資料 | OSS(冷儲存) | 准線上業務,或者歸檔業務。冷儲存配合雲端硬碟/本地碟寫吞吐基本與雲端硬碟/本地碟一致。但讀冷儲存QPS有限制,讀延遲通常在數十毫秒量級。 |