本文介紹Tair磁碟(SSD)型效能測試的測試環境、測試載入器、測試方法與測試結果。
測試環境
測試環境資訊 | 說明 |
地區和可用性區域域 | 所有測試均在華東1(杭州)地區的可用性區域I中完成。 |
Redis執行個體架構 | 標準版(雙副本)架構,詳情請參見標準架構。 |
部署壓測工具的機器 | Elastic Compute Service執行個體,規格為ecs.g6e.13xlarge,規格詳情請參見執行個體規格類型系列。 |
磁碟(SSD)型執行個體規格 |
規格詳情請參見磁碟型執行個體規格。 |
測試主要針對下述兩種情境進行:
記憶體大於資料情境:絕大部分資料可以在記憶體中訪問到,此情境下記憶體與資料的比例約為7:1。
資料大於記憶體情境:只有部分資料緩衝在記憶體,部分訪問請求需要讀取硬碟中的資料,根據負載不同,需要訪問磁碟的比例也不一樣,此情境下記憶體與資料的比例約為1:4。
測試載入器
採用開源社區的YCSB壓測工具進行壓測。YCSB是一款Java編寫的支援多種資料庫的效能測試工具,具體安裝和使用方法請參見YCSB。
本測試中,對YCSB的相關內容做了一定的修改,使其支援匯入long類型的recordcount參數、支援測試Redis的String相關命令,修改後的完整原始碼請參見YCSB源碼。
測試命令
下述指令碼以資料大於記憶體情境為例。
#! /bin/bash
ip=192.168.0.23
port=3100
timeout=30000
command_group=string
recordcount=640000000
run_operationcount=20000000
fieldcount=1
fieldlength=100
threads=32
load_sleep_time=600
run_sleep_time=60
echo "##################################### $command_group ############################################"
#Load
./bin/ycsb load redis -s -P workloads/workloada -p "redis.host=${ip}" -p "redis.port=${port}" -p "recordcount=${recordcount}" -p "operationcount=${recordcount}" -p "redis.timeout=${timeout}" -p "redis.command_group=${command_group}" -p "fieldcount=${fieldcount}" -p "fieldlength=${fieldlength}" -threads ${threads}
sleep ${load_sleep_time}
#Uniform-Read
./bin/ycsb run redis -s -P workloads/workloadc -p "redis.host=${ip}" -p "redis.port=${port}" -p "recordcount=${recordcount}" -p "operationcount=${run_operationcount}" -p "redis.timeout=${timeout}" -p "redis.command_group=${command_group}" -p "fieldcount=${fieldcount}" -p "fieldlength=${fieldlength}" -p "requestdistribution=uniform" -threads ${threads}
sleep ${run_sleep_time}
#Zipfian-Read
./bin/ycsb run redis -s -P workloads/workloadc -p "redis.host=${ip}" -p "redis.port=${port}" -p "recordcount=${recordcount}" -p "operationcount=${run_operationcount}" -p "redis.timeout=${timeout}" -p "redis.command_group=${command_group}" -p "fieldcount=${fieldcount}" -p "fieldlength=${fieldlength}" -p "requestdistribution=zipfian" -threads ${threads}
sleep ${run_sleep_time}
#Uniform-50%Read-50%Update
./bin/ycsb run redis -s -P workloads/workloada -p "redis.host=${ip}" -p "redis.port=${port}" -p "recordcount=${recordcount}" -p "operationcount=${run_operationcount}" -p "redis.timeout=${timeout}" -p "redis.command_group=${command_group}" -p "fieldcount=${fieldcount}" -p "fieldlength=${fieldlength}" -p "requestdistribution=uniform" -threads ${threads}
表 1. 參數說明
參數 | 說明 |
ip | Tair執行個體的IP地址。 |
port | Tair執行個體的服務連接埠。 |
timeout | 測試命令的逾時時間,單位為ms。 |
command_group | 測試類型,配置為String。 |
recordcount | 資料載入階段準備的資料量。 |
run_operationcount | Run階段操作的資料量。本測試中:
|
fieldcount | 欄位個數,配置為1。 |
fieldlength | 值長度,配置為100。 |
threads | YCSB線程數,根據執行個體規格配置。 |
測試結果
測試單位 | 說明 |
QPS | 每秒處理的讀寫運算元,單位為次/秒。 |
Average Latency | 讀或寫操作的平均延遲,單位為微秒(us)。 |
99th Percentile Latency | 處理速度最快的99%的操作中,最長的延遲時間,單位為微秒。例如該指標的值為500微秒,表示99%的請求可以在500微秒內被處理。 |
記憶體大於資料情境
執行個體規格 | YCSB配置 | 工作負載 | QPS(次/秒) | Average Latency(微秒) | 99th Percentile Latency(微秒) |
tair.localssd.c1m4.2xlarge | recordcount=40000000 run_operationcount=40000000 threads=64 | Load | 59830 | 1066 | 2761 |
Uniform-Read | 158221 | 389 | 891 | ||
Zipfian-Read | 164233 | 379 | 873 | ||
Uniform-50%Read-50%Update | 78099 | READ:651 | READ:2012 | ||
UPDATE:974 | UPDATE:2731 | ||||
tair.localssd.c1m4.4xlarge | recordcount=80000000 run_operationcount=80000000 threads=128 | Load | 91991 | 1388 | 3077 |
Uniform-Read | 302940 | 414 | 921 | ||
Zipfian-Read | 305639 | 410 | 899 | ||
Uniform-50%Read-50%Update | 124929 | READ:798 | READ:2231 | ||
UPDATE:1234 | UPDATE:3013 | ||||
tair.localssd.c1m4.8xlarge | recordcount=160000000 run_operationcount=160000000 threads=256 | Load | 132865 | 1924 | 3323 |
Uniform-Read | 489287 | 513 | 1313 | ||
Zipfian-Read | 501847 | 499 | 1272 | ||
Uniform-50%Read-50%Update | 187390 | READ:1069 | READ:2749 | ||
UPDATE:1644 | UPDATE:3613 |
資料大於記憶體情境
執行個體規格 | YCSB配置 | 工作負載 | QPS(次/秒) | Average Latency(微秒) | 99th Percentile Latency(微秒) |
tair.localssd.c1m4.2xlarge | recordcount=1280000000 run_operationcount=1280000000 threads=64 | Load | 50396 | 1258 | 4463 |
Uniform-Read | 74611 | 842 | 1745 | ||
Zipfian-Read | 106366 | 588 | 1406 | ||
Uniform-50%Read-50%Update | 47833 | READ:1232 | READ:4049 | ||
WRITE:1402 | WRITE:4583 | ||||
tair.localssd.c1m4.4xlarge | recordcount=2560000000 run_operationcount=2560000000 threads=128 | Load | 81097 | 1573 | 4119 |
Uniform-Read | 118141 | 1071 | 3085 | ||
Zipfian-Read | 194704 | 634 | 1595 | ||
Uniform-50%Read-50%Update | 75625 | READ:1562 | READ:4999 | ||
UPDATE:1795 | UPDATE:5419 | ||||
tair.localssd.c1m4.8xlarge | recordcount=5120000000 run_operationcount=5120000000 threads=256 | Load | 115660 | 2210 | 5235 |
Uniform-Read | 202365 | 1252 | 3985 | ||
Zipfian-Read | 309019 | 804 | 2551 | ||
Uniform-50%Read-50%Update | 122318 | READ:1861 | READ:5603 | ||
UPDATE:2307 | UPDATE:6415 |