Tair (Redis® OSS-Compatible)：TairSearch效能白皮書

中、英文測試資料樣本如下：

{
    "id":"History_of_Pakistan",
    "title":"History of Pakistan",
    "url":"https://en.wikipedia.org/wiki/History_of_Pakistan",
    "abstract":"The history of Pakistan for the period preceding the country's independence in 1947Pakistan was created as the Dominion of Pakistan on 14 August 1947 after the end of British rule in, and partition of British India. is shared with that of Afghanistan, India."
}

{
    "id":"Wikipedia：哲學",
    "title":"Wikipedia：哲學",
    "url":"https://zh.wikipedia.org/wiki/%E5%93%B2%E5%AD%A6",
    "abstract":"哲學（）是研究普遍的、基本問題的學科，包括存在、知識、價值、理智、心靈、語言等領域。哲學與其他學科不同之處在於哲學有獨特之思考方式，例如批判的方式、通常是系統化的方法，並以理性論證為基礎。"
}

以Linux為例，執行./TairSearchBench.Linux --help可查看壓測工具的使用方法，用法如下：

Usage of ./TairSearchBench.linux:
  -a string
        The address(ip:port) of network to connect 
        # 執行個體串連地址。
  -c int
        Benchmark concurrency (default 30)
        # 並發數，預設為30。
  -d uint
        Specify the number of seconds for the benchmark (default 30)
        # 指定測試時間，到達時間後，測試終止，預設為30s。
  -e string
        The engine backend to run [tairsearch/redisearch]
        # 指定運行引擎為TairSearch或RediSearch。
  -f string
        Input file to ingest data from (wikipedia abstracts)
        # 執行資料檔案路徑。
  -h string
        Print usage (default "help")
        # 顯示使用方法。
  -j string
        Specify the big json file to write
        # 指定要寫入的Json檔案路徑。
  -n uint
        Specify the number of times to benchmark (default 100000)
        # 指定總測試數，預設為100000。
  -o int
        Overwrite the doc (We will write the document with the same document id)
        # 是否覆蓋寫，取值為1（開啟）或0（關閉，預設值）。
  -p string
        The password of redis to connect
        # 執行個體的密碼。
  -q string
        Search query string to benchmark
        # 指定壓測的查詢語句。
  -s uint
        Specify the compress threshold for tairsearch (default 10000000000)
        # 指定TairSearch的文檔壓縮閾值，文檔超過該大小會進行壓縮，單位為位元組，預設為10000000000（10 kb）。
  -t string
        Specify the type of benchmark [write/search/readwrite]
        # 指定測試類型為write、search或readwrite。
  -z string
        Specify the analyzer to use for query (default "standard")
        # 指定查詢的分詞器，預設為standard。

建立Schema（索引），樣本如下。

• TairSearch：

  {
      "settings": {
          "compress_doc": {
              "size": "使用者傳入的壓縮閾值",
              "enable": true
          }
      },
      "mappings": {
          "properties": {
              "id":       {"type": "keyword"},
              "url":      {"type": "keyword", "index": false},
              "title":    {"type": "text", "analyzer": "使用者傳入的analyzer"},
              "abstract": {"type": "text", "analyzer": "使用者傳入的analyzer"},
              "url_len":  {"type": "integer"},
              "abstract_len":  {"type": "integer"},
              "title_len":  {"type": "integer"}
          }
      }
  }

• RediSearch：

  \\ SCHEMA
  $.id AS id TEXT
  $.url AS url TEXT NOINDEX
  $.title AS title TEXT
  $.abstract AS abstract TEXT
  $.abstract_len AS abstract_len NUMERIC
  $.url_len AS url_len NUMERIC
  $.title_len AS title_len NUMERIC
  
  \\ 如果是中文文檔，需要加上"LANGUAGE CHINESE"。

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379 -z jieba

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379 -z chinese

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379 -z jieba

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"term":{"abstract":"hello"}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:hello" -a 127.0.0.1:6379

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"term":{"abstract":"你好"}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:你好" -a 127.0.0.1:6379

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"match":{"abstract":{"operator":"and","query":"chinese history"}}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:chinese history" -a 127.0.0.1:6379

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"match":{"abstract":{"operator":"and","query":"中國的歷史"}}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 100000 -q "@abstract:中國的歷史" -a 127.0.0.1:6379  -analyzer jieba

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"bool":{"must":[{"term":{"abstract":"war"}},{"term":{"abstract":"japanese"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"America"}},"should":[{"term":{"abstract":"chinese"}},{"term":{"abstract":"china"}}]}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 100000 -q "@abstract:(war japanese -America (chinese|china)) @abstract_len:[500 +inf]"  -a 127.0.0.1:6379

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"bool":{"must":[{"term":{"abstract":"戰爭"}},{"term":{"abstract":"日本"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"美國"}},"should":[{"term":{"abstract":"中國"}},{"term":{"abstract":"亞洲"}}]}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:(日本 -美國 (中國|亞洲)) @abstract_len:[500 +inf]"  -a 127.0.0.1:6379 -analyzer jieba

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"range":{"abstract_len":{"lte":420, "gte":400}}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract_len:[400,420]" -a 127.0.0.1:6379

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"prefix":{"abstract":"happiness"}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:happiness*" -a 127.0.0.1:6379

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"prefix":{"abstract":"開心"}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:開心*" -a 127.0.0.1:6379 -z chinese

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q '{"query":{"term":{"abstract":"hello"}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q "@abstract:hello" -a 127.0.0.1:6379

測試結果：

測試命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q '{"query":{"bool":{"must":[{"term":{"abstract":"war"}},{"term":{"abstract":"japanese"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"America"}},"should":[{"term":{"abstract":"chinese"}},{"term":{"abstract":"china"}}]}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q "@abstract:(war japanese -America (chinese|china)) @abstract_len:[500 +inf]" -a 127.0.0.1:6379

測試結果：