Elasticsearch：使用叢集限流外掛程式（aliyun-qos）

關閉限流方式

7.10最新版本

其他版本

將限流參數設定為false

PUT _cluster/settings
{
  "persistent": {
    "apack.qos.limiter.enabled": false
  }
}

PUT _cluster/settings
{
   "persistent" : {
      "apack.qos.ratelimit.enabled":"false"
   }
}

將限流參數設定為null

PUT _cluster/settings
{
  "persistent": {
    "apack.qos.limiter.enabled": null
  }
}

PUT _cluster/settings
{
   "persistent" : {
      "apack.qos.ratelimit.enabled":null
   }
}

參數

說明

可選值

action

限流的action，用於限制不同類型的請求。

• write：doc寫入請求，包含index和create。

• update：doc更新要求。

• delete：doc刪除請求

• search：查詢請求。

• search_shards：查詢索引的shard總數請求。

limiter_type

限流類型。支援三大類：

• 速率

• 並發度

• 單要求節流

• rate：速率，只支援整數。

• qps：查詢速率，只支援整數。

• tps：寫入速率，只支援整數。

• throughput：輸送量，只支援action為write、update和delete。支援的單位包含GB、MB、KB等，最大支援2 GB。

• thread_count：請求並發度，一個請求為一個並發。

• concurrent_count：請求並發度，按照請求中的具體操作計算並發數。例如設定search_shards.concurrent_count:20，表示允許最大20個shard並發查詢。

• max_per_request：單請求中包含的某類操作個數的上限。例如設定update.max_per_request:10，表示一個寫入請求最多有10個update。

• max_size_per_request：單請求個數上限。只支援action為write、update和delete。

threshold

限流閾值。

int範圍內的整數，>=-1。

tagName

tag名稱。

• node：當前節點名。

• is_master：當前節點是否為master，對應的tag值為true或false。

• index：索引名。如果有多個索引名，則為數組。如果傳入的是別名，此處也是解析的實際索引名。僅IndicesRequest的子類請求才有此tag。

• shard：shard名，即index[id]，例如test[0]。僅ReplicationRequest的子類請求才有此tag。

• index_in_url：URL中的index字串，如果傳入的是別名，則此處就是別名。僅IndicesRequest的子類請求才有此tag。

tagValue

tag的值。

字串，可為數組。如果為數組，則對應tag匹配數組中任意一個value即可。支援精確匹配、模糊比對和任意值，例如：

• 精確匹配："abc"

• 模糊比對："ab*"

• 任意值："**"

  說明

  如果為任意值，則為預設限流器。即對這個tag的任意值都會產生一個精確的限流器，例如設定為index:"**",search.tps:1，表示預設情況下，限制每個索引的search速率為1，而不是總search速率為1。

priority

優先順序。

int整數，預設為0。

params

進階參數。

watchMode：是否啟用觀察模式，支援true和false（預設）。如果為true，Elasticsearch只會在metric中記錄拒絕數，但不會實際限流。您可以通過API查看指標監控資訊，用於提前驗證限流效果，避免由於配置錯誤造成錯誤的限流。API的詳細資料，請參見常見問題。

操作

7.10最新版本

其他版本

設定單個索引的查詢QPS限流

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "twitter"
  }
}

PUT _qos/_ratelimit/<limiterName>
{
   "search.index_patterns" : "twitter",
   "search.max_queries_per_sec" : 1000
}

設定指定名稱首碼的索引的查詢QPS限流

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "nginx-log-*"
  }
}

PUT _qos/_ratelimit/<limiterName>
{
   "search.index_patterns" : "nginx-log-*",
   "search.max_queries_per_sec" : 1000
}

設定任意索引的查詢QPS限流

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "**"
  }
}

不支援。

設定所有索引的查詢總QPS限流

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "*"
  }
}

PUT _qos/_ratelimit/<limiterName>
{
   "search.index_patterns" : "*",
   "search.max_queries_per_sec" : 1000
}

操作

7.10最新版本

其他版本

擷取所有限流配置

GET _qos/limiter

GET _qos/_ratelimit

擷取單個指定的限流配置

GET _qos/limiter/<limiterName>

GET _qos/_ratelimit/<limiterName>

擷取多個指定的限流配置

GET _qos/limiter/<limiterName1,limiterName2>

GET _qos/_ratelimit/<limiterName1,limiterName2>

操作

7.10最新版本

其他版本

刪除單個指定的限流配置

DELETE _qos/limiter/<limiterName>

DELETE _qos/_ratelimit/<limiterName>

刪除多個指定的限流配置

DELETE _qos/limiter/<limiterName1,limiterName2>

DELETE _qos/_ratelimit/<limiterName1,limiterName2>