配置工作負載管理規則 - AnalyticDB

AnalyticDB for MySQL在資料庫系統中提供了工作負載管理模組，您可以使用Workload Manager命令配置工作負載管理規則，並通過多個規則對不同負載進行精細化控制，提高叢集的整體運行狀態。本文介紹如何配置工作負載管理規則。

前提條件

AnalyticDB for MySQL叢集需要同時滿足以下條件：

叢集系列需為數倉版。
叢集的核心版本需為3.1.6.3及以上版本。
說明
如何查看和升級叢集核心版本，請參見查看和升級版本。

注意事項

僅3.1.10.0及以上核心版本的叢集支援使用WLM命令修改規則。
AnalyticDB for MySQL對規則採用虛刪除策略，要求規則名稱唯一，所以重建的新規則不能與已刪除規則使用相同的規則名稱。

建立規則

文法

wlm add_rule
name=<ruleName>
type=query      
action=<ruleAtion>    
predicate='<property><operator><value> && <property><operator><value>'
[attrs='<ruleAttrs>']
[resource_group=<ruleResource_group>]
[description='<ruleDescription>']
[compatible_group=<compatible_group_name>]
[enabled=<ruleEnabled>]
[priority=<rulePriority>]

說明

等號兩側不允許有空格。

參數說明

參數名稱	是否必填	參數說明
name	是	規則名稱。說明規則名稱要求唯一，建立規則不能與已刪除規則使用相同的規則名稱。
type	是	規則類型，固定為query。
action	是	工作負載管理提供的控制手段，滿足匹配條件後，會觸發操作。控制手段的詳細說明，請參見控制手段。
predicate	是	謂詞條件。 predicate文法：不同匹配條件之間是“與”關係，用&&串連。單匹配條件式格式設定：$屬性 $運算子 $數值支援的運算子：>、<、>=、<=、=、!=、in等。說明屬性和運算子的詳細說明，請參見屬性和運算子。運算子in兩側必須有空格，否則無法區分；其他運算子不需要空格。填寫該參數時，兩側需要使用單引號。
attrs	否	當action為RESUBMIT_RESOURCE_GROUP、ADD_PROPERTIES或BLOCK_WITH_PROB時attrs為必填項。如何填寫attrs，請參見控制手段的配置方法。說明填寫該參數時，兩側需要使用單引號。
resource_group	否	資源群組名稱，預設為user_default。說明您可以登入雲原生資料倉儲AnalyticDB MySQL控制台，單擊目的地組群ID，在資源群組管理頁面查看叢集的資源群組。
description	否	描述資訊。說明填寫該參數時，兩側需要使用單引號。
compatible_group	否	相容組。預設情況下，匹配規則的方式是從規則的優先順序由高到低依次匹配規則，匹配到一條就直接結束。也可以將同時匹配多條規則的需求設定為同一個相容組。在規則匹配時，優先匹配優先順序最高的規則，如果已匹配的規則存在相容組，相容組中剩餘規則如有能同時匹配的，則同時匹配。
enabled	否	是否啟用規則，取值說明： true（預設）：啟用。 false：不啟用。
priority	否	啟用優先順序高的規則，預設為0。每次匹配規則，只會匹配一條優先順序最高的規則，優先順序相同時，則根據建立時間越早的規則先進行匹配。

樣本

樣本1：建立一條規則名稱為testRule1的規則，當使用者名稱為test且Pattern歷史執行時間50分位值大於60000 ms時結束查詢。

wlm add_rule 
name=testRule1
type=query 
action=kill 
predicate='user=test && PATTERN_RT_P50>60000';

返回結果如下：

+---------------------------------+
| result                          |
+---------------------------------+
| insert rule 'testRule1' success |
+---------------------------------+

樣本2：建立一條規則名稱為testRule2的規則，將使用者名稱為test且使用者IP在（10.10.10.10，192.168.0.1，192.0.2.1）中的查詢，增加query_priority=low的Hint，將查詢優先順序設定為low。

wlm add_rule 
name=testRule2 
type=query 
action=ADD_PROPERTIES 
attrs='{"add_prop":{"query_priority":"low"}}' 
predicate='user=test && source_ip in 10.10.10.10,192.168.0.1,192.0.2.1';

返回結果如下：

+---------------------------------+
| result                          |
+---------------------------------+
| insert rule 'testRule2' success |
+---------------------------------+

樣本3：為testResourceGroup資源群組建立一條規則名稱為testRule3的規則，優先順序為5，將使用者名稱為test且類型為select的所有查詢全部結束。

wlm add_rule
name=testRule3
type=query
resource_group=testResourceGroup
description='just a test'
priority=5
action=kill
predicate='user=test && query_task_type=1';

返回結果如下：

+---------------------------------+
| result                          |
+---------------------------------+
| insert rule 'testRule3' success |
+---------------------------------+

修改規則

重要

僅3.1.10.0及以上核心版本的叢集支援使用WLM命令修改規則。

如何查看叢集核心版本，請參見如何查看執行個體版本資訊。如需升級核心版本，請聯絡支援人員。

文法

wlm update_rule
id=<ruleId>
name=<ruleName>
type=query 
action=<ruleAtion> 
predicate='<property><operator><value> && <property><operator><value>'
[attrs='<ruleAttrs>']
[resource_group=<ruleResource_group>]
[description='<ruleDescription>']
[compatible_group=<compatible_group_name>]
[enabled=<ruleEnabled>]
[priority=<rulePriority>]

說明

等號兩側不允許有空格。

參數說明

參數名稱	是否必填	參數說明
id	否	規則ID。規則ID是唯一的，用於匹配相應規則，且不支援修改。說明您可以通過`wlm list_rule`語句查詢規則ID。詳情請參見查詢規則。
name	否	規則名稱。修改規則名稱時，需要使用規則ID匹配相應規則。說明修改後的規則不能與已建立的規則使用相同的規則名稱，否則會覆蓋已建立的同名規則。
type	否	規則類型，固定為query。
action	否	工作負載管理提供的控制手段，滿足匹配條件後，會觸發操作。控制手段的詳細說明，請參見控制手段。
predicate	否	謂詞條件。 predicate文法：不同匹配條件之間是“與”關係，用&&串連。單匹配條件式格式設定：$屬性 $運算子 $數值支援的運算子：>、<、>=、<=、=、!=、in等。說明屬性和運算子的詳細說明，請參見屬性和運算子。運算子in兩側必須有空格，否則無法區分；其他運算子不需要空格。填寫該參數時，兩側需要使用單引號。
attrs	否	當action為RESUBMIT_RESOURCE_GROUP、ADD_PROPERTIES或BLOCK_WITH_PROB時attrs為必填項。如何填寫attrs，請參見控制手段的配置方法。填寫該參數時，兩側需要使用單引號。
resource_group	否	資源群組名稱，預設為user_default。說明您可以登入雲原生資料倉儲AnalyticDB MySQL控制台，單擊目的地組群ID，在資源群組管理頁面查看叢集的資源群組。
description	否	描述資訊。說明填寫該參數時，兩側需要使用單引號。
compatible_group	否	相容組。預設情況下，匹配規則的方式是從規則的優先順序由高到低依次匹配規則，匹配到一條就直接結束。也可以將同時匹配多條規則的需求設定為同一個相容組。在規則匹配時，優先匹配優先順序最高的規則，如果已匹配的規則存在相容組，相容組中剩餘規則如有能同時匹配的，則同時匹配。
enabled	否	是否啟用規則，取值說明： true（預設）：啟用。 false：不啟用。
priority	否	啟用優先順序高的規則，預設為0。每次匹配規則，只會匹配一條優先順序最高的規則，優先順序相同時，則根據建立時間越早的規則先進行匹配。

樣本

樣本1：將規則ID為2的規則名稱修改為Rule。

wlm update_rule 
id=2
name=Rule;

返回結果如下：

+-----------------+
| result          |
+-----------------+
| update rule 2   |
+-----------------+

樣本2：將testRule1規則的條件修改為當使用者名稱為test且Pattern歷史執行時間50分位值大於80000 ms時結束查詢。

wlm update_rule
name=testRule1
predicate='user=test && PATTERN_RT_P50>80000';

或使用testRule1規則所對應的規則ID修改：

wlm update_rule 
id=1
predicate='user=test && PATTERN_RT_P50>80000';

返回結果如下：

+-----------------+
| result          |
+-----------------+
| update rule 1   |
+-----------------+

樣本3：將滿足testRule1規則的查詢投遞至testgroup資源群組繼續執行。
修改前，testRule1規則為kill掉滿足條件的查詢：
```
wlm add_rule 
name=testRule1
type=query 
action=kill 
predicate='user=test && PATTERN_RT_P50>60000';
```
修改testRule1規則，把當前資源群組的查詢都投遞到testgroup資源群組執行：
```
wlm update_rule
name=testRule1
action=RESUBMIT_RESOURCE_GROUP
attrs='{
    "resubmit":{
    "resource_group": "testgroup"
    }
}'
```
說明
如何填寫attrs，請參見控制手段的配置方法。
返回結果如下：
```
+-----------------+
| result          |
+-----------------+
| update rule 1   |
+-----------------+
```

查詢規則

文法

wlm list_rule
[id=<ruleID>]
[name='<ruleName>'\G]

參數說明

參數名稱	是否必填	參數說明
id	否	規則ID。說明不填寫ID和name將查詢所有未被刪除的規則，包括規則ID。
name	否	規則名稱。說明填寫該參數時，兩側需要使用單引號。不填寫ID和name將查詢所有未被刪除的規則，包括規則名稱。
\G	否	將查詢結果按列列印，將每個欄位列印到單獨的行。

樣本

樣本1：查詢規則ID為testID1的規則。

wlm list_rule 
id=1 \G;

返回結果如下：

            id: 1
            name: testRule4
     description: NULL
            type: QUERY
  resource_group: user_default
         enabled: 1
        priority: 0
         version: 1
      life_cycle: BEFORE_QUEUEING
compatible_group:
     valid_begin: null
       valid_end: null
         creator: kepler
     update_user: kepler
     create_time: 2022-09-16 14:00:18
     update_time: 2022-09-16 14:00:18
       predicate: [{"property":"${session.user}","value":"test","operator":"equal"},{"property":"${session.source_ip}","value":"1,2,3","operator":"in"}]
          action: ADD_PROPERTIES
           attrs: {"add_prop":{"query_priority":"low"}}
1 row in set (0.11 sec)

樣本2：查詢規則ID為testID1，規則名稱為testRule4的規則。

mysql> wlm list_rule 
id=1 
name='testRule4' \G;

返回結果如下：

            id: 1
            name: testRule4
     description: NULL
            type: QUERY
  resource_group: user_default
         enabled: 1
        priority: 0
         version: 1
      life_cycle: BEFORE_QUEUEING
compatible_group:
     valid_begin: null
       valid_end: null
         creator: kepler
     update_user: kepler
     create_time: 2022-09-16 14:00:18
     update_time: 2022-09-16 14:00:18
       predicate: [{"property":"${session.user}","value":"test","operator":"equal"},{"property":"${session.source_ip}","value":"1,2,3","operator":"in"}]
          action: ADD_PROPERTIES
           attrs: {"add_prop":{"query_priority":"low"}}
1 row in set (0.09 sec)

屏蔽規則

文法

wlm disable_rule id=<ruleID>

參數說明

參數名稱	是否必填	參數說明
id	是	規則ID。說明您可以執行`wlm list_rule`命令，查詢規則ID。詳細資料，請參見查詢規則。

樣本

樣本1：屏蔽ID為testID1的規則。

wlm disable_rule id=1;

返回結果如下：

+------------------+
| result           |
+------------------+
| disable rule 1   |
+------------------+

樣本2：查詢ID為testID1的規則。

wlm list_rule id=1\G;

返回結果如下：

            id: 1
            name: testRule4
     description: NULL
            type: QUERY
  resource_group: user_default
         enabled: 0
        priority: 0
         version: 1
      life_cycle: BEFORE_QUEUEING
compatible_group:
     valid_begin: null
       valid_end: null
         creator: kepler
     update_user: kepler
     create_time: 2022-09-16 14:00:18
     update_time: 2022-09-16 14:00:18
       predicate: [{"property":"${session.user}","value":"test","operator":"equal"},{"property":"${session.source_ip}","value":"1,2,3","operator":"in"}]
          action: ADD_PROPERTIES
           attrs: {"add_prop":{"query_priority":"low"}}

啟用規則

文法

wlm enable_rule id=<ruleID>

參數說明

參數名稱	是否必填	參數說明
id	是	規則ID。說明您可以執行`wlm list_rule`命令，查詢規則ID。詳細資料，請參見查詢規則。

樣本

樣本1：啟用ID為testID1的規則。

wlm enable_rule id=1;

返回結果如下：

+----------------+
| result         |
+----------------+
| enable rule 1  |
+----------------+

樣本2：查詢ID為testID1的規則。

wlm list_rule id=1\G;

返回結果如下：

            id: 1
            name: testRule4
     description: NULL
            type: QUERY
  resource_group: user_default
         enabled: 1
        priority: 0
         version: 1
      life_cycle: BEFORE_QUEUEING
compatible_group:
     valid_begin: null
       valid_end: null
         creator: kepler
     update_user: kepler
     create_time: 2022-09-16 14:00:18
     update_time: 2022-09-16 14:00:18
       predicate: [{"property":"${session.user}","value":"test","operator":"equal"},{"property":"${session.source_ip}","value":"1,2,3","operator":"in"}]
          action: ADD_PROPERTIES
           attrs: {"add_prop":{"query_priority":"low"}}

刪除規則

文法

wlm delete_rule id=<ruleID>

參數說明

參數名稱	是否必填	參數說明
id	是	規則ID。說明您可以執行`wlm list_rule`命令，查詢規則ID。詳細資料，請參見查詢規則。

樣本

樣本1：刪除ID為testID1的規則。

wlm delete_rule id=1;

返回結果如下：

+----------------+
| result         |
+----------------+
| delete rule 1  |
+----------------+

樣本2：查詢ID為testID1的規則。
```
wlm list_rule id=1\G;
```
返回結果如下：
```
Empty set
```

計算pattern_hash

文法

wlm calc_pattern_hash <SQL>

參數說明

參數說明	是否必填	說明
SQL	是	SELECT語句或帶有SELECT的寫入語句。

樣本

計算查詢語句的pattern_hash。

wlm calc_pattern_hash select * from t where a=1 and b=2;

返回結果如下：

+-----------------------------------+----------------------+
| raw_sql                           | pattern_hash         |
+-----------------------------------+----------------------+
| select * from t where a=1 and b=2 | -4759960226441980963 |
+-----------------------------------+----------------------+

列印WLM協助資訊

不帶任何參數執行wlm命令即會列印協助資訊。

wlm;

返回結果如下：

+---------------------------+-------------------------------------+
| command                   | description                         |
+---------------------------+-------------------------------------+
| calc_pattern_hash         | calculate pattern_hash of query     |
| add_rule                  | add a new rule                      |
| list_rule id=[x]|name=[x] | list all rules OR filter by id/name |
| disable_rule id=[x]       | disable a rule by id                |
| enable_rule id=[x]        | enable a rule by id                 |
| delete_rule id=[x]        | delete a rule by id                 |
| update_rule id=[x]        | update a rule by id                 |
+---------------------------+-------------------------------------+

附錄

附錄1：屬性

類別	欄位	資料類型	說明
查詢屬性	user	字串	發送查詢的使用者。
	source_ip	字串	發送查詢的IP。
	query_task_type	數值	查詢的類型，取值說明： 1：SELECT 2：DELETE 3：UPDATE 4：INSERT INTO SELECT/INSERT OVERWRITE SELECT/REPLACE INTO SELECT 5：CREATE VIEW
	query_table_list	字串列表	查詢掃描到的表。
	query_db_list	字串列表	查詢掃描到的資料庫。
	pattern_hash	數值	查詢Pattern的Hash值，用於確定同類Pattern的查詢。
	sql	字串	查詢原始的SQL語句。重要僅3.1.8.3及以上核心版本的叢集支援該屬性。
查詢運行時指標說明查詢運行時指標用於在查詢進入隊列後，對查詢進行控制。	QUERY_PROCESS_TIME	數值	查詢過程中所有Task的耗時總和，可以粗略地衡量一個查詢的計算量。單位：ms。
	QUERY_EXECUTION_TIME	數值	查詢執行耗時（不含排隊耗時）。單位：ms。
	QUERY_SUBMITTED_TIME	數值	建立查詢的時間戳記。
	QUERY_TOTAL_TASK	數值	查詢物理執行計畫Task總數。
	QUERY_INPUT_DATA_SIZE	數值	查詢的讀取資料量。單位：MB。
	QUERY_SHUFFLE_DATA_SIZE	數值	查詢的Shuffle資料量。單位：MB。
	QUERY_OUTPUT_DATA_SIZE	數值	查詢的輸出資料量。單位：MB。
	QUERY_PEAK_MEMORY	數值	查詢的Peak Memory，單位：MB。
	QUERY_TOTAL_STAGES	數值	查詢執行計畫的Stages總數。
查詢Pattern屬性說明查詢Pattern屬性可以反映查詢歷史的執行情況。	PATTERN_RT_P50	數值	同Pattern查詢歷史執行時間50分位值。單位：ms。
	PATTERN_RT_P90	數值	同Pattern查詢歷史執行時間90分位值。單位：ms。
	PATTERN_EXECUTION_TIME_P50	數值	同Pattern查詢歷史執行時間（去除排隊）50分位值。單位：ms。
	PATTERN_EXECUTION_TIME_P90	數值	同Pattern查詢歷史執行時間（去除排隊）90分位值。單位：ms。
	PATTERN_WALL_TIME_P50	數值	同Pattern查詢歷史Wall Time50分位值。單位：ms。
	PATTERN_WALL_TIME_P90	數值	同Pattern查詢歷史Wall Time90分位值。單位：ms。
	PATTERN_SHUFFLE_SIZE_AVG	數值	同Pattern查詢歷史Shuffle資料平均值。單位：單位：Byte。
	PATTERN_PEAK_MEMORY_AVG	數值	同Pattern查詢歷史Peak Memory平均值。單位：Byte。
	PATTERN_INPUT_POSITION_AVG	數值	同Pattern查詢歷史輸入記錄數平均值。單位：行。
	PATTERN_OUTPUT_POSITION_AVG	數值	同Pattern查詢歷史輸出記錄數平均值。單位：行。

附錄2：運算子

運算子	適用的資料類型	說明
>	數值	無
<	數值	無
=	數值、字串	無
>=	數值	無
<=	數值	無
!=	數值、字串	無
in	字串列表	字串列表是否存在交集。
contains	字串	字串中是否包含某些特定字串，主要用於查詢原始的SQL語句。重要僅3.1.8.3及以上核心版本的叢集支援該運算子。

附錄3：控制手段

控制手段	說明	attrs配置方法
KILL	結束查詢。	無
RESUBMIT_RESOURCE_GROUP	停止當前資源群組內滿足條件查詢，並提交到另一個資源群組執行。	{ "resubmit": {"resource_group":"<resource_group_name>"}} resource_group_name：資源群組名稱。說明您可以登入雲原生資料倉儲AnalyticDB MySQL控制台，單擊目的地組群ID，在資源群組管理頁面查看叢集的資源群組。
ADD_PROPERTIES	修改查詢的屬性。通常用於修改查詢優先順序，也可以修改Hint配置的其他查詢屬性。	{ "add_prop": {"query_priority": "<Priority level>", "force":"false"}} Priority level：查詢優先順序。取值為整數或字串，說明如下：取值為整數時，範圍為0～39。數值越大優先順序越高。取值為字串時，說明如下： LOWEST：優先順序最低。對應的整數取值為5。 LOW：優先順序較低。對應的整數取值為15。 NORMAL：優先順序普通。對應的整數取值為25。 HIGH：優先順序最高。對應的整數取值為35。詳細資料，請參見優先順序隊列與並發控制。 force：是否強制覆蓋已設定的查詢屬性。 true（預設值）：覆蓋。 false：不覆蓋。說明 3.1.9.4以下核心版本的叢集不支援force屬性，預設不覆蓋已配置的查詢屬性。如何查看叢集核心版本，請參見查看執行個體版本資訊。
BLOCK_WITH_PROB	以一定機率在查詢入隊前結束查詢。通常用於限流。	{ "block_prob": {"prob":<prob_value>}} prob_value：結束查詢的機率，取值範圍為0~1。