AnalyticDB for MySQL在資料庫系統中提供了工作負載管理模組,您可以使用Workload Manager命令配置工作負載管理規則,並通過多個規則對不同負載進行精細化控制,提高叢集的整體運行狀態。本文介紹如何使用Workload Manager命令建立、修改、啟用、屏蔽和刪除工作負載管理規則。
前提條件
AnalyticDB for MySQL叢集需要同時滿足以下條件:
叢集系列需為基礎版或數倉版。
叢集的核心版本需為3.1.6.3及以上版本。
說明如何查看叢集核心版本,請參見如何查看執行個體版本資訊。如需升級核心版本,請聯絡支援人員。
注意事項
僅3.1.10.0及以上核心版本的叢集支援使用WLM命令修改規則。
AnalyticDB for MySQL對規則採用虛刪除策略,要求規則名稱唯一,所以重建的新規則不能與已刪除規則使用相同的規則名稱。
建立規則
文法
wlm add_rule
name=<ruleName>
type=query
action=<ruleAtion>
predicate='<property><operator><value> && <property><operator><value>'
[attrs='<ruleAttrs>']
[resource_group=<ruleResource_group>]
[description='<ruleDescription>']
[compatible_group=<compatible_group_name>]
[enabled=<ruleEnabled>]
[priority=<rulePriority>]
等號兩側不允許有空格。
參數說明
參數名稱 | 是否必填 | 參數說明 |
name | 是 | 規則名稱。 說明 規則名稱要求唯一,建立規則不能與已刪除規則使用相同的規則名稱。 |
type | 是 | 規則類型,固定為query。 |
action | 是 | 工作負載管理提供的控制手段,滿足匹配條件後,會觸發操作。 控制手段的詳細說明,請參見控制手段。 |
predicate | 是 | 謂詞條件。 predicate文法:
|
attrs | 否 | 當action為RESUBMIT_RESOURCE_GROUP、ADD_PROPERTIES或BLOCK_WITH_PROB時attrs為必填項。 如何填寫attrs,請參見控制手段的配置方法。 說明 填寫該參數時,兩側需要使用單引號。 |
resource_group | 否 | 資源群組名稱,預設為user_default。 說明 您可以登入雲原生資料倉儲AnalyticDB MySQL控制台,單擊目的地組群ID,在資源群組管理頁面查看叢集的資源群組。 |
description | 否 | 描述資訊。 說明 填寫該參數時,兩側需要使用單引號。 |
compatible_group | 否 | 相容組。 預設情況下,匹配規則的方式是從規則的優先順序由高到低依次匹配規則,匹配到一條就直接結束。也可以將同時匹配多條規則的需求設定為同一個相容組。在規則匹配時,優先匹配優先順序最高的規則,如果已匹配的規則存在相容組,相容組中剩餘規則如有能同時匹配的,則同時匹配。 |
enabled | 否 | 是否啟用規則,取值說明:
|
priority | 否 | 啟用優先順序高的規則,預設為0。 每次匹配規則,只會匹配一條優先順序最高的規則,優先順序相同時,則根據建立時間越早的規則先進行匹配。 |
樣本
樣本1:建立一條規則名稱為testRule1的規則,當使用者名稱為test且Pattern歷史執行時間50分位值大於60000 ms時結束查詢。
wlm add_rule name=testRule1 type=query action=kill predicate='user=test && PATTERN_RT_P50>60000';
返回結果如下:
+---------------------------------+ | result | +---------------------------------+ | insert rule 'testRule1' success | +---------------------------------+
樣本2:建立一條規則名稱為testRule2的規則,將使用者名稱為test且使用者IP在(10.10.10.10,192.168.0.1,192.0.2.1)中的查詢,增加
query_priority=low
的Hint,將查詢優先順序設定為low。wlm add_rule name=testRule2 type=query action=ADD_PROPERTIES attrs='{"add_prop":{"query_priority":"low"}}' predicate='user=test && source_ip in 10.10.10.10,192.168.0.1,192.0.2.1';
返回結果如下:
+---------------------------------+ | result | +---------------------------------+ | insert rule 'testRule2' success | +---------------------------------+
樣本3:為testResourceGroup資源群組建立一條規則名稱為testRule3的規則,優先順序為5,將使用者名稱為test且類型為select的所有查詢全部結束。
wlm add_rule name=testRule3 type=query resource_group=testResourceGroup description='just a test' priority=5 action=kill predicate='user=test && query_task_type=1';
返回結果如下:
+---------------------------------+ | result | +---------------------------------+ | insert rule 'testRule3' success | +---------------------------------+
修改規則
僅3.1.10.0及以上核心版本的叢集支援使用WLM命令修改規則。
如何查看叢集核心版本,請參見如何查看執行個體版本資訊。如需升級核心版本,請聯絡支援人員。
文法
wlm update_rule
id=<ruleId>
name=<ruleName>
type=query
action=<ruleAtion>
predicate='<property><operator><value> && <property><operator><value>'
[attrs='<ruleAttrs>']
[resource_group=<ruleResource_group>]
[description='<ruleDescription>']
[compatible_group=<compatible_group_name>]
[enabled=<ruleEnabled>]
[priority=<rulePriority>]
等號兩側不允許有空格。
參數說明
參數名稱 | 是否必填 | 參數說明 |
id | 否 | 規則ID。規則ID是唯一的,用於匹配相應規則,且不支援修改。 說明 您可以通過 |
name | 否 | 規則名稱。修改規則名稱時,需要使用規則ID匹配相應規則。 說明 修改後的規則不能與已建立的規則使用相同的規則名稱,否則會覆蓋已建立的同名規則。 |
type | 否 | 規則類型,固定為query。 |
action | 否 | 工作負載管理提供的控制手段,滿足匹配條件後,會觸發操作。 控制手段的詳細說明,請參見控制手段。 |
predicate | 否 | 謂詞條件。 predicate文法:
|
attrs | 否 | 當action為RESUBMIT_RESOURCE_GROUP、ADD_PROPERTIES或BLOCK_WITH_PROB時attrs為必填項。 如何填寫attrs,請參見控制手段的配置方法。 填寫該參數時,兩側需要使用單引號。 |
resource_group | 否 | 資源群組名稱,預設為user_default。 說明 您可以登入雲原生資料倉儲AnalyticDB MySQL控制台,單擊目的地組群ID,在資源群組管理頁面查看叢集的資源群組。 |
description | 否 | 描述資訊。 說明 填寫該參數時,兩側需要使用單引號。 |
compatible_group | 否 | 相容組。 預設情況下,匹配規則的方式是從規則的優先順序由高到低依次匹配規則,匹配到一條就直接結束。也可以將同時匹配多條規則的需求設定為同一個相容組。在規則匹配時,優先匹配優先順序最高的規則,如果已匹配的規則存在相容組,相容組中剩餘規則如有能同時匹配的,則同時匹配。 |
enabled | 否 | 是否啟用規則,取值說明:
|
priority | 否 | 啟用優先順序高的規則,預設為0。 每次匹配規則,只會匹配一條優先順序最高的規則,優先順序相同時,則根據建立時間越早的規則先進行匹配。 |
樣本
樣本1:將規則ID為2的規則名稱修改為Rule。
wlm update_rule id=2 name=Rule;
返回結果如下:
+-----------------+ | result | +-----------------+ | update rule 2 | +-----------------+
樣本2:將testRule1規則的條件修改為當使用者名稱為test且Pattern歷史執行時間50分位值大於80000 ms時結束查詢。
wlm update_rule name=testRule1 predicate='user=test && PATTERN_RT_P50>80000';
或使用testRule1規則所對應的規則ID修改:
wlm update_rule id=1 predicate='user=test && PATTERN_RT_P50>80000';
返回結果如下:
+-----------------+ | result | +-----------------+ | update rule 1 | +-----------------+
樣本3:將滿足testRule1規則的查詢投遞至testgroup資源群組繼續執行。
修改前,testRule1規則為kill掉滿足條件的查詢:
wlm add_rule name=testRule1 type=query action=kill predicate='user=test && PATTERN_RT_P50>60000';
修改testRule1規則,把當前資源群組的查詢都投遞到testgroup資源群組執行:
wlm update_rule name=testRule1 action=RESUBMIT_RESOURCE_GROUP attrs='{ "resubmit":{ "resource_group": "testgroup" } }'
說明如何填寫attrs,請參見控制手段的配置方法。
返回結果如下:
+-----------------+ | result | +-----------------+ | update rule 1 | +-----------------+
查詢規則
文法
wlm list_rule
[id=<ruleID>]
[name='<ruleName>'\G]
參數說明
參數名稱 | 是否必填 | 參數說明 |
id | 否 | 規則ID。 說明 不填寫ID和name將查詢所有未被刪除的規則,包括規則ID。 |
name | 否 | 規則名稱。 說明
|
\G | 否 | 將查詢結果按列列印,將每個欄位列印到單獨的行。 |
樣本
樣本1:查詢規則ID為testID1的規則。
wlm list_rule id=1 \G;
返回結果如下:
id: 1 name: testRule4 description: NULL type: QUERY resource_group: user_default enabled: 1 priority: 0 version: 1 life_cycle: BEFORE_QUEUEING compatible_group: valid_begin: null valid_end: null creator: kepler update_user: kepler create_time: 2022-09-16 14:00:18 update_time: 2022-09-16 14:00:18 predicate: [{"property":"${session.user}","value":"test","operator":"equal"},{"property":"${session.source_ip}","value":"1,2,3","operator":"in"}] action: ADD_PROPERTIES attrs: {"add_prop":{"query_priority":"low"}} 1 row in set (0.11 sec)
樣本2:查詢規則ID為testID1,規則名稱為testRule4的規則。
mysql> wlm list_rule id=1 name='testRule4' \G;
返回結果如下:
id: 1 name: testRule4 description: NULL type: QUERY resource_group: user_default enabled: 1 priority: 0 version: 1 life_cycle: BEFORE_QUEUEING compatible_group: valid_begin: null valid_end: null creator: kepler update_user: kepler create_time: 2022-09-16 14:00:18 update_time: 2022-09-16 14:00:18 predicate: [{"property":"${session.user}","value":"test","operator":"equal"},{"property":"${session.source_ip}","value":"1,2,3","operator":"in"}] action: ADD_PROPERTIES attrs: {"add_prop":{"query_priority":"low"}} 1 row in set (0.09 sec)
屏蔽規則
文法
wlm disable_rule id=<ruleID>
參數說明
參數名稱 | 是否必填 | 參數說明 |
id | 是 | 規則ID。 說明 您可以執行 |
樣本
樣本1:屏蔽ID為testID1的規則。
wlm disable_rule id=1;
返回結果如下:
+------------------+ | result | +------------------+ | disable rule 1 | +------------------+
樣本2:查詢ID為testID1的規則。
wlm list_rule id=1\G;
返回結果如下:
id: 1 name: testRule4 description: NULL type: QUERY resource_group: user_default enabled: 0 priority: 0 version: 1 life_cycle: BEFORE_QUEUEING compatible_group: valid_begin: null valid_end: null creator: kepler update_user: kepler create_time: 2022-09-16 14:00:18 update_time: 2022-09-16 14:00:18 predicate: [{"property":"${session.user}","value":"test","operator":"equal"},{"property":"${session.source_ip}","value":"1,2,3","operator":"in"}] action: ADD_PROPERTIES attrs: {"add_prop":{"query_priority":"low"}}
啟用規則
文法
wlm enable_rule id=<ruleID>
參數說明
參數名稱 | 是否必填 | 參數說明 |
id | 是 | 規則ID。 說明 您可以執行 |
樣本
樣本1:啟用ID為testID1的規則。
wlm enable_rule id=1;
返回結果如下:
+----------------+ | result | +----------------+ | enable rule 1 | +----------------+
樣本2:查詢ID為testID1的規則。
wlm list_rule id=1\G;
返回結果如下:
id: 1 name: testRule4 description: NULL type: QUERY resource_group: user_default enabled: 1 priority: 0 version: 1 life_cycle: BEFORE_QUEUEING compatible_group: valid_begin: null valid_end: null creator: kepler update_user: kepler create_time: 2022-09-16 14:00:18 update_time: 2022-09-16 14:00:18 predicate: [{"property":"${session.user}","value":"test","operator":"equal"},{"property":"${session.source_ip}","value":"1,2,3","operator":"in"}] action: ADD_PROPERTIES attrs: {"add_prop":{"query_priority":"low"}}
刪除規則
文法
wlm delete_rule id=<ruleID>
參數說明
參數名稱 | 是否必填 | 參數說明 |
id | 是 | 規則ID。 說明 您可以執行 |
樣本
樣本1:刪除ID為testID1的規則。
wlm delete_rule id=1;
返回結果如下:
+----------------+ | result | +----------------+ | delete rule 1 | +----------------+
樣本2:查詢ID為testID1的規則。
wlm list_rule id=1\G;
返回結果如下:
Empty set
計算pattern_hash
文法
wlm calc_pattern_hash <SQL>
參數說明
參數說明 | 是否必填 | 說明 |
SQL | 是 | SELECT語句或帶有SELECT的寫入語句。 |
樣本
計算查詢語句的pattern_hash。
wlm calc_pattern_hash select * from t where a=1 and b=2;
返回結果如下:
+-----------------------------------+----------------------+
| raw_sql | pattern_hash |
+-----------------------------------+----------------------+
| select * from t where a=1 and b=2 | -4759960226441980963 |
+-----------------------------------+----------------------+
列印WLM協助資訊
不帶任何參數執行wlm命令即會列印協助資訊。
wlm;
返回結果如下:
+---------------------------+-------------------------------------+
| command | description |
+---------------------------+-------------------------------------+
| calc_pattern_hash | calculate pattern_hash of query |
| add_rule | add a new rule |
| list_rule id=[x]|name=[x] | list all rules OR filter by id/name |
| disable_rule id=[x] | disable a rule by id |
| enable_rule id=[x] | enable a rule by id |
| delete_rule id=[x] | delete a rule by id |
| update_rule id=[x] | update a rule by id |
+---------------------------+-------------------------------------+
附錄
附錄1:屬性
類別 | 欄位 | 資料類型 | 說明 |
查詢屬性 | user | 字串 | 發送查詢的使用者。 |
source_ip | 字串 | 發送查詢的IP。 | |
query_task_type | 數值 | 查詢的類型,取值說明:
| |
query_table_list | 字串列表 | 查詢掃描到的表。 | |
query_db_list | 字串列表 | 查詢掃描到的資料庫。 | |
pattern_hash | 數值 | 查詢Pattern的Hash值,用於確定同類Pattern的查詢。 | |
sql | 字串 | 查詢原始的SQL語句。 重要 僅3.1.8.3及以上核心版本的叢集支援該屬性。 | |
查詢運行時指標 說明 查詢運行時指標用於在查詢進入隊列後,對查詢進行控制。 | QUERY_PROCESS_TIME | 數值 | 查詢過程中所有Task的耗時總和,可以粗略地衡量一個查詢的計算量。單位:ms。 |
QUERY_EXECUTION_TIME | 數值 | 查詢執行耗時(不含排隊耗時)。單位:ms。 | |
QUERY_SUBMITTED_TIME | 數值 | 建立查詢的時間戳記。 | |
QUERY_TOTAL_TASK | 數值 | 查詢物理執行計畫Task總數。 | |
QUERY_INPUT_DATA_SIZE | 數值 | 查詢的讀取資料量。單位:MB。 | |
QUERY_SHUFFLE_DATA_SIZE | 數值 | 查詢的Shuffle資料量。單位:MB。 | |
QUERY_OUTPUT_DATA_SIZE | 數值 | 查詢的輸出資料量。單位:MB。 | |
QUERY_PEAK_MEMORY | 數值 | 查詢的Peak Memory,單位:MB。 | |
QUERY_TOTAL_STAGES | 數值 | 查詢執行計畫的Stages總數。 | |
查詢Pattern屬性 說明 查詢Pattern屬性可以反映查詢歷史的執行情況。 | PATTERN_RT_P50 | 數值 | 同Pattern查詢歷史執行時間50分位值。單位:ms。 |
PATTERN_RT_P90 | 數值 | 同Pattern查詢歷史執行時間90分位值。單位:ms。 | |
PATTERN_EXECUTION_TIME_P50 | 數值 | 同Pattern查詢歷史執行時間(去除排隊)50分位值。單位:ms。 | |
PATTERN_EXECUTION_TIME_P90 | 數值 | 同Pattern查詢歷史執行時間(去除排隊)90分位值。單位:ms。 | |
PATTERN_WALL_TIME_P50 | 數值 | 同Pattern查詢歷史Wall Time50分位值。單位:ms。 | |
PATTERN_WALL_TIME_P90 | 數值 | 同Pattern查詢歷史Wall Time90分位值。單位:ms。 | |
PATTERN_SHUFFLE_SIZE_AVG | 數值 | 同Pattern查詢歷史Shuffle資料平均值。單位:單位:Byte。 | |
PATTERN_PEAK_MEMORY_AVG | 數值 | 同Pattern查詢歷史Peak Memory平均值。單位:Byte。 | |
PATTERN_INPUT_POSITION_AVG | 數值 | 同Pattern查詢歷史輸入記錄數平均值。單位:行。 | |
PATTERN_OUTPUT_POSITION_AVG | 數值 | 同Pattern查詢歷史輸出記錄數平均值。單位:行。 |
附錄2:運算子
運算子 | 適用的資料類型 | 說明 |
> | 數值 | 無 |
< | 數值 | 無 |
= | 數值、字串 | 無 |
>= | 數值 | 無 |
<= | 數值 | 無 |
!= | 數值、字串 | 無 |
in | 字串列表 | 字串列表是否存在交集。 |
contains | 字串 | 字串中是否包含某些特定字串,主要用於查詢原始的SQL語句。 重要 僅3.1.8.3及以上核心版本的叢集支援該運算子。 |
附錄3:控制手段
控制手段 | 說明 | attrs配置方法 |
KILL | 結束查詢。 | 無 |
RESUBMIT_RESOURCE_GROUP | 停止當前資源群組內滿足條件查詢,並提交到另一個資源群組執行。 | { "resubmit": {"resource_group":"<resource_group_name>"}} resource_group_name:資源群組名稱。 說明 您可以登入雲原生資料倉儲AnalyticDB MySQL控制台,單擊目的地組群ID,在資源群組管理頁面查看叢集的資源群組。 |
ADD_PROPERTIES | 修改查詢的屬性。通常用於修改查詢優先順序,也可以修改Hint配置的其他查詢屬性。 | { "add_prop": {"query_priority": "<Priority level>", "force":"false"}}
|
BLOCK_WITH_PROB | 以一定機率在查詢入隊前結束查詢。通常用於限流。 | { "block_prob": {"prob":<prob_value>}} prob_value:結束查詢的機率,取值範圍為0~1。 |