E-MapReduce：業務洞察

查詢耗時

查詢耗時資料是基於每日審計資料進行統計分析。

以P99查詢耗時（Query Latency P99）為例，這是效能監控中的一個重要指標，用于衡量系統回應時間的分布情況。具體而言，P99表示99%的請求能夠在該時間內得到響應。此指標對於評估服務品質和使用者體驗至關重要。

通過監控P99耗時，可以深入瞭解大多數使用者實際體驗到的服務響應速度。如果發現P99耗時過高，則可能需要增加計算資源或最佳化查詢邏輯，以提升處理效率。

通過展示最近七天的查詢耗時資料，能夠提前識別執行個體潛在的效能風險，從而避免對服務造成重大影響。

DB Lock

DB Lock功能用於監控和分析資料庫訪問過程中出現的鎖競爭狀況，特別是在多個事務嘗試同時訪問或修改同一資料資源時。為了確保資料的一致性和完整性，資料庫會採用鎖機制來控制對特定資料行或表的並發訪問。如果某事務長時間等待擷取鎖，則會影響整體系統的響應速度和服務品質。通過DB Lock資料，可以輔助分析效能問題。

SQL查詢分析

該部分內容是對StarRocks執行的SQL語句的查詢時間、CPU消耗以及記憶體消耗等維度進行排序，從而擷取TOP SQL並展現相應的執行指標。您可以基於這些指標對潛在的效能問題進行最佳化。 例如，可以從慢SQL Top10中查看指定日期執行時間最長的10條SQL語句。然後，根據Profile查詢分析提供的詳細資料來最佳化這些慢執行的SQL語句，Profile分析詳情請參見Query Profile介紹。

報表主要欄位說明如下。

參數化SQL分析

參數化SQL是指將SQL語句中的常量替換成?參數，同時保留原有文法結構，並刪除注釋、調整空格，產生新的SQL語句。參數化SQL將原始SQL的文法結構映射成相同的參數化SQL語句，有助於對同類型的SQL進行綜合分析。

例如，對於以下兩個SQL語句，當它們經過參數化處理後，它們屬於同一類SQL。

• 原始SQL

  SELECT * FROM orders WHERE customer_id=10 AND quantity>20
  
  SELECT * FROM orders WHERE customer_id=20 AND quantity>100

• 參數化後SQL

  SELECT * FROM orders WHERE customer_id=? AND quantity>?

參數化SQL分析從SQL執行頻次、SQL執行總耗時、SQL耗時離散度、SQL CPU資源總消耗、SQL記憶體資源總消耗、SQL執行失敗頻次等維度進行排序，擷取相應的TOP SQL並展現相關指標。

通過參數化SQL分析，您可以：

• 擷取StarRocks資料庫整體的SQL執行情況。

• 通過最佳化執行次數較多、執行時間較長以及CPU和記憶體消耗較多的SQL，以擷取更大的最佳化收益。

• 通過查詢時間變異係數來衡量SQL執行的時間穩定性，可以發現潛在的效能問題。例如，同類SQL執行時間變長可能是由於資料扭曲、資源不足導致的pending等原因。

  涉及欄位說明如下。

  欄位	說明
  參數化SQL ID	參數化SQL的雜湊值，用於標記參數化SQL。
  查詢時間變異係數	SQL查詢執行時間標準差與其平均值的比值。通常變異係數越大，代表同類SQL每次執行的時間差別越大。
  執行次數	參數化SQL的總執行次數。
  參數化SQL文本	參數化後的SQL文本語句。

• 通過執行失敗次數尋找對應的SQL失敗原因，來發現潛在的問題。

  涉及欄位說明如下。

  欄位	說明
  參數化SQL ID	參數化SQL的雜湊值，用於標記參數化SQL。
  執行失敗次數	參數化SQL執行失敗的次數。
  執行次數	參數化SQL的執行總次數。
  參數化SQL文本	參數化後的SQL文本語句。

Too many versions情境

匯入頻率過高的資料是基於“too many versions”日誌的統計分析得出的。當Compaction Score超過1000時，系統將會報告錯誤，StarRocks會提示“Too many versions”。為瞭解決此問題，您可以降低匯入的並發量和頻率。

Top分析

使用說明

提高執行個體的快取命中率有助於提升查詢效能。該頁面根據Query Profile資料對執行個體的緩衝情況進行分析。Query Profile記錄了查詢中涉及的所有運算元的執行資訊，通過Query Profile可以擷取與查詢相關的緩衝指標，從而便於對緩衝使用方式進行深入分析。

在Query Profile中，對錶、視圖或物化視圖的每一次掃描均對應一個CONNECTOR_SCAN運算元。Query Profile提供了該運算元的各項指標，其中一些與緩衝相關的指標如下表所示。

根據上述指標，可以進一步計算出以下三個緩衝相關的指標：

• 快取命中率 = 快取命中量 /（快取命中量 + 緩衝miss量）

• 本地IO時間佔比 = 本地IO時間 /（本地IO時間 + 遠程IO時間）

• 本地IO次數佔比 = 本地IO次數 /（本地IO次數 + 遠程IO次數）

從一天的Query Profile記錄中提取出所有SQL的CONNECTOR_SCAN運算元的上述指標，並按照以下三個維度進行分組，計算出每個分組的平均快取命中量、快取命中率等指標，有助於從不同維度對緩衝情況進行分析。各個維度使用情境樣本如下表所示。

表維度

該部分內容展示資料表的訪問次數、快取命中率、快取命中量、緩衝miss量等指標，並根據這些指標對錶進行排序。通過從表的維度進行分析，可以擷取與緩衝相關的以下資訊：

• 查看訪問次數排名靠前的表的快取命中情況。例如，下圖中訪問次數最高（6411次）的表，其快取命中率僅為24.2%。提高該表的快取命中率將有助於提升查詢效率。可以通過對這類訪問頻率高且快取命中率低的表進行緩衝預熱，以最佳化緩衝的使用。

• 查看快取命中率低或緩衝miss量高的表，採用緩衝預熱的方法以改善其緩衝狀況，從而提升相應查詢的效能。

在實際使用過程中，通常需要綜合多個指標來判斷是否對該表進行緩衝預熱。例如，如果一張表同時出現在“訪問頻率 Top20”、“快取命中率低 Top20”和“平均緩衝miss量 Top20”這三個表中，說明該表的訪問頻率較高、查詢資料量大且快取命中率低，因此應優先對其進行預熱處理。

涉及主要欄位說明如下表所示。

參數化SQL維度

參數化SQL是指將SQL語句中的常量替換成?參數，同時保留原有文法結構，並刪除注釋、調整空格，產生新的SQL語句。參數化SQL將原始SQL的文法結構映射成相同的參數化SQL語句，有助於對同類型的SQL進行綜合分析。

參數化SQL分析對掃描次數、快取命中率、快取命中量、緩衝miss量等指標進行排序，以擷取相應的TOP參數化SQL並展示相關指標。

通過參數化SQL分析，您可以擷取以下資訊：

• 查看掃描次數排名靠前的參數化SQL的快取命中情況。例如，下圖中排名第七的參數化SQL掃描次數為1086，且平均查詢時間較長（42.5秒），然而其快取命中率僅為6.5%。通過對這些SQL進行最佳化，或對其掃描的表進行預熱，可以更有效地利用緩衝，從而提升查詢效能。

  

• 查看平均查詢時間排名靠前的參數化SQL的快取命中情況。例如，下圖所示，排名第一的參數化SQL平均查詢時間為201秒，但其掃描次數僅為4次，說明該參數化SQL對應冷查詢，是否需要進行最佳化可依據實際業務需求進行判斷；而排名第七的參數化SQL平均查詢時間為42.5秒，掃描次數卻達到了1086次，相比之下，該參數化SQL更值得關注。

  

• 查看快取命中率較低、緩衝miss量較高的參數化SQL，並結合這些SQL的掃描次數、平均查詢時間等指標決定是否對其進行最佳化。

  

涉及主要欄位說明如下表所示。

SQL維度

該部分內容是對StarRocks執行的SQL語句按照查詢時間、快取命中率、快取命中量、緩衝miss量等指標進行排序，從而擷取TOP SQL並展現相應的指標。

您可以基於這些指標對緩衝進行深入分析，例如查看執行時間較長、快取命中率較低以及緩衝未命中數量較高的SQL語句。通過對這些SQL語句進行最佳化或對其訪問的表實施緩衝預熱等方法，可以有效改善快取命中情況。

涉及主要欄位說明如下表所示。