全部產品
Search
文件中心

E-MapReduce:查詢管理與分析

更新時間:Nov 06, 2024

EMR StarRocks Manager針對您提交的查詢(Query)記錄提供診斷與分析的能力,能夠對您提交的SQL查詢進行詳細記錄和分析。它不僅支援展示所有執行的SQL任務記錄,還支援慢查詢分析,重點關注時間消耗較長的查詢,以協助您識別效能瓶頸,最佳化查詢效率。

前提條件

已建立StarRocks執行個體,詳情請參見建立執行個體

功能介紹

  • SQL任務:包含了已完成任務和運行中任務。

    • 已完成任務:該功能全面匯總展示系統內已完成查詢狀態的視圖,涵蓋了已完成的查詢、查詢失敗的,以及預發錯誤的查詢記錄。您可以通過這一介面擷取系統的整體查詢情況,以便於進行深入分析和管理。但請注意,此功能可能受到以下限制。

      說明
      • 資料長度限制:對於記錄在查詢列表中的單個欄位,儲存值的最大長度為65535位元組。

      • 時間範圍限制:僅展示近30天資料。如果您需要查看所有的查詢記錄,請參見審計日誌

    • 運行中任務:此功能模組著重展示當前正在執行的大型或複雜的查詢。此類查詢通常涉及到大規模資料處理、複雜的計算操作,或是跨多個資料庫的互動。之所以關注運行中大查詢,是因為這些查詢可能會大量佔用CPU、記憶體及IO等計算資源,從而影響系統中其他查詢的效能。因此,對這類查詢進行即時監控是維護系統穩定性及保證響應速度的有效措施。

  • 慢查詢:該功能集中展示了StarRocks執行個體中執行時間較長且可能存在效能瓶頸的查詢。通過對慢查詢的識別與跟蹤,您可以精準定位影響資料庫效率的問題所在,並採取相應的最佳化措施。

    說明
    • EMR StarRocks Manager慢查詢頁面預設支援的耗時最小值為5000ms。

    • 慢查詢當前支援的SQL類型只包含您提交的SELECT Query語句。

    • StarRocks預設為您保留30天或者一萬條的慢查詢記錄,您可以藉助頁面提供的過濾條件做精準過濾。

進入查詢頁面

SQL任務

  1. 進入StarRocks Manager頁面。

    1. 登入E-MapReduce控制台

    2. 在左側導覽列,選擇EMR Serverless > StarRocks

    3. 在頂部功能表列處,根據實際情況選擇地區。

    4. 單擊StarRocks Manager,或者單擊已建立執行個體操作列的串連執行個體

      串連StarRocks執行個體詳情,請參見通過EMR StarRocks Manager串連StarRocks執行個體

  2. 在左側導覽列,選擇診斷與分析 > SQL任務

  3. 已完成任務運行中任務頁簽,單擊查詢ID。

    • 已完成任務:您可以查看SQL內容、任務狀態和耗時等資訊,還可以通過查詢使用者、SQL類型(例如,DQL、DML、DDL或DCL)以及資料庫等維度對資訊進行篩選。

    • 運行中任務:您可以直觀監測到大查詢操作的各項關鍵效能指標,包括掃描的資料總量、已處理行數以及CPU和記憶體的耗時情況。

慢查詢

  1. 在左側導覽列,選擇診斷與分析 > 慢查詢

  2. 慢查詢頁面,單擊待查看的查詢ID,進入該查詢的詳情頁面。

    查詢的詳細介紹請參見查詢詳情

查詢詳情

慢查詢列表頁面中,單擊對應的查詢ID,即可進入該查詢的詳情頁面。您可以查看以下內容。

  • 查詢詳情

    展示了查詢的基本資料和SQL詳情。

  • 查詢計劃(Query Plan)

    Query Plan是FE通過解析SQL產生的,負責組織運算元(Join、Order、Aggregation)之間的關係,可以為資料庫管理者提供一個宏觀的視角,從而擷取查詢執行的相關資訊。

  • 執行詳情(Query Profile)

    Query Profile是BE執行查詢後的結果,包含了每一步的耗時和資料處理量等資料反映了查詢的效能。StarRocks Manager支援對Profile進行可視化分析,詳情請參見Query Profile介紹

重要
  1. Profile通常用於對慢查詢的診斷分析情境,Serverless StarRocks執行個體預設未開啟Profile,如需開啟Profile,建議在Session層級進行設定set enable_profile=true。如需查看是否開啟了Profile,可以通過show variables like '%enable_profile%'命令查看。

  2. 在生產環境中,不建議全域開啟Profile,因為開啟Profile可能會影響SQL端到端的回應時間。

匯出查詢資訊

在分析查詢結果時,您可能需要將特定查詢匯出至本地進行進一步處理。阿里雲EMR Serverless StarRocks支援篩選和匯出特定時間範圍內的查詢資訊。

您可以在SQL任務慢查詢列表頁面中,根據運行狀態、執行時間、日期範圍、耗時等條件進行篩選,然後單擊匯出,以便將查詢資訊儲存至本地。