本文介紹了LLM中的常見指標，您可以使用這些指標自訂Grafana大盤。
公用Label
維度名稱 | 維度Key | 樣本 |
服務名稱 | service | llm-rag-demo |
服務PID | pid | ggxw4lnjuz@0cb8619bb54**** |
機器IP | serverIp | 127.0.0.1 |
介面 | rpc | query |
應用來源 | source |
|
請求指標
原則上，請求指標涵蓋埋點所支援的不同協議和調用類型，包括提供服務、依賴服務等。更多資訊，請參見Java應用的應用監控指標說明。
指標名稱 | 指標 | 指標類型 | 採集間隔 | 單位 | 維度 |
總請求數 | arms_$callType_requests_count | Gauge | 15s | 無 | 不同服務訪問類型維度不同。詳細資料，請參見應用監控指標說明。 |
錯誤請求數 | arms_$callType_requests_error_count | Gauge | 15s | 無 | |
總請求耗時 | arms_$callType_requests_seconds | Gauge | 15s | 秒 | |
慢請求數 | arms_$callType_requests_slow_count | Gauge | 15s | 無 |
LLM指標
在公用基礎Label上可能還存在如下Label：modelName、spanKind、usageType。
維度名稱 | 維度Key | 樣本 | 說明 |
模型名稱 | modelName |
| 無 |
操作類型 | spanKind | LLM、CHAIN、EMBEDDING等，請參見LLM Trace欄位定義說明。 | 無 |
使用類型 | usageType |
| Token相關指標專用。 |
操作類型
指標名稱 | 指標 | 指標類型 | 採集間隔 | 單位 | 維度 |
調用LLM的請求次數 | genai_calls_count | Gauge | 1m | 無 |
|
調用LLM的響應耗時 | genai_calls_duration_seconds | Gauge | 1m | 秒 |
|
調用LLM的錯誤次數 | genai_calls_error_count | Gauge | 1m | 無 |
|
調用LLM的慢調用次數 | genai_calls_slow_count | Gauge | 1m | 無 |
|
大模型效能
指標名稱 | 指標 | 指標類型 | 採集間隔 | 單位 | 維度 |
調用LLM的Time To First Token(TTFT) | genai_llm_first_token_seconds | Gauge | 1m | 秒 |
|
大模型用量
指標名稱 | 指標 | 指標類型 | 採集間隔 | 單位 | 維度 |
Tokens消耗統計 | genai_llm_usage_tokens | Gauge | 1m | 無 |
|