LLM指標說明

維度名稱

維度Key

樣本

服務名稱

service

llm-rag-demo

服務PID

pid

ggxw4lnjuz@0cb8619bb54****

機器IP

serverIp

127.0.0.1

介面

rpc

query

應用來源

source

• xtrace：表示Managed Service for OpenTelemetry。

• apm：表示應用即時監控服務 ARMS。

指標名稱

指標

指標類型

採集間隔

單位

維度

總請求數

arms_$callType_requests_count

Gauge

15s

無

不同服務訪問類型維度不同。詳細資料，請參見應用監控指標說明。

錯誤請求數

arms_$callType_requests_error_count

Gauge

15s

無

總請求耗時

arms_$callType_requests_seconds

Gauge

15s

秒

慢請求數

arms_$callType_requests_slow_count

Gauge

15s

無

維度名稱

維度Key

樣本

說明

模型名稱

modelName

• gpt-4

• text-davinci-003

無

操作類型

spanKind

LLM、CHAIN、EMBEDDING等，請參見LLM Trace欄位定義說明。

無

使用類型

usageType

• input

• output

Token相關指標專用。

指標名稱

指標

指標類型

採集間隔

單位

維度

調用LLM的請求次數

genai_calls_count

Gauge

1m

無

• modelName

• spanKind

調用LLM的響應耗時

genai_calls_duration_seconds

Gauge

1m

秒

• modelName

• spanKind

調用LLM的錯誤次數

genai_calls_error_count

Gauge

1m

無

• modelName

• spanKind

調用LLM的慢調用次數

genai_calls_slow_count

Gauge

1m

無

• modelName

• spanKind

指標名稱

指標

指標類型

採集間隔

單位

維度

調用LLM首包響應耗時

genai_llm_first_token_seconds

Gauge

1m

秒

• modelName

• spanKind

指標名稱

指標

指標類型

採集間隔

單位

維度

Tokens消耗統計

genai_llm_usage_tokens

Gauge

1m

無

• modelName

• spanKind

• usageType

  • input

  • output