全部產品
Search
文件中心

Simple Log Service:服務日誌類型

更新時間:Sep 30, 2024

Log Service提供的服務日誌功能可記錄詳細日誌、重要日誌和任務作業記錄,本文介紹不同日誌類型的日誌欄位。

日誌類型

開啟服務日誌功能時,您可以選擇服務日誌的類型,具體說明如下表所示。

重要

為保證您自訂查詢語句的相容性,建議您在查詢語句中通過__topic__: XXX指定特定的日誌類型。

日誌類型

概述

Logstore名稱

日誌詳情

說明

詳細日誌

包括Project內所有資源的建立、修改、更新、刪除動作記錄和資料讀寫日誌。

說明

不包括通過JDBC協議訪問產生的日誌。

internal-operation_log

詳細日誌

所有API請求和操作所涉及的詳細日誌,包括控制台、消費組、SDK等所有用戶端發送的請求。

重要日誌

包括Logstore粒度的消費組消費延時日誌、Logtail相關的錯誤、心跳和統計日誌。

internal-diagnostic_log

消費組延遲日誌

消費組的消費延時日誌,每2分鐘上報一次。指定查詢消費組延遲日誌時,需要在查詢語句中指定__topic__: consumergroup_log

Logtail警示日誌

Logtail的錯誤記錄檔。

每30秒記錄一次,30秒內重複出現的錯誤類型只記錄錯誤總和,錯誤Message隨機播放一條。指定查詢Logtail警示日誌時,需要在查詢語句中指定__topic__: logtail_alarm

Logtail採集日誌

Logtail採集統計資訊。

10分鐘記錄一次。查詢Logtail採集日誌時,需要在查詢語句中指定__topic__: logtail_profile

Logtail狀態日誌

Logtail定時上報的狀態日誌。

每分鐘記錄一次。指定查詢Logtail狀態日誌時,需要在查詢語句中指定__topic__: logtail_status

任務作業記錄

記錄指定Project內資料加工(新版)、定時SQL、資料匯入、資料投遞(新版)任務的運行指標和作業記錄。

internal-diagnostic_log

定時SQL任務作業記錄

一個定時SQL執行個體對應一條定時SQL日誌,即一個定時SQL執行個體運行結束後,上報一條日誌。

查詢定時SQL作業記錄時,需要在查詢語句中指定__topic__: scheduled_sql_alert

資料加工(新版)、匯入和投遞(新版)任務作業記錄

每分鐘上報一次日誌。任務相關的資料來源無資料時,不會上報。

查詢任務作業記錄時,需要在查詢語句中指定__topic__: etl_metrics

詳細日誌

根據Method欄位,詳細日誌被分為讀操作、寫操作和資源操作三類日誌,具體如下:

分類

請求方式

讀操作

產生讀動作記錄的請求方式如下:

  • GetHistograms

  • GetLogs

  • PullLogs

  • GetCursor

  • GetCursorTime

寫操作

產生寫動作記錄的請求方式如下:

  • PostLogStoreLogs

  • PutWebTracking

  • WebTrackingImg

  • BatchPostLogStoreLogs

  • WebTracking

  • PutData

資源操作

產生資源動作記錄的請求方式如下:

CreateProject、DeleteProject等其他介面。

詳細日誌的公用欄位

欄位

說明

樣本

APIVersion

API版本。

0.6.0

AccessKeyId

訪問Log Service時使用的存取金鑰。

LTA****TRx

CallerType

訪問使用者的類型。

Subuser

InvokerUid

執行操作的阿里雲帳號ID。

175****532

Latency

請求延時,單位:微秒。

123279

LogStore

操作的Logstore名稱。

logstore-1

Method

產生該日誌的請求方式。

GetLogStoreLogs

NetOutFlow

讀取的流量,單位:位元組。

120

NetworkOut

通過公網入口讀取的流量,單位:位元組。

10

Project

操作的Project名稱。

project-1

RequestId

請求ID。

8AEADC8B0AF2FA2592C9****

SourceIP

發送請求的用戶端IP地址。

47.100.**.**

Status

請求響應的狀態代碼。

200

UserAgent

用戶端使用者代理程式。

sls-java-sdk-v-0.6.1

讀操作詳細日誌特有欄位

欄位

說明

樣本

BeginTime

請求開始時間,格式為Unix時間戳記。

1523868463

DataStatus

請求響應資料狀態。包括Complete、OK、Unknown等。

OK

EndTime

請求結束時間,格式為Unix時間戳記。

1523869363

Offset

GetLogs請求位移行數。

20

Query

原始查詢語句。

UserAgent: [consumer-group-java]*

RequestLines

期望返回行數。

100

ResponseLines

返回行數。

100

Reverse

是否按照日誌時間戳記逆序返回日誌。

  • 1:按照逆序返回。

  • 0:按照順序返回。

0

TermUnit

查詢語句經過分詞處理後包含的單詞個數。

0

Topic

日誌主題。

topic-1

寫操作詳細日誌特有欄位

欄位

說明

樣本

InFlow

原始寫入資料的位元組數。

200

InputLines

請求寫入的行數。

10

NetInflow

壓縮後,寫入資料的位元組數。

100

Shard

寫入的Shard ID。

1

Topic

日誌主題。

topic-1

消費組延遲日誌

欄位

說明

樣本

consumer_group

消費組名稱。

consumer-group-1

fallbehind

當前消費位置距離最新寫入日誌的落後時間,單位:秒。

12345

logstore

Logstore名稱。

logstore-1

project

Project名稱。

project-1

shard

消費的Shard ID。

1

Logtail警示日誌

欄位

說明

樣本

alarm_count

時間視窗內的警示次數。

10

alarm_message

觸發警示的原始日誌採樣。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

alarm_type

警示類型。

REGISTER_INOTIFY_FAIL_ALARM

logstore

Logstore名稱。

logstore-1

os

作業系統,如Linux或Windows等。

Linux

project

Project名稱。

project-1

source_ip

Logtail所在機器的IP地址。

47.100.**.**

version

Logtail版本號碼。

0.14.2

Logtail採集日誌

Logtail採集日誌可以根據file_name欄位分為如下兩類。

  • 針對單個檔案的採集統計資訊。

  • 針對Logstore的統計資訊,即file_name欄位值為logstore_statistics

欄位說明如下所示:

欄位

說明

樣本

logstore

Logstore名稱。

logstore-1

config_name

Logtail採集配置名稱。由##配置版本號碼##projectName$配置名稱組成,全域唯一。

##1.0##project-1$logstore-1

error_line

引起錯誤的原始日誌。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

記錄檔的device ID。

說明

file_namelogstore_statistics時,該欄位無意義。

1​23

file_inode

記錄檔的inode。

說明

file_namelogstore_statistics時,該欄位無意義。

124

file_name

記錄檔的完整路徑或者值為logstore_statistics

/abc/file_1

file_size

記錄檔大小,單位:位元組。

12345

history_data_failures

歷史處理失敗次數。

0

last_read_time

時間視窗內最近的讀取時間,Unix時間戳記。

1525346677

project

Project名稱。

project-1

logtail_version

Logtail版本。

0.14.2

os

作業系統。

Windows

parse_failures

時間視窗內日誌解析失敗的行數。

12

read_avg_delay

時間視窗內平均每次讀取日誌資料時,當前位移量與檔案大小差值的平均值。

65

read_count

時間視窗內日誌讀取次數。

10

read_offset

當前讀取到檔案位移位置,單位:位元組。

12345

regex_match_failures

Regex匹配失敗次數。

1

send_failures

時間視窗內發送失敗的次數。

12

source_ip

Logtail所在機器的IP地址。

47.100.**.**

succeed_lines

處理成功的日誌行數。

123

time_format_failures

日誌時間匹配失敗次數。

122

total_bytes

讀取的總位元組數。

12345

Logstore統計特有日誌欄位,只有file_name欄位值為logstore_statistics時才存在,具體說明如下表所示。

欄位

說明

樣本

send_block_flag

時間視窗結束時發送隊列是否阻塞。

false

send_discard_error

時間視窗內因資料異常或無許可權導致丟棄資料包的個數。

0

send_network_error

時間視窗內因網路錯誤導致發送失敗的資料包個數。

12

send_queue_size

時間視窗結束時當前發送隊列中未發送資料包數。

3

send_quota_error

時間視窗內因Quota超限導致發送失敗的資料包個數。

0

send_success_count

時間視窗內發送成功的資料包個數。

12345

sender_valid_flag

時間視窗結束時該Logstore的發送標誌位是否正常。

  • true:正常。

  • false:可能因為網路錯誤或Quota錯誤而被禁用。

true

max_send_success_time

在時間視窗內最近一次發送資料成功的時間,為Unix時間戳記。

1525342763

max_unsend_time

在時間視窗內,發送隊列中最近一次資料包發送失敗的時間。Unix時間戳記,隊列為空白時該值為0。

1525342764

min_unsend_time

在時間視窗內,發送隊列中第一次資料包發送失敗的時間。Unix時間戳記,隊列為空白時該值為0。

1525342764

Logtail狀態日誌

欄位

說明

樣本

cpu

進程CPU的負載。

​0.001333156

hostname

主機名稱。

abc2.****

instance_id

執行個體ID,隨機值。

​05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_151745****

ip

主機的IP地址。

​47.100.**.**

load

系統的平均負載。

​0.01 0.04 0.05 2/376 5277

memory

Logtail進程佔用的記憶體大小,單位:MB。

12

detail_metric

各項計量值,JSON格式。更多資訊,請參見detail_metric

detail_metric

os

作業系統。

Linux​

os_cpu

系統整體的CPU使用率。

​0.004120005

os_detail

作業系統詳細資料。

​2.6.32-220.23.8.tcp1.34.el6.x86_64

user

使用者名稱。

​user

user_defined_id

使用者定義的ID。

​aliyun-log-id

uuid

機器的UUID。

​64F28D10-D100-492C-8FDC-0C62907F****

version

Logtail版本號碼。

​0.14.2

project

Logtail採集配置所屬的Project。

my-project

其中,detail_metric欄位包含如下子欄位。

欄位

說明

樣本

config_count

Logtail採集配置的數量。

​1

config_get_last_time

上一次擷取Logtail採集配置的時間。

2021-07-20 16:19:22

config_update_count

Logtail啟動後,Logtail採集配置更新的次數。

​1

config_update_item_count

Logtail啟動後,Logtail採集配置項更新的總和。

​1

config_update_last_time

Logtail啟動後,Logtail採集配置最後一次更新的時間。

2021-07-20 16:18:42

env_config

是否使用環境變數建立Logtail採集配置。

false

event_tps

事件TPS。

1​

last_read_event_time

上一次擷取事件的時間。

2021-07-20 16:18:42

last_send_time

上一次發送資料的時間。

2021-07-20 16:18:42

multi_config

是否開啟多個Logtail採集配置採集相同的檔案。

false

net_err_stat

最近1分鐘、5分鐘和15分鐘內網路發生錯誤的次數。

0,0,0

open_fd

目前開啟的檔案數量。

​1

plugin_enabled

是否使用了外掛程式功能。

  • true:使用了外掛程式功能。

  • false:未使用外掛程式功能。

false

poll_modify_size

監聽修改事件的檔案數量。

​1

polling_dir_cache

掃描的檔案夾數量。

​1

polling_file_cache

掃描的檔案數量。

​1

process_bytes_ps

每秒處理的日誌量,單位:位元組。

​1000

process_lines_ps

每秒處理的日誌條數。

​1000

process_queue_full

達到最大長度限制的處理隊列個數。

​1

process_queue_total

處理隊列數量。

​10

process_tps

處理TPS。

​0

reader_count

正在處理的檔案數。

​1

region

Logtail所在的地區。

​cn-hangzhou

register_handler

要監控的檔案夾數量。

​1

send_bytes_ps

每秒發送的原始日誌量(位元組)。

​11111

send_lines_ps

每秒發送的日誌條數。

1000​

send_net_bytes_ps

每秒發送的網路資料量(位元組)。

1000​

send_queue_full

達到最大長度限制的發送隊列個數。

​1

send_queue_total

發送隊列數量。

​12

send_request_concurrency

發送並發上限數。

10

send_tps

發送TPS。

​0.075

sender_invalid

異常的發送隊列數。

​0

start_time

啟動時間。

2021-07-20 16:19:22

used_sending_concurrency

當前已使用的發送並發數。

0

定時SQL任務作業記錄

欄位

說明

樣本

__topic__

日誌主題,固定為scheduled_sql_alert。

scheduled_sql_alert。

project

定時SQL任務所在的Project。

my-project-name

job_name

定時SQL任務名稱。

sql-16xxxxxxx-xxxxxx

schedule_id

任務ID。

77****ca

job_type

定時SQL任務類型,固定為ScheduledSQL。

ScheduledSQL

instance_id

定時SQL任務中執行個體的標識。

7e****dc

create_time

執行個體的建立時間,單位:秒。

1652343365

schedule_time

執行個體的調度時間,單位:秒。

1652343360

trigger_time

執行個體的觸發時間,單位:秒。

1652343365

status

執行個體的執行結果,取值為FAILED、SUCCEEDED。

FAILED

error_code

執行個體執行失敗時的錯誤原因。

SQLFailed

error_message

執行個體執行失敗時的錯誤詳情。

sql syntax error

fallbehind

執行個體的觸發時間和調度時間的間隔,用於表示執行個體執行的延遲情況。單位:秒。

85

succeed_lines

  • 如果執行個體執行成功,該值代表寫入行數。

  • 如果執行個體執行失敗,該值為0。

100

資料加工(新版)、匯入和投遞(新版)任務作業記錄

欄位

說明

樣本

__topic__

日誌主題,固定為etl_metrics。

etl_metrics

metric_type

任務作業記錄的類型標識,固定為ConnectorMetrics。

ConnectorMetrics

project

任務所屬的Project。

my-sls-project

job_name

任務名稱。

job-16****53

instance_id

任務啟動並執行執行個體ID。

10e****b4f6

_etl_:connector_meta

資料來源或者目標的任務元資訊。更多資訊,請參見_etl_:connector_meta

_etl_:connector_metrics

資料來源或者目標的任務運行指標。更多資訊,請參見_etl_:connector_metrics

_etl_:connector_meta欄位包含如下子欄位。

欄位

說明

樣本

action

任務的操作。

  • ingest: 從資料來源讀取資料

  • deliver:將資料寫入到目標。

ingest

connector

資料來源類型或者目標類型。

  • sls:阿里雲Log Service

  • oss:阿里雲Object Storage Service

  • maxcompute:阿里雲MaxCompute

  • cms:阿里雲CloudMonitor服務

  • cloudtrail:AWS CloudTrail

  • kafka:Apache Kafka

  • elasticsearch:Elasticsearch

  • mysql:MySQL(開源、阿里雲等廠商)

  • mssql:SQL Server(開源、阿里雲等廠商)

oss

instance

資料來源執行個體名稱或目標執行個體名稱。

my-oss-bucket

task_id

任務ID。

1669277

task_name

任務名稱。

1652765276578_task_0

task_type

任務類型,固定為CONNECTOR。

CONNECTOR

_etl_:connector_metrics欄位包含如下子欄位。

欄位

說明

樣本

state

任務運行狀態。

  • 0:正常。

  • 1:報錯,可能減緩運行進度。

  • 2:失敗,完全阻塞運行。

0

error

任務啟動並執行錯誤資訊。

無錯誤資訊時,日誌中不存在該欄位。

fail to pull logs, unauthorized

lags

任務運行進度。

只針對資料讀取任務,即action欄位值為ingest時,日誌中存在lags欄位。該欄位值與資料來源類型(connector欄位)相關。

  • connector欄位為sls時,lags欄位值表示Shard消費延遲時間,單位:秒。

  • connector欄位為kafka時,lags欄位值表示Topic層級的消費Lag。

  • connector欄位為cms時,lags欄位值表示CloudMonitor讀取的延遲時間,單位:秒。

0.813

desc

只針對資料讀取任務,即action欄位值為ingest時,日誌中存在desc欄位。該欄位值與資料來源類型(connector欄位)相關。

  • connector欄位為sls時,desc欄位值為時間單位s。

  • connector欄位為kafka時,desc欄位值為lags描述資訊。

  • connector欄位為cms時,desc欄位值為時間單位s。

s

events

時間範圍內處理的資料條目數。

13245

failed

時間範圍內處理失敗的資料條目數。

3

native_bytes

時間範圍內處理的資料的原始大小。

7539125

events_bytes

時間範圍內處理的資料被解析後的大小。

13295475

pub_net_bytes

時間範圍內處理的資料的公網流量。

45678

req_count

時間範圍內資料來源或者目標的請求次數。

89

req_count

時間範圍內資料來源或者目標的平均請求延遲。

38

rate_limit_hits

時間範圍內資料來源或者目標請求被限流次數。

1

extras

其他相關資訊。當欄位值存在時,日誌中才會展示該欄位。

該欄位值與資料來源類型(connector欄位)相關。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}