Log Service提供的服務日誌功能可記錄詳細日誌、重要日誌和任務作業記錄,本文介紹不同日誌類型的日誌欄位。
日誌類型
開啟服務日誌功能時,您可以選擇服務日誌的類型,具體說明如下表所示。
為保證您自訂查詢語句的相容性,建議您在查詢語句中通過__topic__: XXX
指定特定的日誌類型。
日誌類型 | 概述 | Logstore名稱 | 日誌詳情 | 說明 |
詳細日誌 | 包括Project內所有資源的建立、修改、更新、刪除動作記錄和資料讀寫日誌。 說明 不包括通過JDBC協議訪問產生的日誌。 | internal-operation_log | 所有API請求和操作所涉及的詳細日誌,包括控制台、消費組、SDK等所有用戶端發送的請求。 | |
重要日誌 | 包括Logstore粒度的消費組消費延時日誌、Logtail相關的錯誤、心跳和統計日誌。 | internal-diagnostic_log | 消費組的消費延時日誌,每2分鐘上報一次。指定查詢消費組延遲日誌時,需要在查詢語句中指定 | |
Logtail的錯誤記錄檔。 每30秒記錄一次,30秒內重複出現的錯誤類型只記錄錯誤總和,錯誤Message隨機播放一條。指定查詢Logtail警示日誌時,需要在查詢語句中指定 | ||||
Logtail採集統計資訊。 10分鐘記錄一次。查詢Logtail採集日誌時,需要在查詢語句中指定 | ||||
Logtail定時上報的狀態日誌。 每分鐘記錄一次。指定查詢Logtail狀態日誌時,需要在查詢語句中指定 | ||||
任務作業記錄 | 記錄指定Project內資料加工(新版)、定時SQL、資料匯入、資料投遞(新版)任務的運行指標和作業記錄。 | internal-diagnostic_log | 一個定時SQL執行個體對應一條定時SQL日誌,即一個定時SQL執行個體運行結束後,上報一條日誌。 查詢定時SQL作業記錄時,需要在查詢語句中指定 | |
每分鐘上報一次日誌。任務相關的資料來源無資料時,不會上報。 查詢任務作業記錄時,需要在查詢語句中指定 |
詳細日誌
根據Method欄位,詳細日誌被分為讀操作、寫操作和資源操作三類日誌,具體如下:
分類 | 請求方式 |
讀操作 | 產生讀動作記錄的請求方式如下:
|
寫操作 | 產生寫動作記錄的請求方式如下:
|
資源操作 | 產生資源動作記錄的請求方式如下: CreateProject、DeleteProject等其他介面。 |
詳細日誌的公用欄位
欄位 | 說明 | 樣本 |
APIVersion | API版本。 | 0.6.0 |
AccessKeyId | 訪問Log Service時使用的存取金鑰。 | LTA****TRx |
CallerType | 訪問使用者的類型。 | Subuser |
InvokerUid | 執行操作的阿里雲帳號ID。 | 175****532 |
Latency | 請求延時,單位:微秒。 | 123279 |
LogStore | 操作的Logstore名稱。 | logstore-1 |
Method | 產生該日誌的請求方式。 | GetLogStoreLogs |
NetOutFlow | 讀取的流量,單位:位元組。 | 120 |
NetworkOut | 通過公網入口讀取的流量,單位:位元組。 | 10 |
Project | 操作的Project名稱。 | project-1 |
RequestId | 請求ID。 | 8AEADC8B0AF2FA2592C9**** |
SourceIP | 發送請求的用戶端IP地址。 | 47.100.**.** |
Status | 請求響應的狀態代碼。 | 200 |
UserAgent | 用戶端使用者代理程式。 | sls-java-sdk-v-0.6.1 |
讀操作詳細日誌特有欄位
欄位 | 說明 | 樣本 |
BeginTime | 請求開始時間,格式為Unix時間戳記。 | 1523868463 |
DataStatus | 請求響應資料狀態。包括Complete、OK、Unknown等。 | OK |
EndTime | 請求結束時間,格式為Unix時間戳記。 | 1523869363 |
Offset | GetLogs請求位移行數。 | 20 |
Query | 原始查詢語句。 | UserAgent: [consumer-group-java]* |
RequestLines | 期望返回行數。 | 100 |
ResponseLines | 返回行數。 | 100 |
Reverse | 是否按照日誌時間戳記逆序返回日誌。
| 0 |
TermUnit | 查詢語句經過分詞處理後包含的單詞個數。 | 0 |
Topic | 日誌主題。 | topic-1 |
寫操作詳細日誌特有欄位
欄位 | 說明 | 樣本 |
InFlow | 原始寫入資料的位元組數。 | 200 |
InputLines | 請求寫入的行數。 | 10 |
NetInflow | 壓縮後,寫入資料的位元組數。 | 100 |
Shard | 寫入的Shard ID。 | 1 |
Topic | 日誌主題。 | topic-1 |
消費組延遲日誌
欄位 | 說明 | 樣本 |
consumer_group | 消費組名稱。 | consumer-group-1 |
fallbehind | 當前消費位置距離最新寫入日誌的落後時間,單位:秒。 | 12345 |
logstore | Logstore名稱。 | logstore-1 |
project | Project名稱。 | project-1 |
shard | 消費的Shard ID。 | 1 |
Logtail警示日誌
欄位 | 說明 | 樣本 |
alarm_count | 時間視窗內的警示次數。 | 10 |
alarm_message | 觸發警示的原始日誌採樣。 | M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b |
alarm_type | 警示類型。 | REGISTER_INOTIFY_FAIL_ALARM |
logstore | Logstore名稱。 | logstore-1 |
os | 作業系統,如Linux或Windows等。 | Linux |
project | Project名稱。 | project-1 |
source_ip | Logtail所在機器的IP地址。 | 47.100.**.** |
version | Logtail版本號碼。 | 0.14.2 |
Logtail採集日誌
Logtail採集日誌可以根據file_name欄位分為如下兩類。
針對單個檔案的採集統計資訊。
針對Logstore的統計資訊,即file_name欄位值為
logstore_statistics
。
欄位說明如下所示:
欄位 | 說明 | 樣本 |
logstore | Logstore名稱。 | logstore-1 |
config_name | Logtail採集配置名稱。由 | ##1.0##project-1$logstore-1 |
error_line | 引起錯誤的原始日誌。 | M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b |
file_dev | 記錄檔的device ID。 說明 當 | 123 |
file_inode | 記錄檔的inode。 說明 當 | 124 |
file_name | 記錄檔的完整路徑或者值為 | /abc/file_1 |
file_size | 記錄檔大小,單位:位元組。 | 12345 |
history_data_failures | 歷史處理失敗次數。 | 0 |
last_read_time | 時間視窗內最近的讀取時間,Unix時間戳記。 | 1525346677 |
project | Project名稱。 | project-1 |
logtail_version | Logtail版本。 | 0.14.2 |
os | 作業系統。 | Windows |
parse_failures | 時間視窗內日誌解析失敗的行數。 | 12 |
read_avg_delay | 時間視窗內平均每次讀取日誌資料時,當前位移量與檔案大小差值的平均值。 | 65 |
read_count | 時間視窗內日誌讀取次數。 | 10 |
read_offset | 當前讀取到檔案位移位置,單位:位元組。 | 12345 |
regex_match_failures | Regex匹配失敗次數。 | 1 |
send_failures | 時間視窗內發送失敗的次數。 | 12 |
source_ip | Logtail所在機器的IP地址。 | 47.100.**.** |
succeed_lines | 處理成功的日誌行數。 | 123 |
time_format_failures | 日誌時間匹配失敗次數。 | 122 |
total_bytes | 讀取的總位元組數。 | 12345 |
Logstore統計特有日誌欄位,只有file_name
欄位值為logstore_statistics
時才存在,具體說明如下表所示。
欄位 | 說明 | 樣本 |
send_block_flag | 時間視窗結束時發送隊列是否阻塞。 | false |
send_discard_error | 時間視窗內因資料異常或無許可權導致丟棄資料包的個數。 | 0 |
send_network_error | 時間視窗內因網路錯誤導致發送失敗的資料包個數。 | 12 |
send_queue_size | 時間視窗結束時當前發送隊列中未發送資料包數。 | 3 |
send_quota_error | 時間視窗內因Quota超限導致發送失敗的資料包個數。 | 0 |
send_success_count | 時間視窗內發送成功的資料包個數。 | 12345 |
sender_valid_flag | 時間視窗結束時該Logstore的發送標誌位是否正常。
| true |
max_send_success_time | 在時間視窗內最近一次發送資料成功的時間,為Unix時間戳記。 | 1525342763 |
max_unsend_time | 在時間視窗內,發送隊列中最近一次資料包發送失敗的時間。Unix時間戳記,隊列為空白時該值為0。 | 1525342764 |
min_unsend_time | 在時間視窗內,發送隊列中第一次資料包發送失敗的時間。Unix時間戳記,隊列為空白時該值為0。 | 1525342764 |
Logtail狀態日誌
欄位 | 說明 | 樣本 |
cpu | 進程CPU的負載。 | 0.001333156 |
hostname | 主機名稱。 | abc2.**** |
instance_id | 執行個體ID,隨機值。 | 05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_151745**** |
ip | 主機的IP地址。 | 47.100.**.** |
load | 系統的平均負載。 | 0.01 0.04 0.05 2/376 5277 |
memory | Logtail進程佔用的記憶體大小,單位:MB。 | 12 |
detail_metric | 各項計量值,JSON格式。更多資訊,請參見detail_metric。 | |
os | 作業系統。 | Linux |
os_cpu | 系統整體的CPU使用率。 | 0.004120005 |
os_detail | 作業系統詳細資料。 | 2.6.32-220.23.8.tcp1.34.el6.x86_64 |
user | 使用者名稱。 | user |
user_defined_id | 使用者定義的ID。 | aliyun-log-id |
uuid | 機器的UUID。 | 64F28D10-D100-492C-8FDC-0C62907F**** |
version | Logtail版本號碼。 | 0.14.2 |
project | Logtail採集配置所屬的Project。 | my-project |
其中,detail_metric欄位包含如下子欄位。
欄位 | 說明 | 樣本 |
config_count | Logtail採集配置的數量。 | 1 |
config_get_last_time | 上一次擷取Logtail採集配置的時間。 | 2021-07-20 16:19:22 |
config_update_count | Logtail啟動後,Logtail採集配置更新的次數。 | 1 |
config_update_item_count | Logtail啟動後,Logtail採集配置項更新的總和。 | 1 |
config_update_last_time | Logtail啟動後,Logtail採集配置最後一次更新的時間。 | 2021-07-20 16:18:42 |
env_config | 是否使用環境變數建立Logtail採集配置。 | false |
event_tps | 事件TPS。 | 1 |
last_read_event_time | 上一次擷取事件的時間。 | 2021-07-20 16:18:42 |
last_send_time | 上一次發送資料的時間。 | 2021-07-20 16:18:42 |
multi_config | 是否開啟多個Logtail採集配置採集相同的檔案。 | false |
net_err_stat | 最近1分鐘、5分鐘和15分鐘內網路發生錯誤的次數。 | 0,0,0 |
open_fd | 目前開啟的檔案數量。 | 1 |
plugin_enabled | 是否使用了外掛程式功能。
| false |
poll_modify_size | 監聽修改事件的檔案數量。 | 1 |
polling_dir_cache | 掃描的檔案夾數量。 | 1 |
polling_file_cache | 掃描的檔案數量。 | 1 |
process_bytes_ps | 每秒處理的日誌量,單位:位元組。 | 1000 |
process_lines_ps | 每秒處理的日誌條數。 | 1000 |
process_queue_full | 達到最大長度限制的處理隊列個數。 | 1 |
process_queue_total | 處理隊列數量。 | 10 |
process_tps | 處理TPS。 | 0 |
reader_count | 正在處理的檔案數。 | 1 |
region | Logtail所在的地區。 | cn-hangzhou |
register_handler | 要監控的檔案夾數量。 | 1 |
send_bytes_ps | 每秒發送的原始日誌量(位元組)。 | 11111 |
send_lines_ps | 每秒發送的日誌條數。 | 1000 |
send_net_bytes_ps | 每秒發送的網路資料量(位元組)。 | 1000 |
send_queue_full | 達到最大長度限制的發送隊列個數。 | 1 |
send_queue_total | 發送隊列數量。 | 12 |
send_request_concurrency | 發送並發上限數。 | 10 |
send_tps | 發送TPS。 | 0.075 |
sender_invalid | 異常的發送隊列數。 | 0 |
start_time | 啟動時間。 | 2021-07-20 16:19:22 |
used_sending_concurrency | 當前已使用的發送並發數。 | 0 |
定時SQL任務作業記錄
欄位 | 說明 | 樣本 |
__topic__ | 日誌主題,固定為scheduled_sql_alert。 | scheduled_sql_alert。 |
project | 定時SQL任務所在的Project。 | my-project-name |
job_name | 定時SQL任務名稱。 | sql-16xxxxxxx-xxxxxx |
schedule_id | 任務ID。 | 77****ca |
job_type | 定時SQL任務類型,固定為ScheduledSQL。 | ScheduledSQL |
instance_id | 定時SQL任務中執行個體的標識。 | 7e****dc |
create_time | 執行個體的建立時間,單位:秒。 | 1652343365 |
schedule_time | 執行個體的調度時間,單位:秒。 | 1652343360 |
trigger_time | 執行個體的觸發時間,單位:秒。 | 1652343365 |
status | 執行個體的執行結果,取值為FAILED、SUCCEEDED。 | FAILED |
error_code | 執行個體執行失敗時的錯誤原因。 | SQLFailed |
error_message | 執行個體執行失敗時的錯誤詳情。 | sql syntax error |
fallbehind | 執行個體的觸發時間和調度時間的間隔,用於表示執行個體執行的延遲情況。單位:秒。 | 85 |
succeed_lines |
| 100 |
資料加工(新版)、匯入和投遞(新版)任務作業記錄
欄位 | 說明 | 樣本 |
__topic__ | 日誌主題,固定為etl_metrics。 | etl_metrics |
metric_type | 任務作業記錄的類型標識,固定為ConnectorMetrics。 | ConnectorMetrics |
project | 任務所屬的Project。 | my-sls-project |
job_name | 任務名稱。 | job-16****53 |
instance_id | 任務啟動並執行執行個體ID。 | 10e****b4f6 |
_etl_:connector_meta | 資料來源或者目標的任務元資訊。更多資訊,請參見_etl_:connector_meta。 | 無 |
_etl_:connector_metrics | 資料來源或者目標的任務運行指標。更多資訊,請參見_etl_:connector_metrics。 | 無 |
_etl_:connector_meta欄位包含如下子欄位。
欄位 | 說明 | 樣本 |
action | 任務的操作。
| ingest |
connector | 資料來源類型或者目標類型。
| oss |
instance | 資料來源執行個體名稱或目標執行個體名稱。 | my-oss-bucket |
task_id | 任務ID。 | 1669277 |
task_name | 任務名稱。 | 1652765276578_task_0 |
task_type | 任務類型,固定為CONNECTOR。 | CONNECTOR |
_etl_:connector_metrics欄位包含如下子欄位。
欄位 | 說明 | 樣本 |
state | 任務運行狀態。
| 0 |
error | 任務啟動並執行錯誤資訊。 無錯誤資訊時,日誌中不存在該欄位。 | fail to pull logs, unauthorized |
lags | 任務運行進度。 只針對資料讀取任務,即action欄位值為ingest時,日誌中存在lags欄位。該欄位值與資料來源類型(connector欄位)相關。
| 0.813 |
desc | 只針對資料讀取任務,即action欄位值為ingest時,日誌中存在desc欄位。該欄位值與資料來源類型(connector欄位)相關。
| s |
events | 時間範圍內處理的資料條目數。 | 13245 |
failed | 時間範圍內處理失敗的資料條目數。 | 3 |
native_bytes | 時間範圍內處理的資料的原始大小。 | 7539125 |
events_bytes | 時間範圍內處理的資料被解析後的大小。 | 13295475 |
pub_net_bytes | 時間範圍內處理的資料的公網流量。 | 45678 |
req_count | 時間範圍內資料來源或者目標的請求次數。 | 89 |
req_count | 時間範圍內資料來源或者目標的平均請求延遲。 | 38 |
rate_limit_hits | 時間範圍內資料來源或者目標請求被限流次數。 | 1 |
extras | 其他相關資訊。當欄位值存在時,日誌中才會展示該欄位。 該欄位值與資料來源類型(connector欄位)相關。 | {"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"} |