日志服务提供的服务日志功能可记录详细日志、重要日志和任务运行日志,本文介绍不同日志类型的日志字段。
日志类型
开启服务日志功能时,您可以选择服务日志的类型,具体说明如下表所示。
为保证您自定义查询语句的兼容性,建议您在查询语句中通过__topic__: XXX
指定特定的日志类型。
日志类型 | 概述 | Logstore名称 | 日志详情 | 说明 |
详细日志 | 包括Project内所有资源的创建、修改、更新、删除操作日志和数据读写日志。 说明 不包括通过JDBC协议访问产生的日志。 | internal-operation_log | 所有API请求和操作所涉及的详细日志,包括控制台、消费组、SDK等所有客户端发送的请求。 | |
重要日志 | 包括Logstore粒度的消费组消费延时日志、Logtail相关的错误、心跳和统计日志。 | internal-diagnostic_log | 消费组的消费延时日志,每2分钟上报一次。指定查询消费组延迟日志时,需要在查询语句中指定 | |
Logtail的错误日志。 每30秒记录一次,30秒内重复出现的错误类型只记录错误总和,错误Message随机选择一条。指定查询Logtail告警日志时,需要在查询语句中指定 | ||||
Logtail采集统计信息。 10分钟记录一次。查询Logtail采集日志时,需要在查询语句中指定 | ||||
Logtail定时上报的状态日志。 每分钟记录一次。指定查询Logtail状态日志时,需要在查询语句中指定 | ||||
任务运行日志 | 记录指定Project内数据加工(新版)、定时SQL、数据导入、数据投递(新版)任务的运行指标和运行日志。 | internal-diagnostic_log | 一个定时SQL实例对应一条定时SQL日志,即一个定时SQL实例运行结束后,上报一条日志。 查询定时SQL运行日志时,需要在查询语句中指定 | |
每分钟上报一次日志。任务相关的数据源无数据时,不会上报。 查询任务运行日志时,需要在查询语句中指定 |
详细日志
根据Method字段,详细日志被分为读操作、写操作和资源操作三类日志,具体如下:
分类 | 请求方式 |
读操作 | 产生读操作日志的请求方式如下:
|
写操作 | 产生写操作日志的请求方式如下:
|
资源操作 | 产生资源操作日志的请求方式如下: CreateProject、DeleteProject等其他接口。 |
详细日志的公共字段
字段 | 说明 | 示例 |
APIVersion | API版本。 | 0.6.0 |
AccessKeyId | 访问日志服务时使用的访问密钥。 | LTA****TRx |
CallerType | 访问用户的类型。 | Subuser |
InvokerUid | 执行操作的阿里云账号ID。 | 175****532 |
Latency | 请求延时,单位:微秒。 | 123279 |
LogStore | 操作的Logstore名称。 | logstore-1 |
Method | 产生该日志的请求方式。 | GetLogStoreLogs |
NetOutFlow | 读取的流量,单位:字节。 | 120 |
NetworkOut | 通过公网入口读取的流量,单位:字节。 | 10 |
Project | 操作的Project名称。 | project-1 |
RequestId | 请求ID。 | 8AEADC8B0AF2FA2592C9**** |
SourceIP | 发送请求的客户端IP地址。 | 47.100.**.** |
Status | 请求响应的状态码。 | 200 |
UserAgent | 客户端用户代理。 | sls-java-sdk-v-0.6.1 |
读操作详细日志特有字段
字段 | 说明 | 示例 |
BeginTime | 请求开始时间,格式为Unix时间戳。 | 1523868463 |
DataStatus | 请求响应数据状态。包括Complete、OK、Unknown等。 | OK |
EndTime | 请求结束时间,格式为Unix时间戳。 | 1523869363 |
Offset | GetLogs请求偏移行数。 | 20 |
Query | 原始查询语句。 | UserAgent: [consumer-group-java]* |
RequestLines | 期望返回行数。 | 100 |
ResponseLines | 返回行数。 | 100 |
Reverse | 是否按照日志时间戳逆序返回日志。
| 0 |
TermUnit | 查询语句经过分词处理后包含的单词个数。 | 0 |
Topic | 日志主题。 | topic-1 |
写操作详细日志特有字段
字段 | 说明 | 示例 |
InFlow | 原始写入数据的字节数。 | 200 |
InputLines | 请求写入的行数。 | 10 |
NetInflow | 压缩后,写入数据的字节数。 | 100 |
Shard | 写入的Shard ID。 | 1 |
Topic | 日志主题。 | topic-1 |
消费组延迟日志
字段 | 说明 | 示例 |
consumer_group | 消费组名称。 | consumer-group-1 |
fallbehind | 当前消费位置距离最新写入日志的落后时间,单位:秒。 | 12345 |
logstore | Logstore名称。 | logstore-1 |
project | Project名称。 | project-1 |
shard | 消费的Shard ID。 | 1 |
Logtail告警日志
字段 | 说明 | 示例 |
alarm_count | 时间窗口内的告警次数。 | 10 |
alarm_message | 触发告警的原始日志采样。 | M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b |
alarm_type | 告警类型。 | REGISTER_INOTIFY_FAIL_ALARM |
logstore | Logstore名称。 | logstore-1 |
os | 操作系统,如Linux或Windows等。 | Linux |
project | Project名称。 | project-1 |
source_ip | Logtail所在机器的IP地址。 | 47.100.**.** |
version | Logtail版本号。 | 0.14.2 |
Logtail采集日志
Logtail采集日志可以根据file_name字段分为如下两类。
针对单个文件的采集统计信息。
针对Logstore的统计信息,即file_name字段值为
logstore_statistics
。
字段说明如下所示:
字段 | 说明 | 示例 |
logstore | Logstore名称。 | logstore-1 |
config_name | Logtail采集配置名称。由 | ##1.0##project-1$logstore-1 |
error_line | 引起错误的原始日志。 | M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b |
file_dev | 日志文件的device ID。 说明 当 | 123 |
file_inode | 日志文件的inode。 说明 当 | 124 |
file_name | 日志文件的完整路径或者值为 | /abc/file_1 |
file_size | 日志文件大小,单位:字节。 | 12345 |
history_data_failures | 历史处理失败次数。 | 0 |
last_read_time | 时间窗口内最近的读取时间,Unix时间戳。 | 1525346677 |
project | Project名称。 | project-1 |
logtail_version | Logtail版本。 | 0.14.2 |
os | 操作系统。 | Windows |
parse_failures | 时间窗口内日志解析失败的行数。 | 12 |
read_avg_delay | 时间窗口内平均每次读取日志数据时,当前偏移量与文件大小差值的平均值。 | 65 |
read_count | 时间窗口内日志读取次数。 | 10 |
read_offset | 当前读取到文件偏移位置,单位:字节。 | 12345 |
regex_match_failures | 正则表达式匹配失败次数。 | 1 |
send_failures | 时间窗口内发送失败的次数。 | 12 |
source_ip | Logtail所在机器的IP地址。 | 47.100.**.** |
succeed_lines | 处理成功的日志行数。 | 123 |
time_format_failures | 日志时间匹配失败次数。 | 122 |
total_bytes | 读取的总字节数。 | 12345 |
Logstore统计特有日志字段,只有file_name
字段值为logstore_statistics
时才存在,具体说明如下表所示。
字段 | 说明 | 示例 |
send_block_flag | 时间窗口结束时发送队列是否阻塞。 | false |
send_discard_error | 时间窗口内因数据异常或无权限导致丢弃数据包的个数。 | 0 |
send_network_error | 时间窗口内因网络错误导致发送失败的数据包个数。 | 12 |
send_queue_size | 时间窗口结束时当前发送队列中未发送数据包数。 | 3 |
send_quota_error | 时间窗口内因Quota超限导致发送失败的数据包个数。 | 0 |
send_success_count | 时间窗口内发送成功的数据包个数。 | 12345 |
sender_valid_flag | 时间窗口结束时该Logstore的发送标志位是否正常。
| true |
max_send_success_time | 在时间窗口内最近一次发送数据成功的时间,为Unix时间戳。 | 1525342763 |
max_unsend_time | 在时间窗口内,发送队列中最近一次数据包发送失败的时间。Unix时间戳,队列为空时该值为0。 | 1525342764 |
min_unsend_time | 在时间窗口内,发送队列中第一次数据包发送失败的时间。Unix时间戳,队列为空时该值为0。 | 1525342764 |
Logtail状态日志
字段 | 说明 | 示例 |
cpu | 进程CPU的负载。 | 0.001333156 |
hostname | 主机名。 | abc2.**** |
instance_id | 实例ID,随机值。 | 05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_151745**** |
ip | 主机的IP地址。 | 47.100.**.** |
load | 系统的平均负载。 | 0.01 0.04 0.05 2/376 5277 |
memory | Logtail进程占用的内存大小,单位:MB。 | 12 |
detail_metric | 各项计量值,JSON格式。更多信息,请参见detail_metric。 | |
os | 操作系统。 | Linux |
os_cpu | 系统整体的CPU使用率。 | 0.004120005 |
os_detail | 操作系统详细信息。 | 2.6.32-220.23.8.tcp1.34.el6.x86_64 |
user | 用户名。 | user |
user_defined_id | 用户定义的ID。 | aliyun-log-id |
uuid | 机器的UUID。 | 64F28D10-D100-492C-8FDC-0C62907F**** |
version | Logtail版本号。 | 0.14.2 |
project | Logtail采集配置所属的Project。 | my-project |
其中,detail_metric字段包含如下子字段。
字段 | 说明 | 示例 |
config_count | Logtail采集配置的数量。 | 1 |
config_get_last_time | 上一次获取Logtail采集配置的时间。 | 2021-07-20 16:19:22 |
config_update_count | Logtail启动后,Logtail采集配置更新的次数。 | 1 |
config_update_item_count | Logtail启动后,Logtail采集配置项更新的总和。 | 1 |
config_update_last_time | Logtail启动后,Logtail采集配置最后一次更新的时间。 | 2021-07-20 16:18:42 |
env_config | 是否使用环境变量创建Logtail采集配置。 | false |
event_tps | 事件TPS。 | 1 |
last_read_event_time | 上一次获取事件的时间。 | 2021-07-20 16:18:42 |
last_send_time | 上一次发送数据的时间。 | 2021-07-20 16:18:42 |
multi_config | 是否开启多个Logtail采集配置采集相同的文件。 | false |
net_err_stat | 最近1分钟、5分钟和15分钟内网络发生错误的次数。 | 0,0,0 |
open_fd | 目前打开的文件数量。 | 1 |
plugin_enabled | 是否使用了插件功能。
| false |
poll_modify_size | 监听修改事件的文件数量。 | 1 |
polling_dir_cache | 扫描的文件夹数量。 | 1 |
polling_file_cache | 扫描的文件数量。 | 1 |
process_bytes_ps | 每秒处理的日志量,单位:字节。 | 1000 |
process_lines_ps | 每秒处理的日志条数。 | 1000 |
process_queue_full | 达到最大长度限制的处理队列个数。 | 1 |
process_queue_total | 处理队列数量。 | 10 |
process_tps | 处理TPS。 | 0 |
reader_count | 正在处理的文件数。 | 1 |
region | Logtail所在的地域。 | cn-hangzhou |
register_handler | 要监控的文件夹数量。 | 1 |
send_bytes_ps | 每秒发送的原始日志量(字节)。 | 11111 |
send_lines_ps | 每秒发送的日志条数。 | 1000 |
send_net_bytes_ps | 每秒发送的网络数据量(字节)。 | 1000 |
send_queue_full | 达到最大长度限制的发送队列个数。 | 1 |
send_queue_total | 发送队列数量。 | 12 |
send_request_concurrency | 发送并发上限数。 | 10 |
send_tps | 发送TPS。 | 0.075 |
sender_invalid | 异常的发送队列数。 | 0 |
start_time | 启动时间。 | 2021-07-20 16:19:22 |
used_sending_concurrency | 当前已使用的发送并发数。 | 0 |
定时SQL任务运行日志
字段 | 说明 | 示例 |
__topic__ | 日志主题,固定为scheduled_sql_alert。 | scheduled_sql_alert。 |
project | 定时SQL任务所在的Project。 | my-project-name |
job_name | 定时SQL任务名称。 | sql-16xxxxxxx-xxxxxx |
schedule_id | 任务ID。 | 77****ca |
job_type | 定时SQL任务类型,固定为ScheduledSQL。 | ScheduledSQL |
instance_id | 定时SQL任务中实例的标识。 | 7e****dc |
create_time | 实例的创建时间,单位:秒。 | 1652343365 |
schedule_time | 实例的调度时间,单位:秒。 | 1652343360 |
trigger_time | 实例的触发时间,单位:秒。 | 1652343365 |
status | 实例的执行结果,取值为FAILED、SUCCEEDED。 | FAILED |
error_code | 实例执行失败时的错误原因。 | SQLFailed |
error_message | 实例执行失败时的错误详情。 | sql syntax error |
fallbehind | 实例的触发时间和调度时间的间隔,用于表示实例执行的延迟情况。单位:秒。 | 85 |
succeed_lines |
| 100 |
数据加工(新版)、导入和投递(新版)任务运行日志
字段 | 说明 | 示例 |
__topic__ | 日志主题,固定为etl_metrics。 | etl_metrics |
metric_type | 任务运行日志的类型标识,固定为ConnectorMetrics。 | ConnectorMetrics |
project | 任务所属的Project。 | my-sls-project |
job_name | 任务名称。 | job-16****53 |
instance_id | 任务运行的实例ID。 | 10e****b4f6 |
_etl_:connector_meta | 数据源或者目标的任务元信息。更多信息,请参见_etl_:connector_meta。 | 无 |
_etl_:connector_metrics | 数据源或者目标的任务运行指标。更多信息,请参见_etl_:connector_metrics。 | 无 |
_etl_:connector_meta字段包含如下子字段。
字段 | 说明 | 示例 |
action | 任务的操作。
| ingest |
connector | 数据源类型或者目标类型。
| oss |
instance | 数据源实例名称或目标实例名称。 | my-oss-bucket |
task_id | 任务ID。 | 1669277 |
task_name | 任务名称。 | 1652765276578_task_0 |
task_type | 任务类型,固定为CONNECTOR。 | CONNECTOR |
_etl_:connector_metrics字段包含如下子字段。
字段 | 说明 | 示例 |
state | 任务运行状态。
| 0 |
error | 任务运行的错误信息。 无错误信息时,日志中不存在该字段。 | fail to pull logs, unauthorized |
lags | 任务运行进度。 只针对数据读取任务,即action字段值为ingest时,日志中存在lags字段。该字段值与数据源类型(connector字段)相关。
| 0.813 |
desc | 只针对数据读取任务,即action字段值为ingest时,日志中存在desc字段。该字段值与数据源类型(connector字段)相关。
| s |
events | 时间范围内处理的数据条目数。 | 13245 |
failed | 时间范围内处理失败的数据条目数。 | 3 |
native_bytes | 时间范围内处理的数据的原始大小。 | 7539125 |
events_bytes | 时间范围内处理的数据被解析后的大小。 | 13295475 |
pub_net_bytes | 时间范围内处理的数据的公网流量。 | 45678 |
req_count | 时间范围内数据源或者目标的请求次数。 | 89 |
req_count | 时间范围内数据源或者目标的平均请求延迟。 | 38 |
rate_limit_hits | 时间范围内数据源或者目标请求被限流次数。 | 1 |
extras | 其他相关信息。当字段值存在时,日志中才会展示该字段。 该字段值与数据源类型(connector字段)相关。 | {"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"} |