如何使用可观测配置 - 服务网格 ASM

服务网格ASM提供日志、监控指标、链路追踪维度的可观测配置功能。您可以通过ASM控制台为全局、命名空间或指定工作负载自定义相关配置，例如日志输出的格式、指标的维度、是否启用特定监控指标、设置链路追踪的采样率等。本文介绍如何使用可观测配置功能。

前提条件

已创建ASM实例，且版本为1.17.2.35及以上。具体操作，请参见创建ASM实例或升级ASM实例。

作用范围

类型	说明
全局	全局配置支持日志、监控指标、链路追踪设置。全局配置只有一份，无法删除。仅全局配置支持链路追踪设置。
命名空间	为命名空间创建专有的可观测配置。每个命名空间只能有一份命名空间级可观测配置。
自定义	通过工作负载选择器选定一个自定义配置的生效范围。每个工作负载至多被一个自定义配置选中。

操作步骤

全局

登录ASM控制台，在左侧导航栏，选择服务网格 > 网格管理。
在网格管理页面，单击目标实例名称，然后在左侧导航栏，选择可观测管理中心 > 可观测配置。

在可观测配置页面，单击全局页签，按需配置日志、监控指标和链路追踪，然后单击提交。

您可以单击下表的链接，查看配置的详细说明。

配置区域	说明
日志设置	启用或禁用访问日志输出设置日志输出形式自定义日志格式日志过滤
监控指标设置	启用或禁用监控指标生成指标维度
链路追踪设置	采样百分比自定义标签

命名空间

登录ASM控制台，在左侧导航栏，选择服务网格 > 网格管理。
在网格管理页面，单击目标实例名称，然后在左侧导航栏，选择可观测管理中心 > 可观测配置。
在可观测配置页面，单击命名空间页签，单击创建，选择目标命名空间，按需配置日志和监控指标，然后单击创建。
您可以单击下表的链接，查看配置的详细说明。
配置区域
说明
日志设置
启用或禁用访问日志输出
设置日志输出形式
自定义日志格式
日志过滤
监控指标设置
启用或禁用监控指标生成
指标维度

自定义

登录ASM控制台，在左侧导航栏，选择服务网格 > 网格管理。
在网格管理页面，单击目标实例名称，然后在左侧导航栏，选择可观测管理中心 > 可观测配置。
在可观测配置页面，单击自定义页签，选择目标命名空间，单击创建，输入名称和匹配标签，按需配置日志和监控指标，然后单击创建。
您可以单击下表的链接，查看配置的详细说明。
配置区域
说明
日志设置
启用或禁用访问日志输出
设置日志输出形式
自定义日志格式
日志过滤
监控指标设置
启用或禁用监控指标生成
指标维度

日志设置说明

日志设置包括启用或禁用访问日志输出、设置日志输出形式、自定义日志格式、日志过滤。

启用或禁用访问日志输出

在日志设置区域，按需打开或关闭启用日志输出开关。
- 打开开关，服务网格数据平面Sidecar或网关会将访问日志输出至容器标准输出。
- 关闭开关，服务网格数据平面Sidecar或网关停止将日志输出到容器标准输出。

在数据平面Sidecar容器的标准输出查看日志。

下文以使用kubectl查看访问日志为例进行说明。

执行以下命令，查看Sidecar日志。

kubectl logs httpbin-5c5944c58c-w**** -c istio-proxy --tail 1

展开查看示例输出

{
    "authority_for":"47.110.XX.XXX",
    "bytes_received":"0",
    "bytes_sent":"22382",
    "downstream_local_address":"192.168.0.29:80",
    "downstream_remote_address":"221.220.XXX.XXX:0",
    "duration":"80",
    "istio_policy_status":"-",
    "method":"GET",
    "path":"/static/favicon.ico",
    "protocol":"HTTP/1.1",
    "request_id":"0f2cf829-3da5-4810-a618-08d9745d****",
    "requested_server_name":"outbound_.8000_._.httpbin.default.svc.cluster.local",
    "response_code":"200",
    "response_flags":"-",
    "route_name":"default",
    "start_time":"2023-06-30T04:00:36.841Z",
    "trace_id":"-",
    "upstream_cluster":"inbound|80||",
    "upstream_host":"192.168.0.29:80",
    "upstream_local_address":"127.0.X.X:55879",
    "upstream_response_time":"79",
    "upstream_service_time":"79",
    "upstream_transport_failure_reason":"-",
    "user_agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.X.X Safari/537.36",
    "x_forwarded_for":"221.220.XXX.XXX"
}

执行以下命令，查看入口网关日志。

kubectl -n istio-system logs istio-ingressgateway-6cff9b6b58-r**** --tail 1

展开查看示例输出

{
    "authority_for":"47.110.XX.XXX",
    "bytes_received":"0",
    "bytes_sent":"22382",
    "downstream_local_address":"192.168.0.63:80",
    "downstream_remote_address":"221.220.XXX.XXX:64284",
    "duration":"81",
    "istio_policy_status":"-",
    "method":"GET",
    "path":"/static/favicon.ico",
    "protocol":"HTTP/1.1",
    "request_id":"0f2cf829-3da5-4810-a618-08d9745d****",
    "requested_server_name":"-",
    "response_code":"200",
    "response_flags":"-",
    "route_name":"httpbin",
    "start_time":"2023-06-30T04:00:36.841Z",
    "trace_id":"-",
    "upstream_cluster":"outbound|8000||httpbin.default.svc.cluster.local",
    "upstream_host":"192.168.0.29:80",
    "upstream_local_address":"192.168.0.63:36140",
    "upstream_response_time":"81",
    "upstream_service_time":"81",
    "upstream_transport_failure_reason":"-",
    "user_agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.X.X Safari/537.36",
    "x_forwarded_for":"221.220.XXX.XXX"
}

（可选）通过容器服务控制台查看访问日志。
如果您使用阿里云容器服务集群，还可以通过容器服务控制台查看访问日志。
1. 登录容器服务管理控制台，在左侧导航栏选择集群。
2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 容器组。
3. 在容器组页面，单击目标Pod名称，然后在页面下方单击日志页签，查看访问日志。

设置日志输出形式

说明

该功能仅支持1.20.6.36及以上版本的ASM实例。关于升级实例的具体操作，请参见升级ASM实例。

在日志设置区域，按需将日志输出形式设置为JSON或TEXT。

设置为JSON，访问日志将以JSON字符串的形式输出至容器标准输出。
设置为TEXT，访问日志将以纯文本字符串的形式输出至容器标准输出。

自定义日志格式

在日志设置区域，按需选中字段、修改自定义字段信息或在最下方日志指标右侧单击图标，新增日志字段。
只有打开启用日志输出开关，才能自定义日志格式。在日志格式区域，默认选中的日志字段为默认必选字段，不支持修改。日志字段支持从请求Header、响应Header、Envoy内置值中取值。
下文以打印请求中的accept-encoding Header为例，配置变量名称为accept-encoding，类型为请求属性，变量值为Accept-Encoding。

执行以下命令，查看服务网格数据平面组件日志。

kubectl logs httpbin-5c5944c58c-w**** -c istio-proxy --tail 1|grep accept-encoding --color=auto

展开查看示例输出

{
    "bytes_received":"0",
    "bytes_sent":"9593",
    "downstream_local_address":"192.168.0.29:80",
    "downstream_remote_address":"69.164.XXX.XX:0",
    "duration":"2",
    "istio_policy_status":"-",
    "method":"GET",
    "path":"/",
    "protocol":"HTTP/1.1",
    "request_id":"29939dc9-62be-4ddf-acf6-32cb098d****",
    "requested_server_name":"outbound_.8000_._.httpbin.default.svc.cluster.local",
    "response_code":"200",
    "response_flags":"-",
    "route_name":"default",
    "start_time":"2023-06-30T04:18:19.734Z",
    "trace_id":"-",
    "upstream_cluster":"inbound|80||",
    "upstream_host":"192.168.0.29:80",
    "upstream_local_address":"127.0.X.X:34723",
    "upstream_service_time":"2",
    "upstream_transport_failure_reason":"-",
    "user_agent":"Mozilla/5.0 zgrab/0.x",
    "x_forwarded_for":"69.164.XXX.XX",
    "authority_for":"47.110.XX.XXX",
    "upstream_response_time":"2",
    "accept-encoding":"gzip"
}

可以看到步骤1新增的Accept-Encoding Header的值，已被输出至访问日志。

日志过滤

在日志设置区域下方，按需选中启用日志过滤以激活日志过滤，然后在下方日志表达式文本框输入日志过滤表达式。未能与表达式匹配的请求对应的访问日志将不会输出。

例如，如果您希望只输出Response Http Status >=400的请求日志，则表达式为response.code >= 400。详细信息，请参见CEL表达式和常用字段。

CEL表达式和常用字段

日志过滤表达式为标准CEL（Common Expression Language）表达式。CEL表达式的常用字段如下。更多信息，请参见CEL和Envoy。

属性	类型	说明
request.path	string	请求路径。
request.url_path	string	不包含Query的请求路径。
request.host	string	URL中的主机名部分。
request.method	string	请求方法。
request.headers	map<string, string>	以全小写Header名索引的全部Request Header。
request.useragent	string	User Agent头的值。
request.time	timestamp	请求首个字节到达的时间。
request.id	string	请求ID。
request.protocol	string	请求协议，取值为`HTTP/1.0`、`HTTP/1.1`、`HTTP/2`或`HTTP/3`。
request.query	string	请求URL中的Query串。
response.code	int	HTTP响应的返回码。
response.code_details	string	响应代码详细信息。
response.grpc_status	int	响应中的gRPC状态码。
response.headers	map<string, string>	以全小写Header名索引的全部Response Header。
response.size	int	Response Body的大小，单位为byte。
response.total_size	int	Response消息的完整大小，单位为byte。

监控指标设置说明

监控指标设置包括启用或禁用监控指标生成、指标维度。

启用或禁用监控指标生成

监控指标分为CLIENT侧指标和SERVER侧指标。

CLIENT侧指标：Sidecar作为客户端主动发起请求时所产生的指标数据，网关指标也属于CLIENT类别。
SERVER侧指标：Sidecar作为服务端被动接受访问时所产生的指标数据。

在监控指标设置区域的CLIENT侧指标或SERVER侧指标列，按需选中或取消选中目标指标对应的启用。
- 启用指标：服务网格数据平面Sidecar或网关会将该指标通过15020端口的/stats/prometheus路径进行暴露。
- 不启用指标：该指标不会通过上述端口进行暴露。

执行以下命令，查看Sidecar或网关暴露的监控指标。

您可以通过kubectl命令在Sidecar或网关容器内执行curl命令，访问本地15020端口的/stats/prometheus路径，查看导出的监控指标。

kubectl exec httpbin-5c5944c58c-w**** -c istio-proxy -- curl 127.0.0.1:15020/stats/prometheus|head -n 10

示例输出：

# TYPE istio_agent_cert_expiry_seconds gauge
istio_agent_cert_expiry_seconds{resource_name="default"} 46725.287654548
# HELP istio_agent_endpoint_no_pod Endpoints without an associated pod.
# TYPE istio_agent_endpoint_no_pod gauge
istio_agent_endpoint_no_pod 0
# HELP istio_agent_go_gc_duration_seconds A summary of the pause duration of garbage collection cycles.
# TYPE istio_agent_go_gc_duration_seconds summary
istio_agent_go_gc_duration_seconds{quantile="0"} 5.0149e-05
istio_agent_go_gc_duration_seconds{quantile="0.25"} 9.8807e-05
......

指标维度

指标携带的维度可以表达更丰富的信息。您可以利用这些维度在Prometheus中筛选过滤出目标指标。例如，您可以通过source_app指标来筛选请求客户端为特定应用的指标。

在监控指标设置区域的CLIENT侧指标或SERVER侧指标列，单击已启用指标对应的编辑维度。
在自定义CLIENT 维度配置对话框，按需选中或取消选中导出指标的维度，然后单击确认。
指标维度不支持新增。通过修改指标的维度，您可以选择将一些不必要的指标维度禁用，以节约Prometheus的存储空间。通常大多数维度都需要保留，因此监控指标设置区域仅展示被移除的维度。

链路追踪设置说明

链路追踪设置包括采样百分比、自定义标签。该功能仅支持全局配置。

采样百分比

您可以自定义链路追踪的采样百分比，即触发上报链路追踪的请求的比例。设置为0表示关闭链路追踪，没有任何请求会触发上报。

自定义标签

您可以自定义上报的链路追踪Span携带的标签。在链路追踪设置区域，单击新增自定义标签，配置名称、类型和值。

类型取值包括固定值、请求Header和环境变量。类型的说明及标签配置示例如下。

类型	说明	标签配置示例
固定值	固定值类型标签的值将固定为您设置的值。	名称：env 类型：固定值值：prod
请求Header	请求Header标签的值将以您指定的请求Header的值作为标签值。若Header在请求中不存在，则使用默认值作为标签值。例如，从Header User-Agent中获取标签值，当Header不存在时则将标签值设置为默认值unknow。	名称：useragent 类型：请求Header 值： header名称：User-Agent 默认值：unknow
环境变量	环境变量标签将从工作负载的指定环境变量中获取标签值。若环境变量在工作负载中不存在，则使用默认值作为标签值。例如，从环境变量ENV中获取标签值，当环境变量不存在时则将标签值设置为默认值unknow。	名称：env 类型：环境变量值：环境变量名称：ENV 默认值：unknow