service-mesh-observability

Service Mesh 可观测性配置指南

技能概述

Service Mesh 可观测性技能为您提供 Istio 和 Linkerd 服务网格的完整监控方案，包括分布式追踪、指标采集、服务依赖可视化及告警配置的最佳实践。

适用场景

1. 服务网格监控部署

当您需要为 Kubernetes 集群中的 Service Mesh 建立完整的可观测性体系时，使用此技能。它涵盖 Prometheus 指标采集、Jaeger 分布式追踪、Kiali 服务拓扑可视化等核心组件的配置方法，帮助您快速搭建生产级监控平台。

2. 延迟与故障排查

当服务间调用出现性能瓶颈或异常时，此技能提供完整的排查流程。通过分布式追踪定位具体耗时环节，使用 PromQL 查询分析错误率和延迟指标，结合 Grafana 仪表板快速定位问题根源。

3. 服务通信 SLO 定义

当您需要为服务网格建立服务质量目标时，此技能提供金信号（延迟、流量、错误、饱和度）的监控阈值配置、Prometheus 告警规则编写，以及 OpenTelemetry 集成方案，帮助您建立可靠的服务级别监控体系。

核心功能

分布式追踪配置

提供 Istio 和 Linkerd 与 Jaeger/Zipkin 的完整集成配置，包括追踪采样率设置（开发环境 100%、生产环境 1-10%）、Span 上下文传播、追踪数据分析方法，帮助您端到端追踪服务调用链路。

指标采集与查询

内置 Service Mesh 核心 PromQL 查询模板，涵盖请求速率、错误率、P99 延迟、TCP 连接数等关键指标，配合 Prometheus Operator ServiceMonitor 配置，实现自动化指标采集和可视化仪表板。

服务依赖可视化

提供 Kiali 服务拓扑图配置和 Linkerd Viz 实时流量分析命令，帮助您直观查看服务间依赖关系、实时流量状态、per-route 指标分析，有效支持微服务架构的运维决策。

常见问题

Service Mesh 可观测性的三大支柱是什么？

可观测性三大支柱包括 指标、追踪 和 日志。指标关注请求速率、错误率、延迟等数值型数据；追踪通过 Span 上下文记录请求在服务间的完整调用链路，帮助定位性能瓶颈和依赖关系；日志提供访问记录、错误详情和审计信息。在 Service Mesh 中，这三者结合使用可以实现全面的服务监控和故障诊断。

生产环境下追踪采样率应该如何设置？

生产环境建议设置 1-10% 的追踪采样率。100% 采样会产生海量数据，显著增加存储成本和查询开销，而适度的采样仍能捕获大部分性能问题。开发测试环境可以使用 100% 采样以获取完整追踪数据。Istio 中通过 tracing.sampling 参数控制，Linkerd 使用环境变量配置。对于关键业务流量，可以考虑基于服务或 header 的智能采样策略。

如何使用 PromQL 查询服务网格的错误率？

使用以下 PromQL 查询计算服务 5xx 错误率：

sum(rate(istio_requests_total{reporter="destination", response_code=~"5.."}[5m]))
  / sum(rate(istio_requests_total{reporter="destination"}[5m])) * 100

此查询按服务聚合 5 分钟内的错误请求比例，返回百分比数值。建议配合 Grafana 面板设置阈值告警（如 >1% 触发告警）。对于 Linkerd，查询类似但使用 linkerd_* 系列指标。

此技能支持哪些 Service Mesh 平台？

主要支持 Istio 和 Linkerd 两大主流 Service Mesh 平台。Istio 部分涵盖 Telemetry v2 API、Prometheus 集成、Jaeger 追踪、Kiali 可视化；Linkerd 部分涵盖 viz 扩展、CLI 监控命令、tap 流量检查。同时提供 OpenTelemetry Collector 通用集成方案，可用于兼容 OTel 协议的其他 mesh 实现。

如何降低 Service Mesh 可观测性的存储成本？

建议采取以下策略：合理设置采样率（生产环境 1-10%）、控制指标基数（避免高基数标签）、使用热冷存储分层（近期数据高性能存储，历史数据低成本对象存储）、设置数据保留策略（如追踪数据保留 7-30 天）。同时监控可观测性组件本身的资源消耗，避免observability 系统成为业务负担。