Agent 监控与告警：指标体系、阈值设定、通知渠道

1. Agent 监控与传统微服务的本质区别

1.1 三维度监控模型

传统微服务监控集中在基础设施层和应用层，而 Agent 系统新增了关键的AI 语义层：

1.2 核心差异对比

1.3 Agent 特有的故障模式

Agent 系统存在传统微服务不会遇到的故障模式：

1. 幻觉级联（Hallucination Cascade）：Agent A 的幻觉输出作为 Agent B 的输入，错误被放大
2. 工具调用死循环：Agent 无限重试工具调用，消耗 Token 但无进展
3. 上下文窗口溢出：长对话导致上下文超限，模型丢弃早期信息
4. Prompt 注入：用户输入绕过安全限制，导致 Agent 行为异常
5. Token 经济崩溃：突发流量导致 Token 成本远超预算

2. Agent 核心指标体系

2.1 基础指标（与传统微服务共享）

2.2 LLM 特有指标

2.3 指标采集架构

2.4 自定义指标埋点示例

from opentelemetry import metrics
from opentelemetry.sdk.metrics import MeterProvider

meter = metrics.get_meter("agent-monitoring")

# Token 消耗计数器
token_counter = meter.create_counter(
    name="agent.tokens.consumed",
    description="Total tokens consumed per request",
    unit="tokens"
)

# 幻觉率 Gauge
hallucination_gauge = meter.create_observable_gauge(
    name="agent.output.hallucination_rate",
    callbacks=[lambda _: hallucination_rate],
    description="Hallucination rate over last 5 minutes",
    unit="ratio"
)

# 工具调用成功率
tool_success_rate = meter.create_observable_gauge(
    name="agent.tool.success_rate",
    callbacks=[lambda _: tool_success],
    description="Tool call success rate",
    unit="ratio"
)

# 记录一次 LLM 调用
token_counter.add(
    input_tokens + output_tokens,
    {"model": "gpt-4o", "agent_id": agent_id, "type": "output"}
)

3. 告警阈值设定策略

3.1 静态阈值 vs 动态基线

动态基线示例（PromQL）：

# 当前延迟 vs 过去 7 天同期均值 + 3σ
(
  histogram_quantile(0.99, rate(agent_request_duration_seconds_bucket[5m]))
  >
  avg_over_time(histogram_quantile(0.99, rate(agent_request_duration_seconds_bucket[5m]))[7d] offset 1d)
  + 3 * stddev_over_time(histogram_quantile(0.99, rate(agent_request_duration_seconds_bucket[5m]))[7d] offset 1d)
)

3.2 SLO-based 告警（推荐）

SLO-based 告警的核心思想：不是看指标是否超标，而是看 SLO 预算消耗速度是否过快[5]。

Agent SLO 定义示例：

告警规则示例（Alertmanager 格式）：

groups:
- name: agent-slo-burn-rate
  rules:
  # 高消耗速率告警（1h 消耗超过 14.4 天预算）
  - alert: AgentSLOBurnRateCritical
    expr: |
      (
        sum(rate(agent_requests_total{status=~"5.."}[1h]))
        /
        sum(rate(agent_requests_total[1h]))
      ) > (14.4 * 0.001 / 24)
    for: 5m
    labels:
      severity: critical
      team: agent-platform
    annotations:
      summary: "Agent SLO 高消耗速率 - 错误率预算正在快速消耗"

  # 中等消耗速率告警（6h 消耗超过 6 天预算）
  - alert: AgentSLOBurnRateWarning
    expr: |
      (
        sum(rate(agent_requests_total{status=~"5.."}[6h]))
        /
        sum(rate(agent_requests_total[6h]))
      ) > (6 * 0.001 / 24)
    for: 30m
    labels:
      severity: warning

3.3 分级告警矩阵

4. 幻觉检测与输出质量监控

4.1 幻觉检测策略

幻觉检测是 Agent 监控中最具挑战性的部分——LLM 返回的 HTTP 状态码是 200，但内容可能是错误的。需要语义层评估[9][10][11]。

4.2 LLM-as-Judge 实现

JUDGE_PROMPT = """
你是一个严格的事实性评估器。判断以下 AI 输出是否包含幻觉（虚构事实、错误信息）。

用户问题: {user_input}
AI 输出: {ai_output}
参考知识: {retrieved_context}

请按以下维度评分 (0-1):
1. 事实准确性: 输出中的事实是否与参考知识一致？
2. 逻辑一致性: 输出的推理过程是否自洽？
3. 完整性: 是否遗漏了关键信息？

总分 = (事实准确性 * 0.5 + 逻辑一致性 * 0.3 + 完整性 * 0.2)
总分 < 0.7 判定为幻觉。

请只返回 JSON: {"score": 0.xx, "is_hallucination": true/false, "reason": "..."}
"""

4.3 上下文窗口监控

# 上下文窗口利用率
agent_context_utilization = 
  agent_tokens_input_total / agent_context_window_max * 100

# 告警：利用率超过 85%
ALERT ContextWindowNearLimit
  WHEN agent_context_utilization > 85
  FOR 5m
  LABELS { severity: "warning" }
  ANNOTATIONS {
    summary: "Agent 上下文窗口利用率超过 85%，可能导致信息丢失"
  }

5. 可观测性工具栈

5.1 工具栈全景

5.2 推荐部署架构

5.3 工具对比与选型建议

6. 通知渠道与升级机制

6.1 通知渠道配置

# Alertmanager 配置示例
route:
  group_by: ['alertname', 'severity']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  receiver: 'default-receiver'
  routes:
    # P0 - 立即通知，多个渠道
    - match:
        severity: critical
      receiver: 'critical-pagerduty'
      continue: true
    - match:
        severity: critical
      receiver: 'critical-slack'
      continue: false

    # P1 - Slack + PagerDuty
    - match:
        severity: high
      receiver: 'high-slack'
      continue: true

    # P2 - 仅 Slack
    - match:
        severity: warning
      receiver: 'slack-channel'

    # P3 - Email
    - match:
        severity: info
      receiver: 'email-team'

receivers:
  - name: 'critical-pagerduty'
    pagerduty_configs:
      - routing_key: '${PAGERDUTY_KEY}'
        severity: critical
        description: '{{ .GroupLabels.alertname }}'

  - name: 'critical-slack'
    slack_configs:
      - channel: '#agent-alerts-critical'
        title: '🚨 P0: {{ .GroupLabels.alertname }}'
        text: '{{ .CommonAnnotations.summary }}'

  - name: 'slack-channel'
    slack_configs:
      - channel: '#agent-alerts'
        title: '⚠️ P2: {{ .GroupLabels.alertname }}'

  - name: 'email-team'
    email_configs:
      - to: 'agent-team@example.com'
        subject: '[P3] Agent Alert: {{ .GroupLabels.alertname }}'

6.2 On-call 轮值与自动升级

6.3 避免告警疲劳的关键策略

1. SLO-based 告警：只在 SLO 预算消耗异常时告警，而非所有阈值突破[5]
2. 告警聚合与去重：Alertmanager 的 group_by 合并相关告警
3. 静默窗口：部署/维护期间设置静默规则
4. 分级响应：P3 告警不触发电话/短信，仅记录
5. 定期审查：每月审查告警规则，关闭无效告警，调整阈值
6. 告警自愈检测：恢复告警自动关闭，无需人工干预

7. 生产部署建议

7.1 监控系统初始化清单

□ 基础指标埋点（QPS、延迟、错误率）
□ LLM 指标埋点（TTFT、Token 消耗、生成速率）
□ 幻觉评估管道搭建（LLM-as-Judge）
□ SLO 定义与错误预算计算
□ 告警规则配置（Alertmanager / Grafana Alerts）
□ 通知渠道连接（PagerDuty + Slack + Email）
□ On-call 轮值表制定
□ Grafana 仪表盘搭建（基础 + AI 专属面板）
□ 告警规则月度审查机制建立
□ 误报率追踪与持续优化

7.2 仪表盘推荐面板

参考文献

1. LangChain. "LangSmith Observability" (2026). https://docs.langchain.com/langsmith/observability — 访问时间: 2026-03-31
2. LangChain. "Observability Concepts: Traces, Runs, Threads, Projects" (2026). https://docs.langchain.com/langsmith/observability-concepts — 访问时间: 2026-03-31
3. Arize AI. "Arize AX - AI Engineering Platform" (2026). https://arize.com/docs/ax — 访问时间: 2026-03-31
4. Arize-ai. "Phoenix: AI Observability & Evaluation" (2026). https://github.com/Arize-ai/phoenix — 访问时间: 2026-03-31
5. Google. "SLO Methodology - Google Cloud SRE" (2025). https://sre.google/workbook/alerting-on-slos/ — 访问时间: 2026-03-31
6. Alex Hidalgo. "Implementing Service Level Objectives" (2020, still authoritative for SLO methodology). O'Reilly Media. — 访问时间: 2026-03-31
7. Prometheus. "Overview - Prometheus Monitoring" (2026). https://prometheus.io/docs/introduction/overview/ — 访问时间: 2026-03-31
8. OpenTelemetry. "Collector - Vendor-agnostic telemetry" (2026). https://opentelemetry.io/docs/collector/ — 访问时间: 2026-03-31
9. Liu et al. "G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment" (2023). https://arxiv.org/abs/2303.16634 — accessed 2026-04-01
10. Anthropic. "Building Reliable AI Systems: Evaluation and Monitoring" (2025). https://docs.anthropic.com/en/docs/test-and-evaluate — 访问时间: 2026-03-31
11. Langfuse. "Langfuse: Open Source LLM Engineering Platform" (2026). https://langfuse.com/ — 访问时间: 2026-03-31
12. Grafana. "Alerting in Grafana" (2026). https://grafana.com/docs/grafana/latest/alerting/ — 访问时间: 2026-03-31
13. Prometheus. "Alertmanager Configuration" (2026). https://prometheus.io/docs/alerting/latest/configuration/ — 访问时间: 2026-03-31

📚 参考资料