Skip to content
返回分析与实验

实时监控

为需即时响应的指标设实时监控 —错误率、延迟、转化降 —使团队在分钟非小时检测和响应事件

为什么

有些指标慢退化（LTV、留存）可每周复但其他分钟退化需即时响应：错误率—0.1% 飙到 5% 意味用户现正转化失败且每分延迟耗收入。实时监控是 5 分钟检测部署致转化降（回滚、失 20 转化）和 4 小时检测（—800 转化和一天增长）的差。设置须区分信号和噪—.1% 错误率波—0.15% 是噪但跳—2% 是信号且警门槛须设使团队为信号非噪被呼（"警疲—问题其中团队忽所有警—90% 假）。关键设计选择是：监什（仅分钟要的指标 —错误率、延迟、结账转化、支付成功）、窗— 分滚快检— 分稳）、门槛（绝对 + 相对：错误率 > 1% —> 3x 基线）和升（P1 —on-call、P2 Slack、P3 邮件）。最常见失败是实时监一切、产如此多噪使团队忽所有警，第二是实时监但日报门槛警故凌晨 2 点为可等早上的指标火警

何时使用

当指标退化每分耗收入时（错误率、结账转化、支付成功）。当部署可坏生产时（每部署应触金丝雀查）。当团队 on-call 且需快检事件时

如何做

1. 列分钟要的指标：错误率、p95/p99 延迟、结账转化率、支付成功率、API 可用 —此需实时监；LTV、留存、NPS 不（它们周变—2. 每指标定基线：正常值及其自然波 —错误—0.1% 波到 0.2% 故警门槛须高—0.2% 避噪
3. 选窗— 分滚快检（错误率、可用）— 分稳（转化率— 分粒度因低计数噪—4. 设门槛含绝对和相对条件：错误—> 1% —> 3x 基线 —绝对捕高严重事件、相对捕低基线的异常—5. 定警路由：P1（影响收入、立—on-call）、P2（退化、Slack #on-call）、P3（警、邮件摘要）—严重定渠道和响应—6. 每部署加金丝雀查：部署—5 分、把错误率和转化率与部署前基线比；若退化则自动回滚 —5 分捕部署致事—7. 设警冷却：警火后抑重—15 —无此 30 分事件产 30 呼且 on-call 工程师不能—8. 每警—runbook 链：警应—runbook（查什、如何回滚、升给谁）使 on-call 工程—2 分响应非 20
9. 跟警质量：每周复哪些警火、哪些真阳、哪些假并调门槛 —警疲劳是敌且 90% 假阳率意味着团队忽所有警
10. 不实时监慢变指标：LTV、留存、NPS 周变；实时监它们浪费算并产凌—2 点为可等早上—0.01% 变火警

示例

# 实时监控：结账和支付
监指标（分钟要）—  - 结账转化率（5 分窗—  - 支付成功率（1 分窗—  - API p95 延迟— 分窗—  - 错误—5xx— 分窗—
基线（近 30 天、排除事件）—  结账转化—   3.2%（波 2.8%-3.6%—  支付成功—   99.7%（波 99.4%-99.9%—  API p95 延迟—80ms（波 150-220ms—  错误—5xx— 0.08%（波 0.05%-0.15%—
警门槛（绝对且相对）—  结账转化—   < 2.5% —< 基线 80% -> P1（呼—  支付成功—   < 98%   —< 基线 99% -> P1（呼—  API p95 延迟— 500ms —> 2x 基线  -> P2（Slack—  错误—5xx— > 1%    —> 5x 基线  -> P1（呼—
金丝雀查（每部署）—  - 部署—5 分比
  - 若结账转—< 2.5% 或错误率 > 1%：自动回—  - 回滚时：90 秒（terraform apply + 健康查）

警路由：
  P1：PagerDuty -> on-call 工程师（5 分响—SLA—      + Slack #incidents（所有工程师通知—  P2：Slack #on-call—0 分响应）
  P3：邮件摘要（次早—
Runbook（每警链）：
  1. 查近部署（近 30 分）-> 若疑则回—  2. 查错误日—-> 识失败端—  3. 查下游服务（Stripe、DB—> 状态页
  4. —Stripe：查 https://status.stripe.com
  5. —DB：查连接池、慢查询日志
  6. 若支付特定则—@payments-eng
  7. —15 分在 #incidents 发事件更—
警质量（2026 —9 月）—  总警—7
  真阳—9—3%— <- 目标 > 80%
  假阳—7%—  <- 调门槛减
  均检时：3.2 分（目标 < 5 分）
  均解时：18 分（目标 < 30 分）

常见问题

  • ⚠实时监一切并产警疲劳 —每周 200 警其—90% 假意味着团队忽所有警含真事件；仅监分钟要的指标
  • ⚠无基线设门槛 —错误率正常波—0.15% —> 0.1% 警产持续噪；门槛须高于自然波才为信号
  • ⚠实时警慢变指—LTV 和留存周变；实时监它们浪费算并为 0.01% 变凌—2 点火警可等早上
  • ⚠部署无金丝雀—部署下午 2 点坏结账且团队下—6 点经客户报检— 分金丝雀查会自动回滚并省 4 时失转化
  • ⚠警无 runbook —on-call 工程师收呼、不知查什并花 20 分读码；警中 runbook 链把响应时砍—2 分

最佳实践

  • ✓仅实时监分钟要的指标（错误率、延迟、结账转化、支付成功）—慢变指标（LTV、留存、NPS）应每周复；实时监一切产警疲劳且团队忽真事件
  • ✓用绝对和相对条件设警门槛（错误率 > 1% —> 3x 基线）—绝对捕高严重事件、相对捕低基线的异常变且两者都需避假阳
  • ✓每部署加金丝雀查把部署后指标与基线比且退化则自动回滚 —5 分捕部署致事件非 4 时且自动回滚除人决策延迟
  • ✓每警—runbook 链使 on-call 工程—2 分响—runbook 指定查什、如何回滚和升给谁且无它工程师花 20 分读码
  • ✓每周跟警质量（真阳率、假阳率、均检时）并调门槛 —> 20% 假阳率意味着团队忽警且门槛须紧到信噪—> 80%