运维与 SRE

指标设计

选择正确的指标体系（RED、USE、RUM）并在所有服务中一致地埋点。

仪表盘

构建值班工程师凌晨 3 点也能读懂的仪表盘 — 快、直观、面向行动。

合成监控

从外部探针向生产环境运行脚本化事务，在用户之前发现宕机。

真实用户监控

从真实用户浏览器收集性能和错误，看到用户实际体验。

可用性检查

从多区域轻量 TCP/HTTP ping，以最小成本检测可达性宕机。

APM 设置

安装应用性能监控以获得分布式 trace、服务地图和逐请求 profiling。

告警规则

定义基于用户可见症状而非内部噪声的告警规则，带清晰阈值和归属。

升级策略

定义谁被 page、什么顺序、首响应者不确认时何时升级。

值班轮换

在团队中公平排值班班，含 follow-the-sun、交接和补偿策略。

告警疲劳

降低告警量使每个 page 有意义 — 修剪、聚合和噪声预算。

Runbook 触发

把每个告警链接 runbook，并在首步确定时自动触发可执行 runbook。

严重性映射

把每个事件按用户和业务影响（非技术原因）映射到严重性（SEV1-SEV4）。

SLO 定义

定义把技术可靠性与用户幸福绑定的可测服务等级目标。

错误预算

把错误预算作共享记分板，治理部署速度和可靠性投资。

减少琐事

识别并消除重复、手动、可自动化的运维工作对工程时间的消耗。

无指责复盘

运行找系统原因和产行动项而非替罪羊的无指责复盘。

可靠性目标

按服务层设可靠性目标使投资匹配服务对业务的关键性。

容量余量

维持被测容量余量使流量突增不致饱和宕机。

事件严重性

检测后 5 分钟内声明严重性以定响应紧急度和升级。

作战室

为 SEV1 开专用事件频道和桥以集中协调并减跨团队摩擦。

通讯协议

定义事件中谁对谁通讯什么 — 内部、利益相关者、客户。

回滚手册

使回滚成一键、演练充分的行动使部署 5 分钟内可逆。

客户通讯

宕机期间经状态页、邮件和应用内横幅与客户通讯，诚实且有节奏。

事后审查

经无指责复盘和跟踪行动项把每事件转系统改进。

事件指挥官

指定协调、决策和通讯的事件指挥官 — 非调试的人。

通讯协议

用可预测节奏和状态页在事件中让客户和利益相关者知情。

作战室

为 SEV1 召集聚焦作战室，含对人、清晰范围和时间限。

复盘流程

5 工作日内运行结构化复盘，产时间线、根因和被跟踪行动项。

游戏日

在 staging 注入失败的游戏日，在真实宕机前练事件响应。

MTTR 跟踪

把平均解决时间作事件响应质量的先导指标跟踪，连同 MTTA 和 MTTF。

Runbook 结构

用固定模板结构化 runbook：症状、诊断、步骤、验证、升级。

Runbook 归属

给每 runbook 分负责人和团队；季度审查使 runbook 不腐。

可执行 Runbook

使 runbook 成可执行脚本非仅文档 — 值班跑 runbook 非读它。

Runbook 测试

在 staging 定期测 runbook 使真实事件中首次执行非首次测。

Runbook 发现

使 runbook 从告警、仪表盘和服务目录可发现 — 非埋在 wiki。

Runbook 版本化

在 git 随代码版本化 runbook 使其随系统演化和可审查。

结构化日志

把日志作带字段（时间戳、级别、服务、trace_id、消息）的 JSON 发，非非结构化文本。

日志聚合

把所有服务日志集中到带保留、搜索和告警的单一聚合器。

日志采样

采样高量非错误日志控成本同时保 100% 错误和警告。

日志告警

按日志模式告警 — 特定错误、错误率和预期日志缺失 — 非仅指标。

日志保留

设分层保留（热/温/冷）平衡查询速度、成本和合规需求。

日志关联

用 trace_id 把日志与 trace 和指标关联在事件中看全请求路径。

余量目标

在关键资源上保 30-50% 余量使流量尖峰不变成宕机。

需求预测

从历史趋势、季节性和业务事件预测需求以预置容量。

自动扩缩

配对流量变快响应的自动扩缩，带合适指标和冷却。

负载测试

在 prod 前负载测到容量限使你知天花板并能规划余量。

容量告警

在容量耗尽（余量、饱和、增长率）成宕机前告警。