护栏指标

实验中不可退的指—功能破他物的"勿害"检查

为什么

提主指标 10% 但让 2% 用户结账崩的功能不是—是伪装成指标赢的收入损。护栏指标是防此的防：实验不可损的指标，与主指标同查，带自己的阈值和停条件。无护栏团队以一切代价优化主指标 —页加载时间爬升、错误率升、次漏斗—每个"—上一个小回归复利。护栏强制团队预先述功能不可破什么并在上前验。此—我们增点—10%"—我们增点—10% 且未害收入、加载时间或错误—之差 —后者是上线决策；前者是数

何时使用

测试设计时定、测试全程监、决策点查。为整个测试程序预定义（"标准护栏"）

如何做

1. 定适用你面每测试的标准护栏—   - 页加载时间（P95 < 基线 + 100ms—   - 错误率（< 基线 + 0.5pp—   - 核心转化（不可相对减 > 1%—   - 收入/ARPU（不可相对减 > 1%—2. 为触敏感区的功能加实验特定护栏：
   - 结账—-> 支付错误率、退款率
   - 搜索—-> 零结果率、搜索延—   - 引导—-> 首动作时间、支持工单率
3. 为每护栏设阈值：最大可接受退—错误率不可增—0.5pp"是阈值；"错误率不可增"不是（禁任噪声）
4. 设停条件：若护栏—> 2x 阈值立即停测试（不等全时长）—此限用户—5. 测试中每日监护栏非只—2 天破应第 2 天停非第 7 天测试结束时
6. 决策时查所有护栏：仅当主指标赢且无护栏破阈值才上。护栏破否决上线即使主指标高度显—7. 在实验结果记护栏检查："主：+10%（p<0.01）。护栏：加载时间 +12ms（内 100ms）、错误率 +0.1pp（内 0.5pp）、收—-0.3%（内 1%）。决策：上线—
8. 每季度复核标准护栏集 —产品增长时新敏感区现（如新支付方式需自己的错误率护栏）

示例

# 实验 #447（CTA 颜色）的护栏
标准护栏（适用所有结账测试）—  - page_load_p95—   基线 1.2s  阈—+100ms  —+200ms
  - error_rate—      基线 0.8%  阈—+0.5pp  —+1.0pp
  - checkout_conversion：基—64%   阈—-1% 相对 —-2% 相对
  - revenue_per_user—基线 $4.20 阈—-1% 相对 —-2% 相对

实验特定护栏—  -（无；CTA 颜色不触支付或搜索）

每日监控— 天中—2 天）—  page_load_p95—   1.21s—10ms— OK（内 +100ms—  error_rate—      0.79%—0.1pp—OK
  checkout_conversion—4.3%—0.3pp）OK
  revenue_per_user—$4.22—0.5%— OK
  -> 继续测试

—3 天告警：
  page_load_p95—   1.45s—250ms）破（停阈—+200ms—  -> 停测试、调查（可能 BlueCta —CSS 回归—  -> 不等—4 天、即—CTR 升也不上

决策（修复重跑后）：
  —CTR—6.2%（p=0.003—> —  护栏—    page_load_p95—   +8ms（内 +100ms）OK
    error_rate—      +0.0pp（内 +0.5pp）OK
    checkout_conversion—0.1pp（内 -1% 相对）OK
    revenue_per_user—+0.2%（内 -1% 相对）OK
  -> 上线（主赢、所有护栏内阈值）

常见问题

⚠全无护栏 —团队—10% CTR 赢但页加载时间增 400ms 且总收入因用户弃慢页降—是损但无护栏捕
⚠护栏阈值设零（"不可—）—任噪声触停、测试永不完、团队禁护栏以得结果，比无更糟
⚠只测试末查护—2 天破跑到—7 天害用户 5 天因无人看；护栏须每日监
⚠护栏破不否决上线 —团队见主指标高度显著并带护栏破上，辩"护栏大概噪声"；此败护栏全目的

最佳实践

✓为每面（结账、搜索、引导）定适用每测试的标准护栏—此省设计时且保无测试忘查加载时间或错误率
✓设允噪声但捕真害的阈—"+100ms"允测量噪声；"+0ms"禁。阈值应是会成真问题的最小退非零
✓每日带自动停条件监护—若护栏破 2x 阈值自动停测试；此限用户害至小时非天且—等等—诱
✓使护栏破为上线硬否决 —任一护栏破功能不上、句号；团队可重设重测但不可上已知害，此规须由实验平台执非人意志