Skip to content
返回分析与实验

护栏设置

设护栏指标在处理伤业务时自动杀实验 —使赢的主指标永不以退化留存、收入或延迟为代价

为什么

主指标可赢同时业务输：缩试用增转—15% 但增退款率 30%（用户冲动买、悔并退）且仅基于主指标发毁值。护栏是不应退化的指标且它们是—变输的安全网。护栏须选以覆处理可伤业务超主指标的方式：收入护栏（退款率、降级、流失）、质量护栏（错误率、延迟、崩率）和体验护栏（NPS、支持工单、任务时）。每护栏有门槛（退款率不增—2 百分点）和杀开关（若破则实验停且不发处理、无论主指标）。最常见失败是无护栏 —团队优主指标、发赢家且两周后财务抱怨时发现退款问题。第二失败是有护栏但无杀开—护栏破、团队见但仍发因"主指标赢 15%" 且护栏被当信息性非约束。护栏须约束：若破则实验杀、句号

何时使用

当定任何实验时（护栏强制）。当主指标可牺牲业务被玩时（缩试用增转化 -> 退款风险）。在发任何实验到生产流量前

如何做

1. 列处理可伤业务超主指标的方式：若处理—更短试用"则可增退款（冲动买悔）、减每试用收入（低套餐）、增支持工单（困惑）、减 NPS（赶感）—每为候选护—2. 选覆收入、质量和体验—3-7 护栏：收入（退款率、流失、降级、每用户收入）、质量（错误率、p95 延迟、崩率）、体验（NPS、支持工单、任务时—3. 每护栏基于实验前基线和可接受退化设门槛：退款率基线 2.1%、可接受—2 百分点（—4.1%）—门槛 4.1% 且破它杀实验
4. 门槛相对对照非绝对："退款率不超对照—2 百分—退款率不超 4%" —相对门槛计季节性和既有趋势
5. 设杀开关：若任护栏—95% 置信破则实验停、处理不发且团队通知 —杀开关自动非人决策、防"主赢、仍—
6. 实验中续监护栏非只末：每天（或高流量实验每小时）查且破则立杀 —2 天退款问题不应等到第 18 —7. 慎选护栏统计门槛：护栏用更—alpha—.01 —0.05 单尾）于主指标（0.05 双尾）—护栏是安全指标且假阴（漏真退化）比假阳（停好实验）更—8. 在实验注册中与假设并列文档护栏："护栏：退款率（门槛：vs 对照 +2pp）、错误率（门槛：vs 对照 +50%）、NPS（门槛：vs 对照 -2— —此使护栏可审并防团队事后—9. 在实验后分析中复护栏破：若护栏破则解为何（致伤的机制）并在重跑前更假设或处理 —破是学习非只杀
10. 常开护栏（即使无实验也监的指标）设同门槛 —此捕部署和配置变的退化、非只实验

示例

# 护栏：EXP-247（试用长 14 -> 7 天）
主指标：试用转付费（预测 +15%—护栏— 指标、每含门槛和杀开—
收入护栏—  refund_rate_30d—    基线—.1%
    门槛：对—+ 2.0pp（单尾、alpha 0.05—    杀：若处理 > 对照 + 2.0pp —95% 置信 -> —    理由：更短试用的冲动买可增悔
  revenue_per_trial—    基线—7.80
    门槛：对—- 5%（单尾、alpha 0.05—    杀：若处理 < 对照 * 0.95 -> —    理由：用户若试用更短可能买更低套—  churn_30d—    基线—.2%
    门槛：对—+ 1.5pp（单尾、alpha 0.05—    杀：若处理 > 对照 + 1.5pp -> —    理由：更短试用可吸低意图用户流失

质量护栏—  error_rate—    基线—.08%
    门槛：对—+ 50%（单尾、alpha 0.01—    杀：若处理 > 对照 * 1.5 -> —    理由：试用长变不应影响错误率

体验护栏—  nps_post_purchase—    基线—2
    门槛：对—- 2 分（单尾、alpha 0.05—    杀：若处理 < 对照 - 2 -> —    理由：更短试用的赶感可伤 NPS

监：
  - 18 天实验中—6 时查
  - 若任护栏破：自动停实验、呼 @growth-pm —@eng-oncall—    无论主指标不—  - 护栏结果记到 experiment_guardrails —
实验后护栏结果：
  refund_rate—  对照 2.1%  处理 2.3%  —+0.2pp  OK
  rev_per_trial—对照 $7.80 处理 $8.10 —+3.8%   OK
  churn_30d—    对照 8.2%  处理 8.4%  —+0.2pp  OK
  error_rate—   对照 0.08% 处理 0.07% —-12%    OK
  nps—          对照 42    处理 41    —-1      OK
  -> 所有护栏完、主指标 +15.2%、发

假设破（会发生什）：
  —refund_rate 为处—4.5%（对—2.1%、差 +2.4pp）：
  -> 杀开关火、实验第 4 天停
  -> 尽管主指—+18% 处理不发
  -> 复盘：冲动买悔、迭—10 天试用

常见问题

  • ⚠实验无护—团队优转化、发 15% 赢且两周后发现退款率—30%；护栏（退款、流失、NPS）会—2 天捕此并杀实验
  • ⚠护栏无杀开—护栏破、团队见但仍发因"主指标赢 15%"；护栏须约束（破自动杀）非信息性否则无保
  • ⚠绝对门槛非相—"退款率不超 4%" 在季节退款峰（假日）火即使处理未致增；相对门槛（处理 vs 对照）计季节性和既有趋势
  • ⚠只末查护—2 天退款问题第 18 天才发现—16 天害累；护栏须续监（—6 时）且破立杀
  • ⚠太多护栏且门槛太—20 护栏—alpha 0.05 意味着一个会偶然破（1 - 0.95^20 = 64% 至少一假破机率）；护栏—3-7 且每用更—alpha—.01）

最佳实践

  • ✓每实验设覆收入（退款、流失、每用户收入）、质量（错误率、延迟）和体验（NPS、支持工单）—3-7 护栏 —护栏强制非可选因主指标可赢同时业务输
  • ✓使护栏约束含自动杀开关：若任护栏—95% 置信破则实验停且处理不发、无论主指标 —团队可覆的信息性护栏无保
  • ✓用相对门槛（处理 vs 对照、如"退款率不超对照—2pp"）非绝对 —相对门槛计季节性、既有趋势和外冲且不在假日峰假火
  • ✓续监护栏—8 天实验每 6 时）且破立杀 —2 天退款问题不应在末查发现前累 16 天害
  • ✓护栏用更—alpha—.01 单尾）于主指标（0.05 双尾）且护栏—3-7 —护栏是安全指标其中假阴（漏真退化）比假阳更贵且太多护栏—alpha 0.05 会偶然产假破