发布决策

为什么

何时使用

如何做

1. 等实验达预注册样本量 —不早窥结果并—看似显著"时停实验因窥膨胀假阳率（每窥为独立测—alpha 0.05 —10 窥产 40% 假阳率）
2. 先查所有护栏：若任护栏破则实验杀、处理不发且团队查护栏为何破（致伤机制）—护栏约束、主指标不覆它们
3. 应预注册决策规则：若转化 >= 3.52%（最小有趣效应）则发；若 3.2% <= 转化 < 3.52% 则不确、迭代；若转—< 3.2% 则伪、弃 —规则实验前设避确认偏
4. 查段级效应非只均—8% 均可能为新用—+20% 和现有用—-4% —若是则发到新用户段（段特定发）而非基于均发或弃
5. 把效应量对赢家诅咒查：实验估向上偏（你因它赢而发且赢家是高估）；期生产效应为实验估的 60-80% 并在生产—2 周验
6. 若决策为"—100%"：渐滚（一周内 10% -> 50% -> 100%）、滚中监护栏且生产中任护栏破则自动回—7. 若决策为"迭代"：结果不确（非赢、非伪）且团队应试变体（10 天试用代 7 天）带新假设 —原实验产学习— 天试用未—15% 提升）此告下实验
8. 若决策为"—：假设伪、机制不立且团队文档学习—更短试用不通过稀意图机制增转化；80% 转化已在—3 天前故试用长非约—）—此防团队 6 月后重试同假—9. 在归档文档实验：假设、结果、护栏结果、段效应、决策和学习 —归档可搜故未来实验可参且团队不重跑伪假设
10. 发后 2 周验生产效应：把生产指标与实验估比；若生产效—< 估的 50% 则赢家诅咒严重且实验价值低于预—此校未来实验估

示例

# 发布决策：EXP-247（试用长 14 -> 7 天）
样本量达：第 18 天、每—38,400（—76,800—预注册决策规则：
  转化 >= 3.52% 且护栏完 -> —100%
  3.20% <= 转化 < 3.52% -> 不确、迭—  转化 < 3.20% -> 伪、弃

步骤 1：护栏查（都须过—  refund_rate—  对照 2.1%  处理 2.3%  +0.2pp  OK— +2pp—  rev_per_trial—对照 $7.80 处理 $8.10 +3.8%   OK— -5%—  churn_30d—    对照 8.2%  处理 8.4%  +0.2pp  OK— +1.5pp—  error_rate—   对照 0.08% 处理 0.07% -12%    OK— +50%—  nps—          对照 42    处理 41    -1      OK— -2—  -> 所有护栏完、进主指—
步骤 2：主指标
  对照转化—   3.18%—,221 / 38,400—  处理转化—   3.66%—,405 / 38,400—  相对提升—   +15.1%—5% CI—8.2% —+22.0%—  p 值：        0.002（alpha 0.05 显著—  -> 3.66% >= 3.52% 门槛、发 100%

步骤 3：段分析（发前）
  —              | 对照  | 处理   | 提升  | 决策
  -----------------|-------|--------|-------|------
  新用—          | 2.8%  | 3.5%   | +25%  | —  回用—          | 4.2%  | 4.3%   | +2%   | 中—  移动             | 2.1%  | 2.9%   | +38%  | —  桌面             | 3.8%  | 4.1%   | +8%   | —  -> 无段负、发 100%（非段特定）

步骤 4：渐—  —1 天：10% 流量（监护栏—  —3 天：50% 流量（监护栏—  —7 天：100% 流量（监护栏—  生产中任护栏破则自动回滚

步骤 5：生产验（发—2 周）
  实验估：+15.1%
  生产效应（第 14 天）—11.2%
  赢家诅咒比：11.2 / 15.1 = 74%（期 60-80%—  -> 生产效应确、实验未高估

步骤 6：归—  EXP-247：假设确—0 —10 日发 100%—  学习：更短试用通过减稀意图增转化；效对新和移动用户更大—  生产效应为实验估 74%（未来实验校准：期实验提升约 75%）。

常见问题

• ⚠早窥结果并在"看似显著"时停 —每窥为独立测—alpha 0.05 —10 窥产 40% 假阳率；实验须跑到预注册样本量且窥使 p 值无效
• ⚠合理化亚门槛结果 —团队—+8%（低—10% 门槛）并—8% 仍赢"发它；预注册决策规则存在防此且事后覆它是确认偏
• ⚠基于均发不查—+8% 均为新用—+20% 和现—-4%；发 100% 伤现有用户且正决策是仅发到新用户段
• ⚠不验生产效应 —实验—+15% 但生产效—+5%（赢家诅咒）；无 2 周生产查则团队信实验—15% 并过度投类似实验
• ⚠弃时不文档学—团队伪假设、弃变更且不写；6 月后新成员重跑同实验并浪费一季重学已知之物

最佳实践

• ✓在查结果前等预注册样本量 —早窥并在"显著"时停膨胀假阳率到 40%（alpha 0.05 —10 窥）且实验须跑完产有—p 值
• ✓应预注册决策规则—= 门槛发、不确迭代、伪弃）无事后覆 —规则实验前设防确认偏且合理化亚门槛结果为"—是规则存在防的偏
• ✓—100% 前查段级效应 —均可—+20% 段和 -4% 段且正决策可能仅发正段而非基于均发或弃
• ✓发后 2 周验生产效应并与实验估比 —赢家诅咒意味着生产效应典型为估 60-80% 且若 < 50% 则实验高估且未来估应校低
• ✓每实验（含弃的）在可搜归档文档含假设、结果和学习 —归档防团队重跑伪假设并使累学习可用给未来成员