假设驱动测试

把每个增长实验在上线前写成可证伪的假设，带指标、预期效果和停止条件。

为什么

假设（"把 CTA 对比度从 30% 提到 70% 将使激活率升 8% ± 2%"）逼你承诺一个预测，让学习可见：你要么证实、要么证伪、要么含糊。预注册的预期效果量让你按统计功效定实验规模，不会跑一个根本测不到目标效应的实验然后结论"无效应"。停止条件防止 p-hacking 和"再跑一周"陷阱，那会膨胀假阳性。没有假设，实验变成"我们试了个东西数字涨了"的表演 — 没有累积学习、没有可复用剧本，团队重复已被证伪的想法。

何时使用

每月跑超过 2 个实验、需要学习复利时。采纳一次，每个实验强制执行。

如何做

1. 用固定格式写假设："若我们[改动]，则[指标]将[升/降][X%] ± [Y%]，因为[机制]"
2. 选主指标（一个）、护栏指标（2-3 个不可回退）、最小可测效应
3. 用在线计算器按 80% 功效、5% 显著性算所需样本量
4. 上线前在实验日志预注册假设、样本量和停止日期
5. 上线变体，流量 50/50，等满样本 — 不要偷看
6. 到停止日算效应和置信区间；分类为赢、输或无定论
7. 无论结果写一段学习 — 这告诉你关于用户的什么？
8. 把证实的假设加入剧本；归档证伪的以防重试

示例

# 假设（上线前预注册）
H1："若在空状态加 30 秒产品导览视频，
    激活率将从 25% 升到 30% ± 2%，因为
    用户目前不知道第一步做什么。"
主指标：activation_rate（24h 内完成核心动作）
护栏：signup_conv（不可降 >1%）、time_to_first_action
MDE：绝对升 5%
样本量：每臂 8,400（按 80% 功效、5% 显著性算）
停止日：2026-11-15 或满 N，先到先停

# 停止日结果
对照激活：25.2%（n=8400）
变体激活：28.7%（n=8400）
效应：+3.5% [95% CI: +1.8% 至 +5.2%] → 赢
学习：空状态困惑是真实激活障碍；视频有效
      因为它展示第一个动作，而非功能清单。

常见问题

⚠无预注册效应量跑实验，然后对偷看的 p 值结论"显著"— 假阳性累积。
⚠数字好看那天就停测 — 这保证效应估计膨胀，上线后消失。
⚠5 个变体对 1 个对照无多重比较校正 — 必有一个凭运气好看。
⚠从不写学习，团队 6 个月后重跑同一证伪想法。

最佳实践

✓上线前预注册假设、样本量和停止日；这是区分实验与感觉检查的关键。
✓按最小可测效应算样本量 — 测不到目标效应的实验是浪费的实验。
✓等满样本再读结果；偷看使假阳性膨胀到 30%+。
✓每个实验写一段学习，赢或输都写 — 累积学习才是真正产出，非单次赢。