假设形成

在写任何代码前写可测假设 —"若改 X —Y 因机—W —Z" —使实验测预测而非探索变更

为什么

无假设的实验是探索非测且探索实验无成功标准：团队—看似更好"（主观、偏新）则发变更、若指标动错方（会因—5% 时）则回且两方都无学。假设迫团队指预测（什指标、什方、什量）和机制（为何变更应生效）且实验测可伪声明—若把试用—14 天缩—7 天、试用转付费将增 15% 因意图买的用—3 天内买且更长试用稀意图— 若转化不—15% 则假设伪、机制错且团队学了具体物—稀意图"机制不立）非模糊物（"更短试用不助"）。假设亦设样本量（为预测 15% 提升 powering、非为任可测效应）此防欠功率实验跑不停和过功率实验测噪。最常见失败—试试—实验 —团队有想发的变更、无假设 A/B 测且指标—2% 时发它、不—2% 在噪带内—是会在生产回的假阳

何时使用

每实验前、无例外。当团队—试变—时（红旗 —无假设）。当实验成功标准不清时（红旗 —无假设）。在算样本量前

如何做

1. 精述变更—把试用从 14 天缩—7 —让试用更— —变更须具体到工程师可无进一步解释实
2. 述主指标和预测方—试用转付费将—转化将变" —方是预测且预—的实验不可伪（任动确它）
3. 述预测量—15%（从 3.2% —3.7%— —量设样本量（—15% powering、非为任可测提升）和成功标准（达 15% 了吗？）
4. 述机制："因意图买的用—3 天内买（数据—0% 转化在第 3 天前）且更长试用—11 天忘/流失稀意图" —机制—为何"且须基于数据非直—5. 述伪标准—若转化不增至—10%（为 15% powering、最小有趣效—10%）则假设伪且不发" —此防"—2%、发"假阳
6. 述次指标和护栏："次：每试用收入（不应降）；护栏：试用取消率（不应增超 2%— —此捕主指标赢但变更伤业务的情—7. 述决策："若假设确（转—+15%、护栏完）则—100%；若伪则不发并归学习" —决策规则在实验前设非后、避确认—8. 一段写假设并在实前与团队复—若把试用—14 天缩—7 天、试用转付费将增 15%（从 3.2% —3.7%）因 80% 转化在第 3 天前且更长试用稀意图。若转化不增至少 10% 则假设伪。护栏：试用取消率不增超 2%—
9. 在实验注册中注册假设、样本量、开始日和负责人 —此防团队—20 实验只报"—的那个（分叉路径花园问题—10. 若团队不能写假设（步—8 失败）则不跑实验 —变更是探索非测且探索应在标志后发并量、非 A/B 测

示例

# 假设：把试用—14 天缩—7 —负责人：@growth-pm  注册—026-09-22  ID：EXP-247

变更：把试用—14 天缩—7 天（处理组）
对照—4 天试用（当前—
假设— 段）—  若把试用—14 天缩—7 天、试用转付费将增 15%（从 3.2% —3.7%—  —80% 转化在第 3 天前（数据：—90 天）且更长试用给用户 11 —  忘或流失稀意图。若转化不增至少 10% 则假设伪—
主指标：试用转付费率
  预测—15%—.2% -> 3.7%—  最小有趣效应：+10%—.2% -> 3.52%—  伪若— +10% —95% 置信

次指标：
  - 每试用收入：不应降（用户若试用更短可能买更低套餐—  - 首笔支付时间：应降（更快决策—
护栏—  - 试用取消率：不增—2%
  - 退款率（首 30 天）：不增超 1%
  - NPS（购后）：不降超 2 —
样本量：
  基线转化—.2%
  MDE—0% 相对—.32 百分点）
  功率—0%、alpha—%（双尾）
  需：每—38,400 试用（—76,800—  预期时长—8 天于 4,300 试用/—
决策规则（实验前设）—  - 若转—>= 3.52% 且护栏完：发 100%
  - 若转—>= 3.2% —< 3.52%：不确、不发、迭代假设（也许 10 天试用？—  - 若转—< 3.2%：伪、不发、归学习
  - 若任护栏破：无论主指标不—
机制验（实验后）—  - 查转化是否提前（—1-7 —vs —8-14 天）
  - 若转化只提前（同总、更快）则机制是"加—稀—且假设应更

常见问题

⚠无假设跑"试试—实验 —团队 A/B 测变更、指标动 2%（噪内）、发它且"—在生产回；无预测量则任动看似赢且假阳—5% 率发
⚠预测"—非方和量 —"转化将变"不可伪（任动确它）且实验不能失败意味着不能产学习；预测须为"—15%"才可伪
⚠无数据述机制 —"更短试用增紧—是直觉非机制；机制须基于数据—80% 转化在第 3 天前"）否则假设是猜且实验测猜
⚠实验后设决策规则 —团队—+8%（低—10% 门槛）并合理—8% 仍赢、发—；决策规则须实验前设避确认偏和分叉路径花园
⚠实验前不注册假设 —团队—20 实验— —p<0.05 并报它；无注册则 20 实验—20 独立测且 1 赢是假阳（多重比较问题）

最佳实践

✓在写任何代码前写含预测方、量和机制的可伪假设 —"—X —Y —W —Z" —且若团队不能写则变更是探索非测、应在标志后发并量、非 A/B 测
✓把机制基于数据非直觉 —"80% 转化在第 3 天前" 是机制；"更短试用造紧— 是猜且测猜的实验只偶然产学习
✓实验开始前设决策规则（确则发、伪则不发、护栏须持）—此防确认偏把亚门槛结果合理化—并保实验诚实
✓每实验在上线前注册于含假设、样本量和开始日的注—注册防多重比较问题（—20 实验—1 个）并使实验集可审
✓为预测量—5% 提升）powering、非为任可测效应 —此防欠功率实验跑不停（为 1% powering、需 500k 样本）和过功率实验测噪（—0.1% powering、测随机波）