Skip to content
返回分析与实验

实验归档

维护每实验的可搜归档 —假设、结果、决策、学—使累知识可用给未来成员且团队从不重跑伪假设

为什么

实验产学习且不写的学习失 —跑实验的成员离、Slack 线滚走且 6 月后新成员重跑同实验并浪费一季重学已知。归档是机构记忆:每实验的假设、结果、决策和学习存于可搜格式故新成员可搜"试用—并找 EXP-247 测了 7 —vs 14 天、发—+15% 转化并发 —且他们不需重跑。归档亦—我们已试—问题:当有人提实验时团队搜归档、找前实验并要么建它(前实验—10 天试用可能更好)要么避它(前实验伪了假设)。归档须可搜(按指标、按功能、按假设关键词)、结构化(每实验同字段)和链(建或矛前实验的实验交叉引)。最常见失败是无归档 —团队 2 年跑 200 实验、学习在 Slack 线和个人记忆中且增长负责人离—2 年学习同离。第二失败是不可搜归—200 PDF 文件夹无人读因找不到要找的

何时使用

当任何实验结时(发、迭代或弃)。当团队成员提实验时(先搜归档)。当新成员入职时(归档是其首读)。每季复累学习

如何做

1. 建结构化实验模板含必填字段:experiment_id、假设、变更、主指标、预测效应、护栏、样本量、开始日、结束日、结果、决策、学习、负责人、标—每实验填同模板故归档统一可搜
2. 把归档存于可搜系统(Notion 数据库、Airtable、含全文搜的内部 wiki)—PDF 文件夹或 Slack 频道、其不能按指标或假设关键词搜
3. 每实验加标签:指标(转化、留存、收入)、功能(试用、结账、入门)、假设关键词(稀意图、紧迫、摩擦)—标签使归档按主题可搜、非只按 experiment_id
4. 交叉引相关实验:—EXP-248—0 天试用)建于 EXP-247— 天试用)则链它们;若 EXP-302 —EXP-247 则链它们—交叉引建知识—5. 用平实语言写学习非术语—更短试用增转化因意图买的用户 3 天内买;14 天试用给时忘稀意图" —学习是未来成员读的且术语使不可达
6. —我们会如何不同做"字段:每实验、尤失败的、应记团队下次会如何不同 —此是改实验过程本身的元学—7. 提任何实验前搜归档:"有人测过试用长吗— —若有则读前实验并建或避它;若无则进新实验
8. 每季复归档:读季所有实验、识模式(哪些假设常立、哪些机制常败)并写季学习摘 —摘是入职新成员的高层 takeaway
9. 把归档链到实验注册:注册(实验前)和归档(实验后)是同系统的两半—experiment_id 链它—此防团队跑实验不注册(无归档条)或注册不跑(无结果)
10. 团队成员离时让其复归档中其实验并加在脑中但不在归档的任何上下—离复是捕默会知识前其离的最后机会

示例

# 实验归档:EXP-247
ID:EXP-247
日期—026-09-22 —2026-10-10
负责人:@growth-pm([email protected]—状态:已发

假设—  若把试用—14 天缩—7 天、试用转付费将增 15% —80% 转化
  在第 3 天前且更长试用稀意图—
变更:试用长 14 —-> 7 天(处理—主指标:试用转付—预测效应—15%—.2% -> 3.7%)、MDE +10%
护栏:退款率、每试用收入、流失、错误率、NPS

结果—  对照—   3.18%—,221 / 38,400—  处理—   3.66%—,405 / 38,400—  提升—   +15.1%—5% CI—8.2% —+22.0%、p=0.002—  护栏—   全完
  段:      —+25%、移—+38%、桌—+8%、回 +2%

决策:发 100%(渐—10% -> 50% -> 100%—生产效应— 周查):+11.2%(估—74%—
学习—  更短试用通过减稀意图增转化。意图买的用—3 天内买;
  14 天试用给 11 天忘或流失。效对新和移动用户更大(—  惯未稳、更紧迫敏感)。生产效应为实验—74%(赢家诅咒校准)—
我们会如何不同做—  - —10 天试用作中间(EXP-248—  - 更早分段(我们只在事后分析发现移—+38%—    预注册段假设—  - 量长期留存(更快转化导更高还是更—90 天留存?—
标签:转化、试用长、稀意图、定—相关实验—  - EXP-248—0 天试用):建—EXP-247、结—+9%
  - EXP-302— 天试用):矛、结—-4%(太短)
  - EXP-180(试用提醒邮件):互补—6%

归档搜:
  —试用— -> EXP-247、EXP-248、EXP-302
  —转化" -> 47 实验
  —稀意图" -> EXP-247、EXP-248

季复—026 Q4):
  模式:关—减摩"的假设常立(+8% —+25%)、关—造紧—
  的假设混合(EXP-247 +15%、EXP-302 -4%)。机制验是区分:
  减摩有清晰数据支机制、造紧迫常依直觉。

常见问题

  • ⚠无归—团队 2 年跑 200 实验、学习在 Slack 线和个人记忆中且增长负责人离—2 年学习同离;归档是存团队换的机构记忆
  • ⚠不可搜归—200 PDF 文件夹无人读因找不到要找的;归档须在可搜系统(Notion、Airtable、wiki)含标签和全文搜
  • ⚠提实验前不搜归档 —新成员提"把试用缩—7 —、团队跑它且事后才发—EXP-247 6 月前已测;先搜避重跑伪假设
  • ⚠只归—团队文档 +15% 实验但不 -4% 的且归档变高光集;失败是最有价值学习处(伪机制)且须同等小心归
  • ⚠—我们会如何不同做"字段 —实验归了结果但无元学习且团队在未来实验重同方法论错(不预注册段、不早查护栏)

最佳实践

  • ✓在可搜系统用结构化模板(假设、结果、决策、学习、标签)归每实验(发、迭代和弃)—归档是机构记忆且无它学习失于团队换和 Slack 滚
  • ✓加标签(指标、功能、假设关键词)和相关实验交叉—标签使归档按主题可搜且交叉引(建、矛)建防重跑伪假设的知识图
  • ✓用平实语言写学习并—我们会如何不同做"字段 —学习是未来成员读的且元学习(方法论改)是改实验过程本身之物
  • ✓提任何实验前搜归—若前实验测了同假设则建或避它;此防团队浪费一季重学归档中已有之物
  • ✓每季复归档识模式(哪些假设常立、哪些机制常败)并写季学习摘 —摘入职新成员并识随时改团队假设质量的元模式