样本量计

测试开始前算最小样本量 —让你知道测试是否可行且永不跑无法检测你关心效应的欠功效测试

为什么

欠功效测试比不跑更糟。不跑意为你凭直觉决；欠功效测试意为你凭同样直觉决但—数据这么—的假信。若需每臂 40,000 用户检 2% 提升而你—5,000，结果无论如何效应是否真都不显著 —你断"无效—并砍本会有效的功能。样本量计算是防此的现实检验：它告诉你"要在 12% 基线检 2% 提升—0% power，需每臂 38,400，按你流—12 —。若 12 天太长要么提 MDE（接受只能检 5%+ 提升）、减变体、要么别跑。无论如何跑是浪费流量产你将误解的不显著结果

何时使用

每测试前作为设计一部。若基线率显著变— 20% 相对移）重算

如何做

1. 从历史数据取主指标基线率（如转化—= 12.4% 过去 30 天）
2. —MDE：值得上的最小效应。此为业务决策非统计 —"转化 2% 相对提升—$4k/月，—MDE = 2%"
3. —alpha（假阳性率，常 0.05）和 power（真阳性率，常 0.80；高风险测试—0.90—4. 双比—z 检验（转化率指标）—   n_per_arm = 2 * (z_alpha/2 + z_beta)^2 * p*(1-p*) / (p_t - p_c)^2
   其中 p* = (p_t + p_c)/2，p_t = p_c * (1 + MDE)
   或用计算器：https://www.evanmiller.org/ab-testing/sample-size.html
5. 连续指标（每用户收入、页停留时间）用带历史标准差—t 检验公—6. 若测 > 2 臂乘以变体数（每比较需自己的样本）
7. 算时长：n_per_arm / 日每臂流量。若时长 > 4 周测试可能不可行 —MDE 或减变体
8. 健全检查：若所需样本 > 月流—50%，你每季最多跑 1-2 测试，应考虑多臂老虎机替代定视界 A/B

示例

# 样本量：CTA 颜色测试
基线 CTR—2.4%（过—30 天，360k 展示—MDE—% 相对 -> 绝对 MDE = 12.4% * 0.05 = 0.62pp
  要检的处—CTR—2.4% * 1.05 = 13.02%
Alpha—.05（双尾）Power—.80
z_alpha/2 = 1.96  z_beta = 0.84

p* = (0.1240 + 0.1302) / 2 = 0.1271
n = 2 * (1.96 + 0.84)^2 * 0.1271 * (1 - 0.1271) / (0.1302 - 0.1240)^2
  = 2 * 7.84 * 0.1271 * 0.8729 / 0.0000384
  = 2 * 7.84 * 0.1109 / 0.0000384
  = 1.739 / 0.0000384
  = 45,289 每臂

日展示：12,000
时长—5289 / 12000 = 3.77 —-> 取整 4 —总需流量—5289 * 2 * 4/3.77 = ~96,000 展示

可行性：是（96k < 360k 月，测试 4 天）
—MDE —2% 相对：n = 283,000 每臂 -> 24 —-> 边界
—MDE —1% 相对：n = 1,132,000 每臂 -> 94 —-> 不可行，
  用老虎机或接受 1% 提升在此流量不可检

常见问题

⚠不算样本量跑测试 —团队—3 —2,000 用户测试、看不显著结果、断"无效—，而测试从未能检它关心的 2% 效应；此为设计致假阴性非功能致
⚠MDE 基于可检而非有价—"3 天可检 10% —MDE = 10%"意为你只上巨大效应、砍每个移指—2-5% 的功能，而多数真功能正在此
⚠高风险决策默认用 80% power —80% power —20% 假阴性概率；对年—$500k 的功—20% 砍概率是 $100k 期望损，90% —95% power 值额外流量
⚠忘计多变—若测 4 变体对对照需每臂 4x 样本（或校正），测试 4x 长；不计此使每个多变体测试欠功效

最佳实践

✓每测试前算样本量并写登记 —此为防欠功效测试的门；若所需样本不可行测试不跑，流量省给能产可信答的测试
✓MDE 先从业务价值选再查可—"2% 提升—$4k/—是对起点；若 2% 不可行决是否接受 5%（并—2-4% 功能）或等更多流量，勿静降门槛
✓高风险测试（收入、留存）—90% power、低风险（文案、颜色）—80% —$500k 功能假阴性成本是额外几天流量—10 倍，power 应反此不对称
✓测试—24h 重查基线—若基线比历史估移 > 20% 样本量算现错，测试应重设或停