统计显著

计算和解—p 值与置信区间，让你知—3% 提升是真还是噪声 —"再跑一个实—上线"之间的门

为什么

每个指标都波动。跑 A/B 测试看到 3% 提升时，最重要的问题是：这 3% 是功能有效的信号，还是本就会发生的噪声？统计显著性是此问题的正式答案，错判两向都贵。把噪声当显著（假阳性），你上线无效功能—clutter 产品。把真效应当不显著（假阴性），你砍掉本会有效的功能而竞品上线了它—.05 阈值是约定非法 —意为 1/20 假阳性概率，年跑 20 实验可接受，年跑 200 不可接受。理解你测试程序的实际假阳性率（随测试数上升）是成熟分析实践与上线 30% 幻觉的分界

何时使用

在每—A/B 测试结束时、上—砍决策前。绝不在测试中（偷看膨胀假阳性）

如何做

1. 测试前算最小可检效应（MDE）和所需样本—若达不到样本量别跑（无论如何得不显著且浪费流量）
2. 跑到预承诺样本量，不早停 —测试中偷—p 值并—p<0.05 时停把假阳性率—5% 膨胀—30%+
3. 算效应量（提升）及其 95% 置信区间 —区间既告诉你"是否显著"（是否排—0）又告诉—多大"（合理值范围）
4. 同报 p 值、置信区间和效应—p=0.04 —CI=[0.1%, 5.9%] 是显著但效应可能微小的结果，CI 揭示—5. 若测了多指标或多变体施加多重比较校正 —Bonferroni（alpha 除以测试数）保守，Benjamini-Hochberg（FDR）次之；两者都胜过未校—6. 区分统计显著（p<0.05）与实际显著（提—> 业务相关阈值）—0.1% 提升在足够流量下—p<0.001，但若业务阈—1% 仍不值得—7. 在实验登记记假设、样本量、实际提升、CI、p 值、决—此审计迹防重跑同测并数显著的那个
8. 若不显著，勿—无效— —在此样本量下无法检测效—；效应可能真但小于你 MDE

示例

# 实验：新引导—vs 对照
假设：新流提—7 天激—>= 2pp
MDE—pp  Alpha—.05  Power—.80
所需样本：每—12,400（双比例 z 检验算—实际样本—2,450 处理—2,380 对照（达到）

结果—  对照激活：    21.4%—650/12380—  处理激活：    23.1%—876/12450—  提升—1.7pp—7.9% 相对—
  提升—95% CI：[0.3pp, 3.1pp]（排—0 -> 显著—  p 值：0.018— 0.05—
多重比较— 主指标— 护栏检—  Bonferroni alpha—.05/3 = 0.0167
  p=0.018 > 0.0167 -> 校正后不显著

决策：不上线
  结果名义显著（p=0.018）但未过 Bonferroni 校正阈值（0.0167—  因查—3 指标。即便不校正，CI 下界—.3pp）低于预承诺 MDE—pp），
  故效应可能小于测试设计可检的— 倍样本重跑以解决。

常见问题

⚠测试中偷—p 值并在过 0.05 时停 —此为最常见错误，把假阳性从 5% 膨胀—30%+，意为你上线—三分之一是噪声
⚠—20 指标、找一—p<0.05 报为—20 测试 alpha=0.05 时期望假阳性数—1，故那一—恰是偶然所期，几乎必是噪声
⚠—不显—无效— —不显著意—此样本量下无法检测效—效应为零"；欠功效测试以不显著杀真功能
⚠无视测试量用 0.05 通用阈—200 测试/年时 0.05 —10 期望假阳性，即一季一纯幻觉功能；阈值须随测试程序缩放

最佳实践

✓测试开始前预承诺样本量和分析计划并写下 —此使偷看不可能，因决策规则在有结果可偷看前已定
✓凡测多指标或多变体施加多重比较校正（探索—Benjamini-Hochberg FDR、确认用 Bonferroni）—校正—5% 假阳性率—40% 之差
✓报置信区间非—p —CI 示合理效应范围，业务需此决"是否值得—，—p<0.05 只说"非零"
✓周期—A/A 测试校准测试程序假阳性率 —5% A/A 测试 p<0.05 管道健康；若 15% 则随机化、机器人污染或偷看有 bug