运营改了一版详情页,对照组转化率 3.1%,实验组 3.4%。"涨了 0.3 个点,上线吧。"
你盯着这两个数,心里有个声音:800 个人的实验,25 个人和 27 个人的差别,真的算差别吗?
这一章回答三个问题:样本能不能代表总体、一个差异要多大才算真、
以及三句最常见的统计学黑话——p 值、置信区间、显著性——到底在说什么。
学完你会多一个习惯:看到任何"提升了 X%",先问样本量,再问区间。
这一节是一条链子:样本怎么来 → 样本均值怎么波动 → 波动怎么变成区间 → 区间怎么变成判断 → 判断会怎么错。五级台阶,一级都不能跳。
总体是你想下结论的全部对象,样本是你实际观察到的部分。 过去 18 个月的全部 15,615 笔已支付订单是总体;你随机抽的 500 笔是样本。
为什么要抽样?算不起、等不及,或者问题本身只能靠实验回答——"改了详情页会怎样", 全量历史数据里根本没有答案,你只能拿一部分人做实验。
抽样误差 = 样本统计量 − 总体真值。它是随机的,不是错误。同样的抽法,每次抽出来的样本都不一样, 算出来的均值也不一样;但这个"不一样"有规律,可以量化——本章后面所有公式都从这儿来。
有两类偏差,抽样误差的公式救不了:
user_id,其中 439 笔已支付、GMV 合计 4,274,401.92 元(占 2.72%);
用 orders JOIN users 做分析,它们会静默消失,一句报错都没有。记住这个区别:抽样误差是运气,偏差是方法。运气可以用样本量压下去,方法错了,做 100 万人比做 1,000 人错得更精确。
看到任何比例、均值,先确认三件事:分母是谁、有没有人被静默丢掉、时间窗口是否可比。 这三件事任何一件错了,后面的置信区间和 p 值都是精致的废话。
如果不这样会怎样:用 orders JOIN users 算客单价,结果看起来很正常,
但少了 439 笔游客订单和 427 万 GMV。没人会报错,只有财务对账时才会发现。
这是整个推断统计的地基。从任意一个总体里(不管它长什么样)随机抽 n 个算均值,重复很多次, 这些均值会排成一个分布,叫抽样分布。中心极限定理说:n 足够大时,这个分布近似正态, 中心在 μ,标准差是 σ/√n。
"任意分布"这四个字是关键。客单价是明显的右偏,但 500 笔的均值近似正态——图 19.1.1 就是这个过程。
三个直接结论:
本数据 σ ≈ 7,029.95:n = 500 时 SE = 314.39,n = 2,000 时 157.19, n = 15,615 时 56.26。注意最后一行——哪怕你把全量都算一遍,均值也还有 56 元的"标准误"。 因为"这批订单"只是"所有可能订单"的一个样本,换个月、换批用户,均值还会变。
想让误差减半,样本翻 4 倍;想减到 1/10,样本翻 100 倍。这条规则决定了实验要跑多久、问卷要发多少份。
如果不这样会怎样:老板说"误差太大,样本从 500 加到 1,000 吧"——SE 只从 314 降到 222, 降了 29%,钱花了一倍。想降到 100 以内,得抽 5,000 单。
单个样本算出的均值,几乎不可能正好等于真值。我们不会说"客单价就是 10,018.65"(这是某一次 500 单抽样的结果), 而说"客单价在 9,402.93 到 10,634.38 之间,95% 置信"。大样本下公式很简单:
95% CI = x̄ ± 1.96 × SE # 1.96 来自正态分布,95% 的面积落在 ±1.96σ 内
"真值有 95% 的概率落在这个区间里。"
"如果重复抽样 100 次,按同样的方法造 100 个区间,大约 95 个会盖住真值。"
为什么错?因为真值是固定的(10,077.71 就在那儿),区间是随机的(每次抽样都不一样)。 一个已经算出来的区间,要么盖住了,要么没盖住,概率只能是 0 或 1。95% 说的是"这套造区间的方法"的可靠性。
这不是文字游戏。它决定了你不能说"下个月客单价有 95% 的概率在 9,400 到 10,600 之间"—— 下个月的客单价是另一个随机变量,不是这个区间要覆盖的参数。图里跑 20 次,19 次盖住; 换成 1,000 次,覆盖率是 95.7%,和理论值几乎一样。
区间宽度 = 3.92 × SE,所以它只跟样本量和波动有关:n = 500 时宽 1,232 元(±6.1%); n = 2,000 时宽 616 元(±3.1%);想把误差压到 ±100 元,需要 18,985 单——比全量 15,615 还多。 有些问题,用抽样是解决不了的。要么接受 ±600 元的误差,要么换一个更稳定的口径。
正确说法:"用同样的方法重复抽样,约 95% 的区间会包含真值。" 错误说法:"真值有 95% 的概率在这个区间里。" 做两组比较时,还有一个更直观的用法:差值的区间跨过 0,就意味着"差异可能是 0"。
如果不这样会怎样:把 95% CI 说成"真值有 95% 概率在此",产品经理会追问"那另外 5% 是什么情况", 你答不上来;更糟的是,他会拿这句话去写 PPT,被懂行的人当场戳穿。
假设检验只有四步:立零假设(H0,通常写"没差别")→ 算统计量 (看观测到的差异相当于几个标准误)→ 算 p 值 → 下判断(p < 0.05 就拒绝 H0)。
p 值的定义只有一句话:H0 为真时,观测到当前结果或更极端结果的概率。 注意它的条件——"假设 H0 为真"。所以它不可能是"H0 为真的概率"。
"p = 0.03,说明结论有 97% 的概率是对的。"
p 说的是"如果两组其实没差别,出现这么大差异的概率是 3%",它衡量数据有多不像 H0,不衡量你的结论有多对。
"p = 0.03,说明效果很大。"
p 同时受差异大小和样本量影响。样本足够大,0.01 个百分点也能 p < 0.001。p 只回答"有没有",不回答"值不值"。
还有第三个误读,也是最常见的一个:"p = 0.06,所以没效果。" 不显著只说明"证据不足",不说明"没差别"。可能是真没差别,也可能是样本太少没测出来——p 值分不开这两种情况。
所以专业的写法是报三件套:效应量 + 置信区间 + p 值。 例如:"实验组转化率提升 0.43 个百分点(95% CI −0.02 到 0.87,p = 0.059)。" 一句话里同时有方向、大小、不确定性和证据强度。
任何基于样本的判断都可能错,错的类型只有两种:
| 真实情况:没差别 | 真实情况:有差别 | |
|---|---|---|
| 你判断:没差别 | 判断正确 | 第二类错误 β(漏报) |
| 你判断:有差别 | 第一类错误 α(误报) | 判断正确 |
第一类错误:没效果,你却说有效果,后果是上线一个没用的功能。α 通常定 0.05,意思是"我愿意接受 5% 的误报率"。 第二类错误:有效果,你却说没效果,后果是砍掉一个好功能。β 通常定 0.2。 功效 Power = 1 − β,即"效果真的存在时,我能测出来的概率",行业标准 80%。
功效由四样东西决定:效应量 Δ、样本量 n、显著性水平 α、数据波动 σ。前三个好理解,第四个常被忽略—— 指标越不稳定(CV 越大),越难测出差异。这也是为什么金额类指标比转化率难做实验。
四者互相牵制:α 和 power 固定时,Δ 越小,需要的 n 越大,而且是平方关系—— Δ 减半,n 翻 4 倍。
每次看到"不显著",追问一句:这个样本量能测出多大的效果?这个门槛叫 MDE(最小可检测效应)。 如果 MDE 是 2.5 个百分点,而你关心的是 0.3 个百分点,那"不显著"这三个字没有任何信息量——你根本没能力测。
如果不这样会怎样:800 人的实验测不出 0.3 个点的差异,报告写"改版无效", 一个可能有效的方案就这样被砍了,而且没人觉得自己错了。
场景:详情页改版。对照组 800 人,25 人转化;实验组 800 人,27 人转化。 报告里写成 3.1% → 3.4%,PM 说"涨了,上线吧"。
先拆一个小陷阱:25/800 = 3.125%,27/800 = 3.375%,四舍五入成 3.1% 和 3.4%, 差值看起来是 0.3 个百分点;真实差值只有 0.25 个百分点。数字越小,四舍五入的相对误差越大—— 0.25 被写成 0.3,夸大了 20%。汇报时要么保留两位小数,要么直接写"25/800 对 27/800"。
先把三个数算出来:z、p、差值的 95% 置信区间。
p̂₁ = 25/800 = 0.03125
p̂₂ = 27/800 = 0.03375
p̄ = (25+27)/1600 = 0.0325 # 合并比例
SE = √(p̄(1−p̄)(1/800 + 1/800)) = 0.008866
z = (0.03375 − 0.03125) / 0.008866 = 0.282
p = 2 × (1 − Φ(0.282)) = 0.778
SE_diff = √(p̂₁(1−p̂₁)/800 + p̂₂(1−p̂₂)/800) = 0.008866
95% CI = 0.0025 ± 1.96 × 0.008866 = (−0.0149, +0.0199)
怎么读?
那需要多少人?用样本量公式(α = 0.05,power = 80%,双侧):
n = (1.96 + 0.8416)² × [p₁(1−p₁) + p₂(1−p₂)] / (p₂−p₁)²
= 7.849 × 0.0629 / 0.000009
≈ 54,840 人/组
两组一共约 11 万人。按公司 200 万注册用户,凑得出来,但要跑两到三周。 如果只认实际观测到的 0.25 个百分点,样本还要涨到 7.9 万一组——因为 n 和 Δ² 成反比。
反过来算 MDE:800 人一组,80% 功效下只能测出 2.49 个百分点的差异。 你关心的 0.3 个百分点,比它小 8 倍。这个实验从设计上就没有成功的可能。
这不是说实验白做了。它至少告诉你两件事:0.3 个点这个量级,靠 800 人测不出来; 以及——同样的相对提升,基线越高越容易测。基线 20% 的加购率涨 10%(绝对 2 个点), 每组 6,500 人就够;基线 3% 的转化率涨 10%(绝对 0.3 个点),要 5.5 万人。
那当下该怎么办?不能上线,不等于什么都不做。可以小流量灰度、持续观测两周, 或者干脆承认"这个量级的提升我们测不起",改用业务判断——比如改版成本很低、风险可控,那就上, 但别对外说"数据证明它有效"。统计给的是证据强度,决策还要算收益和成本。
六步都用同一份脚本,数据在 book/data/qingning.db。前四步做抽样,后两步做检验,约 15 分钟。
import sqlite3, numpy as np
con = sqlite3.connect("book/data/qingning.db")
x = np.array([r[0] for r in con.execute(
"select pay_amount from orders where status='已支付'")])
rng = np.random.default_rng(20240601)
s = x[rng.choice(len(x), 500, replace=False)]
print(len(s), "%.2f" % s.mean())
m, sd = s.mean(), s.std(ddof=1)
se = sd / np.sqrt(len(s))
print("%.2f %.2f %.2f" % (m, sd, se))
因为这里用的是样本标准差 7,024.49,不是全量总体的 7,029.95。理论上用总体 σ 更准,实际工作中你只有样本,只能用 s 代替。差 0.25 元,可以忽略。
lo, hi = m - 1.96*se, m + 1.96*se
print("(%.2f, %.2f)" % (lo, hi))
print("覆盖" if lo <= 10077.71 <= hi else "没覆盖")
hit = 0
for _ in range(1000):
t = x[rng.choice(len(x), 500, replace=False)]
mm, ss = t.mean(), t.std(ddof=1)/np.sqrt(500)
hit += (mm-1.96*ss <= 10077.71 <= mm+1.96*ss)
print(hit/1000)
SELECT group_name, COUNT(*) AS n, SUM(converted) AS c
FROM ab_experiment
GROUP BY group_name;
19.2 是一个假设的小实验,用来讲清楚公式;这里是实验平台导出的 24,000 行真实记录,用来观察"样本量上去以后 p 值怎么变"。
from scipy.stats import norm
c1,n1,c2,n2 = 352,12000,403,12000
p1,p2 = c1/n1, c2/n2
pp = (c1+c2)/(n1+n2)
se = np.sqrt(pp*(1-pp)*(1/n1+1/n2))
z = (p2-p1)/se
print("z=%.4f p=%.4f" % (z, 2*(1-norm.cdf(abs(z)))))
print("CI %.4f ~ %.4f" % (p2-p1-1.96*se, p2-p1+1.96*se))
不算。0.05 是一条人为划的线,0.059 和 0.061 没有本质区别,结论都是"证据不足"。真正该看的是区间:它的下沿只差一点点就碰到 0,说明"可能有正向效果,但也可能没有"。
12,000 人一组,p 从 0.78 降到 0.059。样本量涨了 15 倍,p 值降了一个数量级,但还是没过线。 因为这个设计的 MDE 是 0.63 个百分点,而观测到的效应只有 0.43——比门槛还小。 要稳定测出 0.43,每组需要约 2.65 万人。
三个数都能在 19.3 的输出里找到。第三个是 ab_experiment 的 z 值。
这一组题考的是"解释",不是计算。选完立刻出解析。
按"现象 → 原因 → 解决"整理。
| 现象 | 原因 | 解决 |
|---|---|---|
| p 很小,但效应量也极小 | 样本太大,任何微小差异都会显著 | 先报效应量和 CI,再问"这点提升值不值" |
| 置信区间宽得没法用 | 样本小,或指标波动大 | 加样本,或换成更稳定的指标 |
| 两组各自的 CI 重叠,检验却显著 | 看错了:应该看差值的 CI | 直接算差值及其区间,别比两个独立的区间 |
| 实验结果和全量数据反着 | 分流不均、样本偏差、SRM | 先查两组样本量比例和进入方式 |
| 重复做实验,结论忽正忽负 | 功效不足,或中途偷看 | 先算样本量,固定时长,别边跑边看 |
| 比例指标用了 t 检验 | 统计量选错 | 两比例用 z 检验,均值才用 t 检验 |
1. 25/800 对 30/800:合并比例 3.4375%,SE = 0.009110,z = 0.686,p = 0.493。仍然不显著——多 3 个人,改变不了"样本太小"这个事实。
2. 宽度 = 2 × 1.96 × 314.39 ≈ 1,232 元。要 ±300 元,n = (1.96 × 7,029.95 ÷ 300)² ≈ 2,110 单。
3. 250/8,000 对 270/8,000:z = 0.892,p = 0.372。样本翻了 10 倍还是不显著——因为绝对差异只有 0.25 个百分点,而 8,000 人一组的 MDE 约 0.78 个百分点,还是够不着。
4. 参考答案:某渠道转化率提升 0.2 个百分点,p = 0.4,但该渠道月流量 500 万,0.2 个点等于每月多 1 万单。统计上测不出,业务上是真金白银——这时候该做的是加大样本或延长实验,而不是直接判"无效"。