数据分析师训练营/ 第四篇 统计/ 第十九章
第十九章 · 统计推断

抽样与推断:这个差异是真的吗

运营改了一版详情页,对照组转化率 3.1%,实验组 3.4%。"涨了 0.3 个点,上线吧。" 你盯着这两个数,心里有个声音:800 个人的实验,25 个人和 27 个人的差别,真的算差别吗?

这一章回答三个问题:样本能不能代表总体、一个差异要多大才算真、 以及三句最常见的统计学黑话——p 值、置信区间、显著性——到底在说什么。 学完你会多一个习惯:看到任何"提升了 X%",先问样本量,再问区间。

理论 : 实操 = 8 : 2 约 6 学时 前置 第 18 章

19.1原理:从样本到总体的五级台阶

这一节是一条链子:样本怎么来 → 样本均值怎么波动 → 波动怎么变成区间 → 区间怎么变成判断 → 判断会怎么错。五级台阶,一级都不能跳。

19.1.1总体、样本、抽样误差:先问样本怎么来的

总体是你想下结论的全部对象,样本是你实际观察到的部分。 过去 18 个月的全部 15,615 笔已支付订单是总体;你随机抽的 500 笔是样本。

为什么要抽样?算不起、等不及,或者问题本身只能靠实验回答——"改了详情页会怎样", 全量历史数据里根本没有答案,你只能拿一部分人做实验。

抽样误差 = 样本统计量 − 总体真值。它是随机的,不是错误。同样的抽法,每次抽出来的样本都不一样, 算出来的均值也不一样;但这个"不一样"有规律,可以量化——本章后面所有公式都从这儿来。

有两类偏差,抽样误差的公式救不了:

记住这个区别:抽样误差是运气,偏差是方法。运气可以用样本量压下去,方法错了,做 100 万人比做 1,000 人错得更精确。

1

先问样本怎么来的,再问样本有多大

看到任何比例、均值,先确认三件事:分母是谁、有没有人被静默丢掉、时间窗口是否可比。 这三件事任何一件错了,后面的置信区间和 p 值都是精致的废话。

如果不这样会怎样:用 orders JOIN users 算客单价,结果看起来很正常, 但少了 439 笔游客订单和 427 万 GMV。没人会报错,只有财务对账时才会发现。

19.1.2中心极限定理与标准误:为什么平均值近似正态

这是整个推断统计的地基。从任意一个总体里(不管它长什么样)随机抽 n 个算均值,重复很多次, 这些均值会排成一个分布,叫抽样分布。中心极限定理说:n 足够大时,这个分布近似正态, 中心在 μ,标准差是 σ/√n。

"任意分布"这四个字是关键。客单价是明显的右偏,但 500 笔的均值近似正态——图 19.1.1 就是这个过程。

① 总体:右偏 0 44,000 μ = 10,078 σ = 7,030 元 ② 抽 5 次,每次 500 单 10,283 9,916 10,069 10,048 10,722 9,400 10,800 5 个均值,最高的 10,722,最低的 9,916 同样的抽法,结果差 800 元 ③ 重复 1,000 次:x̄ 的分布 9,400 10,800 中心仍是 10,078,但波动只剩 314 元 形状几乎是正态,不管总体长什么样 → → 注意横轴:图 ① 是 0–44,000 元,图 ②③ 是 9,400–10,800 元
图 19.1.1 从总体到抽样分布:中心不变,波动缩到 σ/√n

三个直接结论:

  1. 无偏。样本均值的期望等于总体均值,抽很多次平均下来不偏。
  2. 标准误 = σ/√n。n 越大,均值越稳。
  3. 精度提升是开根号的。n 翻 4 倍,SE 才减半;想把误差压到 1/10,样本要 100 倍。

本数据 σ ≈ 7,029.95:n = 500 时 SE = 314.39,n = 2,000 时 157.19, n = 15,615 时 56.26。注意最后一行——哪怕你把全量都算一遍,均值也还有 56 元的"标准误"。 因为"这批订单"只是"所有可能订单"的一个样本,换个月、换批用户,均值还会变。

2

标准误 = σ/√n,精度提升是开根号的

想让误差减半,样本翻 4 倍;想减到 1/10,样本翻 100 倍。这条规则决定了实验要跑多久、问卷要发多少份。

如果不这样会怎样:老板说"误差太大,样本从 500 加到 1,000 吧"——SE 只从 314 降到 222, 降了 29%,钱花了一倍。想降到 100 以内,得抽 5,000 单。

19.1.3置信区间:95% 说的是方法,不是这一个区间

单个样本算出的均值,几乎不可能正好等于真值。我们不会说"客单价就是 10,018.65"(这是某一次 500 单抽样的结果), 而说"客单价在 9,402.93 到 10,634.38 之间,95% 置信"。大样本下公式很简单:

95% CI = x̄ ± 1.96 × SE        # 1.96 来自正态分布,95% 的面积落在 ±1.96σ 内
错误说法

"真值有 95% 的概率落在这个区间里。"

正确说法

"如果重复抽样 100 次,按同样的方法造 100 个区间,大约 95 个会盖住真值。"

为什么错?因为真值是固定的(10,077.71 就在那儿),区间是随机的(每次抽样都不一样)。 一个已经算出来的区间,要么盖住了,要么没盖住,概率只能是 0 或 1。95% 说的是"这套造区间的方法"的可靠性。

真值 10,077.71 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 20 次抽样里,19 次的区间盖住了真值,第 13 次没有(区间整体偏高) 每一行是一次完整的抽样(n = 500)算出的 95% 置信区间
图 19.1.2 20 次抽样的 95% 置信区间,19 次盖住真值

这不是文字游戏。它决定了你不能说"下个月客单价有 95% 的概率在 9,400 到 10,600 之间"—— 下个月的客单价是另一个随机变量,不是这个区间要覆盖的参数。图里跑 20 次,19 次盖住; 换成 1,000 次,覆盖率是 95.7%,和理论值几乎一样。

区间宽度 = 3.92 × SE,所以它只跟样本量和波动有关:n = 500 时宽 1,232 元(±6.1%); n = 2,000 时宽 616 元(±3.1%);想把误差压到 ±100 元,需要 18,985 单——比全量 15,615 还多。 有些问题,用抽样是解决不了的。要么接受 ±600 元的误差,要么换一个更稳定的口径。

3

置信区间描述方法,不描述这一个区间

正确说法:"用同样的方法重复抽样,约 95% 的区间会包含真值。" 错误说法:"真值有 95% 的概率在这个区间里。" 做两组比较时,还有一个更直观的用法:差值的区间跨过 0,就意味着"差异可能是 0"。

如果不这样会怎样:把 95% CI 说成"真值有 95% 概率在此",产品经理会追问"那另外 5% 是什么情况", 你答不上来;更糟的是,他会拿这句话去写 PPT,被懂行的人当场戳穿。

19.1.4假设检验与 p 值:它到底是什么,不是什么

假设检验只有四步:立零假设(H0,通常写"没差别")→ 算统计量 (看观测到的差异相当于几个标准误)→ 算 p 值 → 下判断(p < 0.05 就拒绝 H0)。

p 值的定义只有一句话:H0 为真时,观测到当前结果或更极端结果的概率。 注意它的条件——"假设 H0 为真"。所以它不可能是"H0 为真的概率"。

误读一

"p = 0.03,说明结论有 97% 的概率是对的。"

p 说的是"如果两组其实没差别,出现这么大差异的概率是 3%",它衡量数据有多不像 H0,不衡量你的结论有多对。

误读二

"p = 0.03,说明效果很大。"

p 同时受差异大小和样本量影响。样本足够大,0.01 个百分点也能 p < 0.001。p 只回答"有没有",不回答"值不值"。

还有第三个误读,也是最常见的一个:"p = 0.06,所以没效果。" 不显著只说明"证据不足",不说明"没差别"。可能是真没差别,也可能是样本太少没测出来——p 值分不开这两种情况。

所以专业的写法是报三件套:效应量 + 置信区间 + p 值。 例如:"实验组转化率提升 0.43 个百分点(95% CI −0.02 到 0.87,p = 0.059)。" 一句话里同时有方向、大小、不确定性和证据强度。

19.1.5两类错误与统计功效:为什么"测不出来"也是结论

任何基于样本的判断都可能错,错的类型只有两种:

真实情况:没差别真实情况:有差别
你判断:没差别判断正确第二类错误 β(漏报)
你判断:有差别第一类错误 α(误报)判断正确

第一类错误:没效果,你却说有效果,后果是上线一个没用的功能。α 通常定 0.05,意思是"我愿意接受 5% 的误报率"。 第二类错误:有效果,你却说没效果,后果是砍掉一个好功能。β 通常定 0.2。 功效 Power = 1 − β,即"效果真的存在时,我能测出来的概率",行业标准 80%。

功效由四样东西决定:效应量 Δ、样本量 n、显著性水平 α、数据波动 σ。前三个好理解,第四个常被忽略—— 指标越不稳定(CV 越大),越难测出差异。这也是为什么金额类指标比转化率难做实验。

四者互相牵制:α 和 power 固定时,Δ 越小,需要的 n 越大,而且是平方关系—— Δ 减半,n 翻 4 倍。

4

不显著 ≠ 没效果,可能只是样本不够

每次看到"不显著",追问一句:这个样本量能测出多大的效果?这个门槛叫 MDE(最小可检测效应)。 如果 MDE 是 2.5 个百分点,而你关心的是 0.3 个百分点,那"不显著"这三个字没有任何信息量——你根本没能力测。

如果不这样会怎样:800 人的实验测不出 0.3 个点的差异,报告写"改版无效", 一个可能有效的方案就这样被砍了,而且没人觉得自己错了。

19.2分析:3.1% → 3.4%,能不能上线

场景:详情页改版。对照组 800 人,25 人转化;实验组 800 人,27 人转化。 报告里写成 3.1% → 3.4%,PM 说"涨了,上线吧"。

先拆一个小陷阱:25/800 = 3.125%,27/800 = 3.375%,四舍五入成 3.1% 和 3.4%, 差值看起来是 0.3 个百分点;真实差值只有 0.25 个百分点。数字越小,四舍五入的相对误差越大—— 0.25 被写成 0.3,夸大了 20%。汇报时要么保留两位小数,要么直接写"25/800 对 27/800"。

先把三个数算出来:z、p、差值的 95% 置信区间。

p̂₁ = 25/800 = 0.03125
p̂₂ = 27/800 = 0.03375
p̄  = (25+27)/1600 = 0.0325                 # 合并比例
SE = √(p̄(1−p̄)(1/800 + 1/800)) = 0.008866
z  = (0.03375 − 0.03125) / 0.008866 = 0.282
p  = 2 × (1 − Φ(0.282)) = 0.778
SE_diff = √(p̂₁(1−p̂₁)/800 + p̂₂(1−p̂₂)/800) = 0.008866
95% CI  = 0.0025 ± 1.96 × 0.008866 = (−0.0149, +0.0199)

怎么读?

0% 1% 2% 3% 4% 5% 转化率 3.1% 对照组 n = 800 3.4% 实验组 n = 800 误差线 = 95% 置信区间。两组几乎完全重叠,差 0.25 个百分点,区间却是 −1.49 ~ +1.99
图 19.2.1 800 人实验:两组转化率与 95% 置信区间几乎完全重叠

那需要多少人?用样本量公式(α = 0.05,power = 80%,双侧):

n = (1.96 + 0.8416)² × [p₁(1−p₁) + p₂(1−p₂)] / (p₂−p₁)²
  = 7.849 × 0.0629 / 0.000009
  ≈ 54,840 人/组

两组一共约 11 万人。按公司 200 万注册用户,凑得出来,但要跑两到三周。 如果只认实际观测到的 0.25 个百分点,样本还要涨到 7.9 万一组——因为 n 和 Δ² 成反比。

反过来算 MDE:800 人一组,80% 功效下只能测出 2.49 个百分点的差异。 你关心的 0.3 个百分点,比它小 8 倍。这个实验从设计上就没有成功的可能。

这不是说实验白做了。它至少告诉你两件事:0.3 个点这个量级,靠 800 人测不出来; 以及——同样的相对提升,基线越高越容易测。基线 20% 的加购率涨 10%(绝对 2 个点), 每组 6,500 人就够;基线 3% 的转化率涨 10%(绝对 0.3 个点),要 5.5 万人。

那当下该怎么办?不能上线,不等于什么都不做。可以小流量灰度、持续观测两周, 或者干脆承认"这个量级的提升我们测不起",改用业务判断——比如改版成本很低、风险可控,那就上, 但别对外说"数据证明它有效"。统计给的是证据强度,决策还要算收益和成本。

19.3实验:六步算出置信区间

六步都用同一份脚本,数据在 book/data/qingning.db。前四步做抽样,后两步做检验,约 15 分钟。

已完成 0 / 6 预计 15 分钟
01

固定种子,抽 500 单

2 分钟 · 对应规则 1
做什么
从 15,615 笔已支付订单里随机抽 500 笔,记录样本均值。
为什么
规则 1 要求先确认样本怎么来的。固定种子是为了让你我算出同一个数,否则没法对答案。
怎么做
import sqlite3, numpy as np
con = sqlite3.connect("book/data/qingning.db")
x = np.array([r[0] for r in con.execute(
    "select pay_amount from orders where status='已支付'")])
rng = np.random.default_rng(20240601)
s = x[rng.choice(len(x), 500, replace=False)]
print(len(s), "%.2f" % s.mean())
看到什么
500 10018.65。样本均值比真值 10,077.71 低 59 元。
02

算标准差和标准误

2 分钟 · 对应规则 2
做什么
用样本的标准差除以 √500,得到标准误。
为什么
规则 2:SE = s/√n。这一步把"个体的波动"换成"均值的波动"。
怎么做
m, sd = s.mean(), s.std(ddof=1)
se = sd / np.sqrt(len(s))
print("%.2f %.2f %.2f" % (m, sd, se))
看到什么
10018.65 7024.49 314.14。标准差 7,024,标准误 314,差 22 倍。
标准误为什么不是 7,030 ÷ √500 = 314.39

因为这里用的是样本标准差 7,024.49,不是全量总体的 7,029.95。理论上用总体 σ 更准,实际工作中你只有样本,只能用 s 代替。差 0.25 元,可以忽略。

03

算 95% 置信区间,和真值比

2 分钟 · 对应规则 3
做什么
算区间上下限,检查它有没有盖住 10,077.71。
为什么
规则 3 说 95% 是"方法的覆盖率"。这一次盖没盖住,是全章最直观的验证。
怎么做
lo, hi = m - 1.96*se, m + 1.96*se
print("(%.2f, %.2f)" % (lo, hi))
print("覆盖" if lo <= 10077.71 <= hi else "没覆盖")
看到什么
(9402.93, 10634.38),覆盖。区间宽 1,231 元,约 ±6.1%。
04

重复 1,000 次,看覆盖率

3 分钟 · 对应规则 3
做什么
抽 1,000 次,数一数有多少个区间盖住了真值。
为什么
这是"95% 说的是方法,不是这一个区间"唯一的实证。看一次不算数,看 1,000 次才叫频率。
怎么做
hit = 0
for _ in range(1000):
    t = x[rng.choice(len(x), 500, replace=False)]
    mm, ss = t.mean(), t.std(ddof=1)/np.sqrt(500)
    hit += (mm-1.96*ss <= 10077.71 <= mm+1.96*ss)
print(hit/1000)
看到什么
0.957。你的结果应该在 0.94–0.96 之间——这就是 95% 的真实含义。
05

打开 ab_experiment,算两组转化率

2 分钟 · 对应规则 1
做什么
读实验表,确认两组的样本量和转化人数。
为什么
规则 1:先确认分母和分流。两组都是 12,000 人,说明分流没歪。
怎么做
SELECT group_name, COUNT(*) AS n, SUM(converted) AS c
FROM ab_experiment
GROUP BY group_name;
看到什么
control 12000 / 352(2.933%),treatment 12000 / 403(3.358%)。差 0.425 个百分点。
为什么这份数据比 19.2 的 800 人大这么多

19.2 是一个假设的小实验,用来讲清楚公式;这里是实验平台导出的 24,000 行真实记录,用来观察"样本量上去以后 p 值怎么变"。

06

做两比例检验,写结论

4 分钟 · 对应规则 4
做什么
算 z、p 和差值的 95% CI,然后写一句能交给 PM 的结论。
为什么
规则 4 要求同时报效应量、区间和 p,否则"不显著"会被读成"没效果"。
怎么做
from scipy.stats import norm
c1,n1,c2,n2 = 352,12000,403,12000
p1,p2 = c1/n1, c2/n2
pp = (c1+c2)/(n1+n2)
se = np.sqrt(pp*(1-pp)*(1/n1+1/n2))
z = (p2-p1)/se
print("z=%.4f p=%.4f" % (z, 2*(1-norm.cdf(abs(z)))))
print("CI %.4f ~ %.4f" % (p2-p1-1.96*se, p2-p1+1.96*se))
看到什么
z=1.8860,p=0.0593;差值 CI 是 −0.0002 到 +0.0087(−0.02 到 +0.87 个百分点)。
p = 0.059,到底算不算"接近显著"

不算。0.05 是一条人为划的线,0.059 和 0.061 没有本质区别,结论都是"证据不足"。真正该看的是区间:它的下沿只差一点点就碰到 0,说明"可能有正向效果,但也可能没有"。

0 = 没有差异 800 人/组 25 / 27 转化 p = 0.78 -1.49 +1.99 12,000 人/组 352 / 403 转化 p = 0.059 -0.02 +0.87 -2 -1 0 +1 +2 实验组 − 对照组 的转化率差值(百分点) 样本量涨 15 倍,区间窄了 4 倍,但两条区间都跨过 0
图 19.3.1 两次实验的差值:样本量涨 15 倍,区间窄了 4 倍,仍都跨过 0

12,000 人一组,p 从 0.78 降到 0.059。样本量涨了 15 倍,p 值降了一个数量级,但还是没过线。 因为这个设计的 MDE 是 0.63 个百分点,而观测到的效应只有 0.43——比门槛还小。 要稳定测出 0.43,每组需要约 2.65 万人。

19.4验证:数值核对 + 5 道选择题

三个数都能在 19.3 的输出里找到。第三个是 ab_experiment 的 z 值。

用 7,029.95 ÷ √500,或步骤 2 的输出
1.96 × 标准误
保留两位小数即可

19.4.1五道选择题

这一组题考的是"解释",不是计算。选完立刻出解析。

Q1某项检验 p = 0.03。下面哪种说法是对的?
解析:p 值的定义是"H0 为真时,观测到当前或更极端结果的概率"。它的条件是 H0 成立,所以不能反过来当成"H0 为真的概率",也不能当成"结论正确的概率"。
Q2某指标的 95% 置信区间是 [9,403, 10,634]。正确解释是?
解析:真值固定,区间随机。95% 描述的是"造区间的方法"的覆盖率。C 混淆了均值的区间和个体的分布,D 把参数当成了随机变量。
Q3一个 800 人的实验 p = 0.32,报告写"改版无效"。最该追问什么?
解析:不显著只说明证据不足,不说明没效果。如果 MDE 是 2.5 个百分点,而业务关心的是 0.3 个百分点,这个实验根本没有能力回答"有没有效果"。这正是 19.1.5 的规则 4。
Q4样本量从 100 增加到 400,标准误大约怎么变?
解析:SE = σ/√n,n 翻 4 倍,√n 翻 2 倍,SE 减半。这就是"精度提升是开根号的"——想快 10 倍,样本要 100 倍。
Q5下面哪种情况属于第一类错误?
解析:第一类错误是"没效果却说有效果"(误报),概率是 α;第二类错误是"有效果却说没效果"(漏报),概率是 β。C 是执行问题,不是统计错误。
得分:0 / 5

19.5常见问题排查

按"现象 → 原因 → 解决"整理。

现象原因解决
p 很小,但效应量也极小样本太大,任何微小差异都会显著先报效应量和 CI,再问"这点提升值不值"
置信区间宽得没法用样本小,或指标波动大加样本,或换成更稳定的指标
两组各自的 CI 重叠,检验却显著看错了:应该看差值的 CI直接算差值及其区间,别比两个独立的区间
实验结果和全量数据反着分流不均、样本偏差、SRM先查两组样本量比例和进入方式
重复做实验,结论忽正忽负功效不足,或中途偷看先算样本量,固定时长,别边跑边看
比例指标用了 t 检验统计量选错两比例用 z 检验,均值才用 t 检验

19.6本章小结与练习

  1. 先问样本怎么来的,再问多大。抽样误差是运气,偏差是方法,后者样本量救不了。
  2. 标准误 = σ/√n。精度提升是开根号的,n 翻 4 倍才减半。
  3. 95% CI 描述方法,不描述这一个区间。真值固定,区间随机。
  4. p 值不是"结论正确的概率"。它只说"数据有多不像 H0",不说效果大小,也不说值不值。
  5. 不显著 ≠ 没效果。先看 MDE,再看"不显著"这三个字有没有信息量。
  6. 汇报三件套:效应量、置信区间、p 值,一个都不能少。

19.6.1练习

  1. 如果 19.2 的实验组是 30 人转化(不是 27),p 值是多少?结论会变吗?
  2. 用 500 单估客单价,95% CI 的宽度是多少?要压到 ±300 元,需要多少单?
  3. 把 19.2 的 800 人/组扩到 8,000 人/组(比例不变),p 值是多少?这说明什么?
  4. 举一个你身边的例子:某个差异"统计上不显著,但业务上很重要"。说明为什么不能只看 p 值。
参考答案

1. 25/800 对 30/800:合并比例 3.4375%,SE = 0.009110,z = 0.686,p = 0.493。仍然不显著——多 3 个人,改变不了"样本太小"这个事实。

2. 宽度 = 2 × 1.96 × 314.39 ≈ 1,232 元。要 ±300 元,n = (1.96 × 7,029.95 ÷ 300)² ≈ 2,110 单。

3. 250/8,000 对 270/8,000:z = 0.892,p = 0.372。样本翻了 10 倍还是不显著——因为绝对差异只有 0.25 个百分点,而 8,000 人一组的 MDE 约 0.78 个百分点,还是够不着。

4. 参考答案:某渠道转化率提升 0.2 个百分点,p = 0.4,但该渠道月流量 500 万,0.2 个点等于每月多 1 万单。统计上测不出,业务上是真金白银——这时候该做的是加大样本或延长实验,而不是直接判"无效"。

下一章预告:这一章讲的是"怎么判断一个差异"。下一章把它变成一套可执行的流程——怎么定样本量、 怎么分流、怎么避免偷看和多重比较,也就是完整的 A/B 实验设计。
数据分析师训练营 · 第十九章
Python / Excel 均可,检验口径见 19.2