数据分析师训练营/ 第四篇 统计/ 第二十章
第二十章 · 实验设计

别急着宣布胜利

很多教材把 A/B 实验讲成一道计算题:代公式、算 z、看 p 值。真实工作里,计算只占十分钟, 剩下的全是判断——实验开始前,你算得出需要多少样本吗?实验结束后,你能在 p = 0.059 的时候顶住压力,不说「涨了 14.49%」吗?老板问「到底上不上」,你能给出一个有条件的答案吗?

本章用青柠优选一次真实的弹窗实验(24,000 人,转化率 2.933% → 3.358%)把这三件事走一遍。 结论会有点反直觉:看起来涨了 14.49%,但这次实验没有结论。

理论 : 实操 = 6 : 4 约 6 学时 前置 第 19 章

20.1原理:用随机化换因果

第 19 章用置信区间和 p 值回答了「差异是不是噪声」,但没回答「差异是不是我改的东西造成的」。 A/B 实验的全部价值,就在后半句。

为什么随机分组能换来因果?因为随机化把城市、设备、会员等级,以及你想不到的一百个变量, 在期望上全部摊平了;两组唯一的系统性差别,只剩你改的那个版本。 这不是「控制变量」,是「用抽签代替控制」。代价是:抽签必须真抽,而且抽得干净。

20.1.1实验设计三要素

一份能落地的方案,开跑前必须写清三件事。缺一件,后面就会吵架。

第一,假设。假设不是「新版更好」,而是「规格选择上移,预计支付转化率提升 2pp 以上」—— 有方向、有幅度,并绑定决策规则:什么条件全量、什么条件回滚、什么条件继续观察。 没有决策规则的实验,结果出来一定会被「再跑一周看看」拖死。

第二,主指标加护栏指标。主指标只能有一个,因为它对应唯一一个决策。护栏指标是 「不能被优化掉的代价」,通常 2 到 3 个:退款率、客单价、页面加载时长。 如果不这样会怎样:某次改版把购买按钮做大,转化率涨了 0.8pp,退款率从 6.0% 涨到 9.1%, 三个月后净收入反而下降——你优化的是中间指标,代价记在另一个账本上。

第三,分流单位。按用户、按会话、还是按曝光?绝大多数场景应按 user_id: 同一个人会换设备、反复进出,按会话分会让他同时落进两组,两组不再独立。 更隐蔽的是,分流单位必须等于分析单位——按曝光分流却按用户统计转化率,等于自己埋一个辛普森悖论。

开跑前写死,不许事后补 1 假设 方向 + 幅度 + 决策规则 「规格上移 → 支付率  提升 ≥ 2pp」 不能写「新版更好」 2 指标 主指标 1 个 护栏指标 2–3 个 退款率 · 客单价 · 加载时长 不能「哪个显著报哪个」 3 分流 按 user_id 哈希 50 / 50 同一用户永远同一组 分流单位 = 分析单位 按会话分会互相污染 决策规则(写进方案,上线前由产品、数据、业务三方确认) 主指标 p < 0.05 且护栏全部不降 → 全量 | 主指标 p < 0.05 但护栏下降 → 回滚 | 否则 → 延长或放弃,不许「再跑一周看看」
图 20.1.1 三要素必须在开跑前写死;决策规则不是形式,是防止结果出来后被立场绑架
1

假设、指标、分流,必须在看到数据之前定稿

看到数据之后再挑指标、挑分组、挑时间段,等于把「找显著」当成分析方法。

如果不这样会怎样:一个实验看五个指标,只要有一个 p < 0.05 就宣布胜利。 在真实无差异的情况下,至少一个指标「显著」的概率是 1 − 0.95⁵ = 22.6%。 你每做五次这样的实验,就有一次是在为一个不存在的效果开庆功会。

20.1.2样本量四参数

样本量由四个参数唯一确定,开跑前必须全部说出来:

参数含义本章实验里的取值
基线 p对照组当前的转化率2.933%(352 / 12,000)
MDE希望检出的最小效应0.425pp(相对 14.49%)
α犯第一类错误的概率,通常双侧 0.050.05,对应 z = 1.96
Power真有这么大的效应时,能检出的概率0.80,对应 z = 0.84

每组样本量的近似公式是:

n = ( zα/2 · √(2p̄(1−p̄)) + zβ · √(p₁(1−p₁) + p₂(1−p₂)) )² / (p₂ − p₁)²

其中 p̄ = (p₁ + p₂) / 2,p₂ = p₁ + MDE

把 p₁ = 2.933%、MDE = 0.425pp 代进去,每组需要 26,479 人。而这次实验只有 12,000 人一组, 实际 power 只有 47.1%——就算新版真的有 0.425pp 的提升,也只有不到一半的概率能检出来。

更直观的看法是把 MDE 和样本量的关系画成一条曲线。它服从平方反比:MDE 减半,样本量翻四倍。

1万 2万 3万 4万 5万 你现在的位置:1.2 万 / 组,只能检出 0.63pp 0.425pp → 26,479 / 组 1.0pp → 5,204 / 组 要检出的最小效应 MDE(百分点) 每组样本量 0.3 0.6 1.0 1.4 1.8
图 20.1.2 样本量随 MDE 平方反比下降;曲线越往左越陡,小效应最贵
MDE(pp)相对提升每组所需样本
0.3010.2%52,120
0.42514.5%26,479
0.5017.1%19,352
0.6321.5%12,429
1.0034.1%5,204
2

样本量由设计决定,不能等跑完再算

实验开始前算样本量,是在回答「这个实验值不值得做」;实验结束后算样本量,只是在给一个 已经发生的结果找解释。

如果不这样会怎样:12,000 人一组跑完,发现 p = 0.059,再回头算 power 只有 47.1%。 这时候你说「样本不够」,没人能反驳,但也没人再给你两周流量——因为你事前就该说。

20.1.3绝对提升与相对提升

同一组数字,可以讲成两个故事。对照组 2.933%,实验组 3.358%:

两个数都没错,但它们的用途完全不同。相对提升用来讲故事,绝对提升用来做决策。 因为决策发生在总量上:12,000 个用户多转化 0.425%,就是多 51 单;按转化用户客单价约 210 元算, 大约多 10,710 元收入(实际两组收入差 11,486.67 元)。这个数才能拿去和开发成本比。

如果不这样会怎样:某活动的转化率从 0.10% 涨到 0.15%,相对提升 50%,汇报里非常漂亮; 可一万个用户只多 5 单。基数越小,相对提升越会骗人。

3

汇报用绝对,决策用绝对乘基数

相对提升只回答「涨了多少倍」,不回答「涨了多少」。所有没有基数(用户量、订单量、金额)的 提升数字,都不构成决策依据。

正确写法:「转化率提升 0.425pp(相对 14.49%),本次 12,000 人的实验组多约 51 单, 增量收入约 1.15 万元。」

20.1.4五个经典坑

这五个坑的共同点是:它们都不会让软件报错。报表照样出,p 值照样算,只是结论是错的。

坑一:多重比较

一次实验看五个指标、切十个维度,然后挑一个 p < 0.05 的报告。五个指标至少一个假阳性的概率是 22.6%,十个是 40.1%。对策:事前指定唯一主指标,其余只作解释;真要做多重检验,就用 Bonferroni 或 FDR 校正。

坑二:SRM(样本比例失调)

计划 50/50,实际 11,760 对 12,240。χ² = 9.6,p = 0.0019——这种偏差在随机分流下 几乎不可能出现,说明分流链路有问题:请求失败、机器人过滤不一致、重定向丢包。 SRM 要在看结果之前查。比例不对,后面的 p 值一个字都不能信。

坑三:辛普森悖论

分流单位和分析单位不一致时,最容易出现「每个分层都更好,合起来却更差」。 下面这张表是结构示意(数字取整,只为说明机制):

渠道A 曝光A 转化A 转化率B 曝光B 转化B 转化率
自然搜索8,0004806.0%2,0001246.2%
信息流2,000603.0%8,0002563.2%
合计10,0005405.4%10,0003803.8%
表 20.1.1 B 在每个渠道都高 0.2pp,合计却低 1.6pp——因为 B 组八成流量落在低转化的信息流

根因是分流:按曝光分流,B 组拿到了更多信息流流量。按 user_id 分流并保证渠道结构一致,这个悖论就不会出现。

坑四:新奇效应

用户看到新界面会多点几下,头三天转化率冲高,第二周回落到持平——这不是效果,是新鲜感。 对策:跑满两个完整自然周,新老用户分开看。

坑五:提前偷看

每天打开报表看 p 值,一旦 p < 0.05 就停止实验。这会把 5% 的假阳性率抬到 20% 甚至 30%——你给了自己多次抽奖机会。对策:固定样本量跑满,或事前约定序贯检验。

4

先体检,再看主指标,最后才看分层

顺序是:① 分流比例对不对(SRM);② 主指标算得对不对(口径、去重、时间窗); ③ 主指标显不显著;④ 护栏有没有恶化;⑤ 分层结论只用于解释,不用于翻案。

如果不这样会怎样:先看分层,发现「下沉城市显著」,于是把主指标改成下沉城市转化率—— 这不是分析,这是先射箭再画靶。

20.2分析:一次没有结论的实验

6 月,青柠优选在新注册用户里跑了「新人礼包」弹窗实验。24,000 人随机对半, 对照组看原版首页,实验组看弹窗;主指标 7 日首单转化率,护栏客单价和退款率。 数据表 ab_experiment 一行一个用户,四个字段:user_id、 group_name(control / treatment)、converted(0/1)、revenue。

组别人数转化人数转化率收入(元)ARPU(元)
对照组 control12,0003522.933%73,194.316.10
实验组 treatment12,0004033.358%84,680.987.06

先算三个数。转化率:352 / 12,000 = 2.9333%,403 / 12,000 = 3.3583%。 绝对差 0.425pp,相对差 0.425 / 2.933 = 14.49%。到这里,运营的汇报稿已经写好了: 「弹窗让首单转化率提升 14.49%」。

但还差一步。两组合并的转化率 p̄ = 755 / 24,000 = 3.1458%,标准误:

SE = √( p̄(1−p̄)(1/n₁ + 1/n₂) )
   = √( 0.031458 × 0.968542 × (1/12000 + 1/12000) )
   = 0.0022535

z = (0.033583 − 0.029333) / 0.0022535 = 1.886
p = 2 × (1 − Φ(1.886)) = 0.0593

p = 0.0593,大于 0.05。按事前定好的规则,这次实验不能宣布胜利。 用不合并方差算 95% 置信区间,差值的区间是 [−0.0166, 0.8666] 个百分点: 下限略低于 0,上限接近 0.87pp。翻译成人话:这个实验既没排除「没效果」, 也没排除「效果是现在的两倍」。

A 两组的转化率与 95% 置信区间 2.5% 3.0% 3.5% 2.933% 对照组 3.358% 实验组 转化率 B 差值(实验 − 对照)与 95% 置信区间 0 +0.425pp −0.017 +0.867 −0.4 +1.2 差值(百分点)
图 20.2.1 点估计在 0 的右侧,但置信区间跨过 0;这就是「看起来涨了,却不能说涨了」

接下来是三个追问,它们的答案决定了这份报告怎么写。

追问一:样本够吗?

不够。要检出 0.425pp 的效应,每组需 26,479 人,这次只有 12,000 人。 而 12,000 人一组能检出的最小效应是 0.63pp,比我们要找的还大一半。 p 落在 0.059 不是效应不存在,是样本不够分辨。

追问二:ARPU 的 p = 0.0496 算不算另一个证据?

不算。人均收入 6.10 → 7.06 元,Welch t 检验 p = 0.0496,刚好越过 0.05。 但 ARPU = 转化率 × 客单价,而客单价只从 207.94 元变到 210.13 元(+1.05%),几乎没动。 这个「显著」只是同一个转化差异换了单位,不是独立证据。 更要命的是:同时看两个指标,至少一个假阳性的概率是 9.75%;而 0.0496 距离 0.05 只有 0.0004。

追问三:那到底上不上?

不能全量,也不该放弃。只有三条路:

选项代价适用条件
延长实验再跑 14,479 人 / 组,按当前新客速度约 3 周弹窗没有明显体验代价,且时间允许
接受更大 MDE只能检出 0.63pp 以上的效应业务上认为 0.63pp 以下不值得做
换更敏感的指标用「弹窗点击率 → 加购率」做代理,样本需求小代理指标与首单转化有稳定历史关系
本章最重要的一句话:p > 0.05 不等于「没效果」,只等于「这份数据不足以证明有效果」。 把「未决」说成「无效」,和把「未决」说成「有效」,是同一类错误的两面。

20.3实验:设计详情页改版

这次换你主导。产品要把详情页的「规格选择」从页面中部改成吸底弹层,同时把主图换成视频。 你要在开跑前交出一份能执行的方案。

已完成 0 / 6 预计 40 分钟
01

把「改版」翻译成可证伪的假设

5 分钟 · 对应规则 1
做什么
写出一句带方向、幅度、决策规则的假设,贴进需求文档第一页。
为什么
「新版更好」无法被证伪,事后任何结果都能解释。规则 1 要求假设在看到数据前定稿。
怎么做
  1. 写:「吸底弹层把规格选择提前到首屏,预计详情页到支付的转化率从 5.6% 提升到 7.6% 以上」
  2. 写决策规则:「若 p < 0.05 且退款率、客单价不降,则全量;否则不全量」
  3. 让产品、业务、数据三方在方案上确认
看到什么
假设里有三个数字:基线 5.6%、目标 7.6%、MDE 2pp。
为什么 MDE 定 2pp 而不是 0.5pp

流量只有这么多。MDE 越小样本量越大;2pp 是当前流量下 17 天能跑完的精度,第 3 步会算。

02

定一个主指标、三个护栏

5 分钟 · 对应规则 1
做什么
把指标、口径、时间窗写清楚。
为什么
主指标决定决策,只能有一个;护栏指标防止「把代价转移到别处」。
怎么做
  1. 主指标:详情页 UV → 当日支付转化率,分母是去重 user_id,不含游客
  2. 护栏 1:退款率(支付后 7 日内)
  3. 护栏 2:转化用户客单价
  4. 护栏 3:详情页 P75 加载时长(前端埋点)
看到什么
四项指标各有唯一口径,谁算都一样。
为什么分母要去掉游客

游客没有 user_id,无法稳定分流,也无法跨设备去重。把他们算进分母,两组的用户结构就不可比。第 21 章会看到 JOIN 丢行的同类问题。

03

算样本量,再决定做不做 核心

8 分钟 · 对应规则 2
做什么
用 20.1.2 的公式,算三种 MDE 各需要多少人、多少天。
为什么
样本量决定实验值不值得做;发现做不了也是好事。
怎么做
  1. 基线 5.6%,MDE 2pp → 每组 2,419 人
  2. MDE 1pp → 每组 8,991 人
  3. MDE 0.5pp → 每组 34,583 人
  4. 用 6 月详情页日均 UV 294 估算天数:总样本 ÷ 294
看到什么
2pp 约 17 天;1pp 约 61 天;0.5pp 约 235 天。
算出 235 天,说明什么

说明「只改文案、只调配色」这类小改动,在青柠优选的流量下根本测不出来。要么把改动做大(MDE 2pp),要么换更敏感的主指标。

很多公司「实验做完没结论」,不是方法错,是样本根本不够。

04

定分流:按 user_id,不按会话

6 分钟 · 对应规则 1
做什么
写清分流键、哈希规则、分层变量、排除名单。
为什么
分流单位必须等于分析单位。按会话分,同一个人会同时进两组,两组不再独立。
怎么做
  1. 分流键:hash(user_id + "202407detail") % 10000,小于 5000 进实验组
  2. 分层:按城市(8 个)和新老用户(注册 30 天内 / 以上)随机
  3. 排除:内部账号、爬虫、近 7 日已下过单的用户
看到什么
分流日志里,同一 user_id 每次都返回同一个组;各城市、新老层的比例都在 50% ± 0.5pp 内。
为什么加盐(salt)

不加盐,同一 user_id 在所有实验里都会被分到同一组,长期会污染实验间的关系;加一个实验专属字符串即可解决。

05

埋点与 SRM 预检

8 分钟 · 对应规则 4
做什么
先跑 3 天 A/A,确认分流和埋点没有系统性偏差。
为什么
SRM 要在看结果之前查。比例不对,后面的 p 值一个字都不能信。
怎么做
  1. 上线前 3 天只打曝光日志,不展示新版,检查两组 UV 比例
  2. 每天算一次卡方:chisquare([n_control, n_treatment])
  3. A/A 期主指标差异应不显著(p > 0.05),否则先查埋点
  4. 确认「曝光」与「转化」用的是同一个 user_id 口径
看到什么
A/A 期两组各约 440 人,比例误差 < 1%,主指标 p > 0.3。
SRM 了怎么办

先停实验,不要「反正差得不多,继续跑」。按渠道、设备、版本拆开找流失点,修好再重跑;已经跑出来的数据作废。

06

写成一页纸的实验方案

8 分钟 · 对应规则 1–4
做什么
把前五步压缩成一页,发给产品、开发、业务确认。
为什么
方案不落纸,事后一定吵;签字是让所有人对「什么算成功」有同一个预期。
怎么做
  1. 假设与决策规则(第 1 步)
  2. 主指标 + 三个护栏的定义(第 2 步)
  3. 样本量 2,419 / 组,周期 17 天(第 3 步)
  4. 分流规则与止损线:χ² p < 0.001 立即停(第 4、5 步)
看到什么
一页 A4,读完能回答:测什么、测多久、多少人、怎么判。
方案模板在哪

本节不提供附件,用上面四条做标题即可。

20.4结果验证

先核对数值,再做五道选择题。

实验组转化率减对照组,单位 pp,保留三位小数。
绝对提升除以对照组转化率,填百分数,保留两位小数。
用 20.1.2 的公式,α=0.05 双侧,允许 ±3% 误差。

20.4.1五道选择题

不看正文,凭第一反应选。选完立刻出解析。

Q1实验结果 p = 0.0593,95% CI 为 [−0.017, 0.867]pp。最准确的结论是?
解析:p > 0.05 只说明数据不足以拒绝「无差异」,不等于证明无差异。CI 跨 0 同时包含「小幅下降」和「接近 0.87pp 的提升」,正确状态是「未决」。
Q2转化率从 2.933% 涨到 3.358%,下面哪种表述最不适合直接用于决策?
解析:「14.49%」是相对提升,基数小的时候会放大观感;再加一句「效果显著」就更是把未决说成了结论。决策需要绝对量乘基数。
Q3计划 50/50 分流,实际 11,760 对 12,240。第一步应该做什么?
解析:χ² = 9.6,p = 0.0019,这种偏差在真随机下几乎不可能出现,说明分流有系统性 bug。SRM 没解决之前,所有结果都不可信。删人或建模都是掩盖问题。
Q4一次实验同时看 5 个指标,只报告 p 最小的那个。主要风险是什么?
解析:1 − 0.95⁵ = 22.6%。每个指标都做一次 5% 的检验,至少一次误报的概率远高于 5%。对策是事前指定唯一主指标,或做多重检验校正。
Q5为什么大多数实验应该按 user_id 分流,而不是按会话或曝光?
解析:同一个人换设备、反复访问时会落进不同组,两组就不再是独立样本,还会引发辛普森悖论。分流单位必须等于分析单位。
得分:0 / 5

20.5常见问题排查

按「现象 → 原因 → 解决」整理。

现象原因解决
两组人数差超过 1%SRM:分流脚本、埋点丢失、机器人过滤不一致停实验,按渠道/设备/版本找流失点,修好后重跑
p 值每天变,越看越玄提前偷看,多次检验抬高假阳性率固定样本量跑满;或事前改用序贯检验
主指标不显著,某个分层显著多重比较 + 事后挑组分层只作解释,决策仍看事前主指标
上线三天效果很好,第二周消失新奇效应跑满两个完整周,按新老用户复核
转化率涨了,收入没涨护栏失守:客单价或退款率恶化护栏写进决策规则,护栏降就回滚
实验做完了,结论是「不确定」样本量不足,power 太低事前算样本量;不够就放大 MDE 或不做

20.6本章小结与练习

  1. A/B 的本质是用随机化换因果。随机化摊平了所有变量,代价是抽签必须真抽、抽得干净。
  2. 三要素事前定稿:可证伪的假设 + 一个主指标加护栏 + 与分析单位一致的分流单位。
  3. 样本量由四个参数决定:基线、MDE、α、power。MDE 减半,样本翻四倍。
  4. 相对提升讲故事,绝对提升做决策。没有基数的百分比不构成依据。
  5. p > 0.05 是「未决」,不是「无效」。本次实验涨了 14.49%,但 p = 0.059、CI 跨 0,只能说证据不足。

20.6.1练习

  1. 把 MDE 从 0.425pp 压到 0.30pp,每组需要多少人?是现在的几倍?
  2. 把显著性水平从 0.05 放宽到 0.10,这次实验的结论会变吗?说明什么?
  3. ARPU 的 p = 0.0496,为什么不能当成「第二个独立证据」?
  4. 设计一个 SRM 检查:预期 50/50,实际 11,760 / 12,240,算出 χ² 和 p,并说明该不该继续。
参考答案

1. 52,120 人 / 组,约为 26,479 的 1.97 倍。MDE 缩小到 0.706 倍,样本按平方反比放大约 2 倍。

2. 会。z = 1.886 > 1.645,p = 0.0593 < 0.10,按 0.10 的标准算「显著」。这说明「显著」不是数据的属性,而是「数据 + 阈值」的共同结论。

3. 因为 ARPU = 转化率 × 客单价,客单价几乎没变(207.94 → 210.13),ARPU 的差异本质上是同一个转化差异换了单位,不构成两次独立检验;同时看两个指标还会把假阳性率抬到 9.75%。

4. χ² = (11760−12000)²/12000 + (12240−12000)²/12000 = 4.8 + 4.8 = 9.6,df = 1,p = 0.0019。远小于 0.001 的止损线,说明分流有系统性偏差,不应继续。

下一章预告:这一章靠「随机分组」拿到了因果。可现实里大部分问题没法做实验—— 会员等级不能随机发,城市不能随机换。第 21 章讲:没有实验时,怎么判断相关是不是因果。
数据分析师训练营 · 第二十章
所有统计量由 Python 实算,数据见 qingning.db 的 ab_experiment 表