很多教材把 A/B 实验讲成一道计算题:代公式、算 z、看 p 值。真实工作里,计算只占十分钟,
剩下的全是判断——实验开始前,你算得出需要多少样本吗?实验结束后,你能在
p = 0.059 的时候顶住压力,不说「涨了 14.49%」吗?老板问「到底上不上」,你能给出一个有条件的答案吗?
本章用青柠优选一次真实的弹窗实验(24,000 人,转化率 2.933% → 3.358%)把这三件事走一遍。
结论会有点反直觉:看起来涨了 14.49%,但这次实验没有结论。
第 19 章用置信区间和 p 值回答了「差异是不是噪声」,但没回答「差异是不是我改的东西造成的」。 A/B 实验的全部价值,就在后半句。
为什么随机分组能换来因果?因为随机化把城市、设备、会员等级,以及你想不到的一百个变量, 在期望上全部摊平了;两组唯一的系统性差别,只剩你改的那个版本。 这不是「控制变量」,是「用抽签代替控制」。代价是:抽签必须真抽,而且抽得干净。
一份能落地的方案,开跑前必须写清三件事。缺一件,后面就会吵架。
第一,假设。假设不是「新版更好」,而是「规格选择上移,预计支付转化率提升 2pp 以上」—— 有方向、有幅度,并绑定决策规则:什么条件全量、什么条件回滚、什么条件继续观察。 没有决策规则的实验,结果出来一定会被「再跑一周看看」拖死。
第二,主指标加护栏指标。主指标只能有一个,因为它对应唯一一个决策。护栏指标是 「不能被优化掉的代价」,通常 2 到 3 个:退款率、客单价、页面加载时长。 如果不这样会怎样:某次改版把购买按钮做大,转化率涨了 0.8pp,退款率从 6.0% 涨到 9.1%, 三个月后净收入反而下降——你优化的是中间指标,代价记在另一个账本上。
第三,分流单位。按用户、按会话、还是按曝光?绝大多数场景应按 user_id: 同一个人会换设备、反复进出,按会话分会让他同时落进两组,两组不再独立。 更隐蔽的是,分流单位必须等于分析单位——按曝光分流却按用户统计转化率,等于自己埋一个辛普森悖论。
看到数据之后再挑指标、挑分组、挑时间段,等于把「找显著」当成分析方法。
如果不这样会怎样:一个实验看五个指标,只要有一个 p < 0.05 就宣布胜利。 在真实无差异的情况下,至少一个指标「显著」的概率是 1 − 0.95⁵ = 22.6%。 你每做五次这样的实验,就有一次是在为一个不存在的效果开庆功会。
样本量由四个参数唯一确定,开跑前必须全部说出来:
| 参数 | 含义 | 本章实验里的取值 |
|---|---|---|
| 基线 p | 对照组当前的转化率 | 2.933%(352 / 12,000) |
| MDE | 希望检出的最小效应 | 0.425pp(相对 14.49%) |
| α | 犯第一类错误的概率,通常双侧 0.05 | 0.05,对应 z = 1.96 |
| Power | 真有这么大的效应时,能检出的概率 | 0.80,对应 z = 0.84 |
每组样本量的近似公式是:
n = ( zα/2 · √(2p̄(1−p̄)) + zβ · √(p₁(1−p₁) + p₂(1−p₂)) )² / (p₂ − p₁)²
其中 p̄ = (p₁ + p₂) / 2,p₂ = p₁ + MDE
把 p₁ = 2.933%、MDE = 0.425pp 代进去,每组需要 26,479 人。而这次实验只有 12,000 人一组, 实际 power 只有 47.1%——就算新版真的有 0.425pp 的提升,也只有不到一半的概率能检出来。
更直观的看法是把 MDE 和样本量的关系画成一条曲线。它服从平方反比:MDE 减半,样本量翻四倍。
| MDE(pp) | 相对提升 | 每组所需样本 |
|---|---|---|
| 0.30 | 10.2% | 52,120 |
| 0.425 | 14.5% | 26,479 |
| 0.50 | 17.1% | 19,352 |
| 0.63 | 21.5% | 12,429 |
| 1.00 | 34.1% | 5,204 |
实验开始前算样本量,是在回答「这个实验值不值得做」;实验结束后算样本量,只是在给一个 已经发生的结果找解释。
如果不这样会怎样:12,000 人一组跑完,发现 p = 0.059,再回头算 power 只有 47.1%。 这时候你说「样本不够」,没人能反驳,但也没人再给你两周流量——因为你事前就该说。
同一组数字,可以讲成两个故事。对照组 2.933%,实验组 3.358%:
两个数都没错,但它们的用途完全不同。相对提升用来讲故事,绝对提升用来做决策。 因为决策发生在总量上:12,000 个用户多转化 0.425%,就是多 51 单;按转化用户客单价约 210 元算, 大约多 10,710 元收入(实际两组收入差 11,486.67 元)。这个数才能拿去和开发成本比。
如果不这样会怎样:某活动的转化率从 0.10% 涨到 0.15%,相对提升 50%,汇报里非常漂亮; 可一万个用户只多 5 单。基数越小,相对提升越会骗人。
相对提升只回答「涨了多少倍」,不回答「涨了多少」。所有没有基数(用户量、订单量、金额)的 提升数字,都不构成决策依据。
正确写法:「转化率提升 0.425pp(相对 14.49%),本次 12,000 人的实验组多约 51 单, 增量收入约 1.15 万元。」
这五个坑的共同点是:它们都不会让软件报错。报表照样出,p 值照样算,只是结论是错的。
一次实验看五个指标、切十个维度,然后挑一个 p < 0.05 的报告。五个指标至少一个假阳性的概率是 22.6%,十个是 40.1%。对策:事前指定唯一主指标,其余只作解释;真要做多重检验,就用 Bonferroni 或 FDR 校正。
计划 50/50,实际 11,760 对 12,240。χ² = 9.6,p = 0.0019——这种偏差在随机分流下 几乎不可能出现,说明分流链路有问题:请求失败、机器人过滤不一致、重定向丢包。 SRM 要在看结果之前查。比例不对,后面的 p 值一个字都不能信。
分流单位和分析单位不一致时,最容易出现「每个分层都更好,合起来却更差」。 下面这张表是结构示意(数字取整,只为说明机制):
| 渠道 | A 曝光 | A 转化 | A 转化率 | B 曝光 | B 转化 | B 转化率 |
|---|---|---|---|---|---|---|
| 自然搜索 | 8,000 | 480 | 6.0% | 2,000 | 124 | 6.2% |
| 信息流 | 2,000 | 60 | 3.0% | 8,000 | 256 | 3.2% |
| 合计 | 10,000 | 540 | 5.4% | 10,000 | 380 | 3.8% |
根因是分流:按曝光分流,B 组拿到了更多信息流流量。按 user_id 分流并保证渠道结构一致,这个悖论就不会出现。
用户看到新界面会多点几下,头三天转化率冲高,第二周回落到持平——这不是效果,是新鲜感。 对策:跑满两个完整自然周,新老用户分开看。
每天打开报表看 p 值,一旦 p < 0.05 就停止实验。这会把 5% 的假阳性率抬到 20% 甚至 30%——你给了自己多次抽奖机会。对策:固定样本量跑满,或事前约定序贯检验。
顺序是:① 分流比例对不对(SRM);② 主指标算得对不对(口径、去重、时间窗); ③ 主指标显不显著;④ 护栏有没有恶化;⑤ 分层结论只用于解释,不用于翻案。
如果不这样会怎样:先看分层,发现「下沉城市显著」,于是把主指标改成下沉城市转化率—— 这不是分析,这是先射箭再画靶。
6 月,青柠优选在新注册用户里跑了「新人礼包」弹窗实验。24,000 人随机对半,
对照组看原版首页,实验组看弹窗;主指标 7 日首单转化率,护栏客单价和退款率。
数据表 ab_experiment 一行一个用户,四个字段:user_id、
group_name(control / treatment)、converted(0/1)、revenue。
| 组别 | 人数 | 转化人数 | 转化率 | 收入(元) | ARPU(元) |
|---|---|---|---|---|---|
| 对照组 control | 12,000 | 352 | 2.933% | 73,194.31 | 6.10 |
| 实验组 treatment | 12,000 | 403 | 3.358% | 84,680.98 | 7.06 |
先算三个数。转化率:352 / 12,000 = 2.9333%,403 / 12,000 = 3.3583%。 绝对差 0.425pp,相对差 0.425 / 2.933 = 14.49%。到这里,运营的汇报稿已经写好了: 「弹窗让首单转化率提升 14.49%」。
但还差一步。两组合并的转化率 p̄ = 755 / 24,000 = 3.1458%,标准误:
SE = √( p̄(1−p̄)(1/n₁ + 1/n₂) )
= √( 0.031458 × 0.968542 × (1/12000 + 1/12000) )
= 0.0022535
z = (0.033583 − 0.029333) / 0.0022535 = 1.886
p = 2 × (1 − Φ(1.886)) = 0.0593
p = 0.0593,大于 0.05。按事前定好的规则,这次实验不能宣布胜利。 用不合并方差算 95% 置信区间,差值的区间是 [−0.0166, 0.8666] 个百分点: 下限略低于 0,上限接近 0.87pp。翻译成人话:这个实验既没排除「没效果」, 也没排除「效果是现在的两倍」。
接下来是三个追问,它们的答案决定了这份报告怎么写。
不够。要检出 0.425pp 的效应,每组需 26,479 人,这次只有 12,000 人。 而 12,000 人一组能检出的最小效应是 0.63pp,比我们要找的还大一半。 p 落在 0.059 不是效应不存在,是样本不够分辨。
不算。人均收入 6.10 → 7.06 元,Welch t 检验 p = 0.0496,刚好越过 0.05。 但 ARPU = 转化率 × 客单价,而客单价只从 207.94 元变到 210.13 元(+1.05%),几乎没动。 这个「显著」只是同一个转化差异换了单位,不是独立证据。 更要命的是:同时看两个指标,至少一个假阳性的概率是 9.75%;而 0.0496 距离 0.05 只有 0.0004。
不能全量,也不该放弃。只有三条路:
| 选项 | 代价 | 适用条件 |
|---|---|---|
| 延长实验 | 再跑 14,479 人 / 组,按当前新客速度约 3 周 | 弹窗没有明显体验代价,且时间允许 |
| 接受更大 MDE | 只能检出 0.63pp 以上的效应 | 业务上认为 0.63pp 以下不值得做 |
| 换更敏感的指标 | 用「弹窗点击率 → 加购率」做代理,样本需求小 | 代理指标与首单转化有稳定历史关系 |
这次换你主导。产品要把详情页的「规格选择」从页面中部改成吸底弹层,同时把主图换成视频。 你要在开跑前交出一份能执行的方案。
流量只有这么多。MDE 越小样本量越大;2pp 是当前流量下 17 天能跑完的精度,第 3 步会算。
游客没有 user_id,无法稳定分流,也无法跨设备去重。把他们算进分母,两组的用户结构就不可比。第 21 章会看到 JOIN 丢行的同类问题。
说明「只改文案、只调配色」这类小改动,在青柠优选的流量下根本测不出来。要么把改动做大(MDE 2pp),要么换更敏感的主指标。
很多公司「实验做完没结论」,不是方法错,是样本根本不够。
hash(user_id + "202407detail") % 10000,小于 5000 进实验组不加盐,同一 user_id 在所有实验里都会被分到同一组,长期会污染实验间的关系;加一个实验专属字符串即可解决。
chisquare([n_control, n_treatment])先停实验,不要「反正差得不多,继续跑」。按渠道、设备、版本拆开找流失点,修好再重跑;已经跑出来的数据作废。
本节不提供附件,用上面四条做标题即可。
先核对数值,再做五道选择题。
不看正文,凭第一反应选。选完立刻出解析。
按「现象 → 原因 → 解决」整理。
| 现象 | 原因 | 解决 |
|---|---|---|
| 两组人数差超过 1% | SRM:分流脚本、埋点丢失、机器人过滤不一致 | 停实验,按渠道/设备/版本找流失点,修好后重跑 |
| p 值每天变,越看越玄 | 提前偷看,多次检验抬高假阳性率 | 固定样本量跑满;或事前改用序贯检验 |
| 主指标不显著,某个分层显著 | 多重比较 + 事后挑组 | 分层只作解释,决策仍看事前主指标 |
| 上线三天效果很好,第二周消失 | 新奇效应 | 跑满两个完整周,按新老用户复核 |
| 转化率涨了,收入没涨 | 护栏失守:客单价或退款率恶化 | 护栏写进决策规则,护栏降就回滚 |
| 实验做完了,结论是「不确定」 | 样本量不足,power 太低 | 事前算样本量;不够就放大 MDE 或不做 |
1. 52,120 人 / 组,约为 26,479 的 1.97 倍。MDE 缩小到 0.706 倍,样本按平方反比放大约 2 倍。
2. 会。z = 1.886 > 1.645,p = 0.0593 < 0.10,按 0.10 的标准算「显著」。这说明「显著」不是数据的属性,而是「数据 + 阈值」的共同结论。
3. 因为 ARPU = 转化率 × 客单价,客单价几乎没变(207.94 → 210.13),ARPU 的差异本质上是同一个转化差异换了单位,不构成两次独立检验;同时看两个指标还会把假阳性率抬到 9.75%。
4. χ² = (11760−12000)²/12000 + (12240−12000)²/12000 = 4.8 + 4.8 = 9.6,df = 1,p = 0.0019。远小于 0.001 的止损线,说明分流有系统性偏差,不应继续。