数据分析师训练营/ 第四篇 统计/ 第二十一章
第二十一章 · 因果推断

相关不是因果

运营发来报告:用过「到货提醒」的用户,30 日留存 42%,没用过的 35%,高出 20%, 结论写着「建议全量推送」。你盯着表,觉得不对——用没用过是用户自己选的,不是抽签。

本章讲:没有随机分组时,一个相关关系要满足什么条件,才配叫因果。我们用 15,176 笔订单, 把「等级越高、客单价越高」这个结论拆开,看它剩下多少。

理论 : 实操 = 8 : 2 约 6 学时 前置 第 20 章

21.1原理:关系、污染与反事实

第 20 章靠随机化拿到了因果。可现实里能随机的事情很少:会员等级不能随机发,城市不能随机换, 功能也不能只给一半人用三个月。大部分时候,你手上只有观测数据——别人已经替你分好组了, 你只能事后去猜这个分组意味着什么。

21.1.1相关系数:皮尔逊与斯皮尔曼

相关系数只回答一个问题:两个变量有没有线性关系,强度多大。皮尔逊的定义是:

r = Σ(xᵢ − x̄)(yᵢ − ȳ) / √( Σ(xᵢ − x̄)² · Σ(yᵢ − ȳ)² )

r 落在 [−1, 1]:+1 完全同向,−1 完全反向,0 没有线性关系

三个性质:只测线性——完美的 U 形曲线 r 可以接近 0,但关系强得很;对离群点敏感—— 一个极端值就能把 r 从 0.1 拉到 0.8;r = 0 不等于独立,它只排除线性。

斯皮尔曼是皮尔逊的「排名版」:把 x、y 换成秩再算。它测单调关系,对离群点稳健,也不要求正态。 所以:连续、近似线性用皮尔逊;有序分类、明显偏态、有离群点用斯皮尔曼。

线性正相关 r = +0.96 线性负相关 r = −0.95 零相关,但强关系 r = 0.02,U 形 一个点决定结论 去掉红点:r = 0.05;留着:r = 0.84 纵轴:y 横轴:x  图 A、B 才是 r 能描述的形状;C、D 是 r 最容易骗人的形状
图 21.1.1 同一个 r,背后的形状可以完全不同;所以任何相关系数都必须配一张散点图

回到青柠优选。会员等级按 0–3 编码,15,176 笔订单算出:皮尔逊 r = 0.0123(p = 0.131), 斯皮尔曼 ρ = 0.0107(p = 0.188),都接近 0 且不显著;年龄与客单价的 r 也只有 0.0090。

但别急着说「等级没用」:r ≈ 0 只说明没有线性关系,而等级还和城市、品类缠在一起。

1

先画散点图,再算相关系数;报 r 必须带 n、p 和口径

「皮尔逊还是斯皮尔曼」「n」「p」——缺一个就没法解读。15,176 笔时,r = 0.012 的 95% 区间约为 [−0.004, 0.028],几乎横跨 0。

如果不这样会怎样:拿到 r = 0.84 就写「强相关」,画图才发现 9 个点挤在左下角、 1 个点在右上角;删掉那点,r 掉到 0.05。

21.1.2混淆、中介与对撞

两个变量相关,可能有四种解释:X 导致 Y、Y 导致 X、第三个变量同时导致两者、或者纯属偶然。 第三种里的「第三个变量」,按它和 X、Y 的位置关系,分成三类。分不清这三类, 你就会控制错变量——控制得越多,错得越离谱。

混淆变量是 X 和 Y 的共同原因。例:活跃用户既更可能发现新功能,也更可能留存。 控制它,是为了让比较发生在相似人群里。

中介变量在 X 到 Y 的路径上:X → M → Y。例:改版 → 详情页停留变长 → 支付率上升。 中介是效应的一部分,控制它会把你想测量的效应吃掉。看到「控制后效应消失」就以为发现真相, 往往只是把通道堵死了。

对撞变量是 X 和 Y 的共同结果:X → C ← Y。例:只分析「留下来的人」, 而留存本身同时受功能使用和基础活跃度影响。控制它,会制造出本来不存在的相关。

混淆:控制它 活跃度 用功能 留存 不控制 → 高估 X 的作用 「用功能的留存高」多半是它 中介:不要控制 改版 停留 支付 控制了 → 效应被吃掉一半 中介是机制,不是噪声 对撞:控制它会造假 用功能 活跃度 留存 只看留存用户 → 负相关 这是选择偏差,不是发现
图 21.1.2 三种位置,三种处理:混淆要控,中介不能控,对撞控了就错
2

控制变量之前,先画一张有向图

只控制 X 的前置变量,不控制后置变量。判断不了先后,就问「它在 X 之前就存在,还是 X 之后才被改变?」

如果不这样会怎样:为「功能 → 留存」控制「7 日登录次数」。登录在功能之后,也是留存的一部分。 控制它,会得出「功能没用」甚至「功能有害」。

21.1.3线性回归:系数怎么读,R² 是什么

回归是把「相关」写成一条可解释的线:

y = b₀ + b₁x₁ + b₂x₂ + … + ε

b₀:所有 x 为 0 时 y 的期望(基准组均值)
bⱼ:其他变量不变时,xⱼ 每增加 1 个单位,y 平均变化多少

关键是「其他变量不变」这五个字。没有它,系数就没有意义。分类变量要变成虚拟变量(0/1), 并且必须留一个基准组不放进模型,否则完全共线。回归输出里的每个系数, 都是「相对基准组」的差。

R² 回答另一个问题:模型解释的方差占总方差的比例。R² = 0.3,表示 y 的波动有 30% 能被这组 x 解释。它有三个常见误用:

这份数据把三个误用演了一遍:用等级解释客单价,R² = 0.000329,只解释 0.03% 的方差; 加城市后 R² 升到 0.000603,调整 R² 反成 −0.000056。 用原价解释实付,R² = 0.99993,却是同义反复(实付 = 原价 − 优惠)。

3

R² 只说「解释了多少」,不说「对不对」,更不说「为什么」

报回归结果,至少给四样东西:系数、标准误(或置信区间)、n、R²。只报系数和 R² 的回归, 等于只报了故事的封面。

如果不这样会怎样:看到 R² = 0.99 就宣布「找到了客单价的决定因素」,其实是拿 「原价」解释「实付」。两个变量是同一笔钱的两个写法,模型越准,越没有信息。

21.1.4逻辑回归:OR 值怎么读

当 y 是 0/1(转化、留存、退款),线性回归会预测出负数或大于 1 的概率,所以要换一个连接函数:

log( p / (1 − p) ) = b₀ + b₁x

OR = exp(b₁):x 每增加 1 个单位,优势(odds)变成原来的多少倍

用第 20 章的数据算:实验组转化 403 / 11,597,对照组 352 / 11,648, 优势比 OR = 1.150,95% CI [0.994, 1.330],p = 0.059。 读法是「实验组的转化优势是对照组的 1.15 倍」,不是「转化率提高 15%」。 相对风险 RR = 1.145,这次两者接近,因为基线转化率只有 2.9%;如果基线是 50% 对 60%, RR = 1.20,OR = 1.50,差得很远。

4

OR 不是 RR;OR 必须带置信区间和编码说明

结局越常见,OR 离 RR 越远。汇报时要么给 RR,要么给 OR 并注明「结局发生率约 3%,近似 RR」; 编码反了,OR 会变成倒数。

如果不这样会怎样:把 OR = 1.5 写成「提升了 50%」。真实基线 50% 时, RR 只有 1.2,绝对提升 10pp——夸大了 2.5 倍。

21.1.5因果推断入门:DID、PSM、断点回归

因果推断的核心是反事实:同一个人,用了功能和没用功能,留存分别是多少?你只能看到其中一个。 随机实验用抽签让两组在期望上可比;观测数据没有抽签,只能靠假设去「造」一个反事实。

方法适用场景关键假设失效信号
DID
双重差分
某城市先上线,其他后上线;有前后两期 平行趋势:没有干预时,两组的趋势本来一样 干预前两期趋势已经分叉
PSM
倾向得分匹配
协变量丰富,两组基线差异大 无未观测混淆:所有影响分配的变量都被观测到 匹配后仍有变量不平衡;结论对匹配半径敏感
RD
断点回归
有明确阈值:满 5,000 元升金卡 阈值附近连续:阈值两侧的人除处理外没有系统差异 阈值附近样本被操纵(凑单、刷分)

三者的共同点:都靠一个不可检验的假设。平行趋势只能用干预前数据「支持」, 「无未观测混淆」本质上无法验证,RD 的连续性可以用密度检验查但不是万能。 写报告时,必须把假设和检验一起写出来。

5

任何因果方法,都要先交代它靠什么假设活着

「DID 算出 +3.2pp」不是结论,「在平行趋势成立的前提下,DID 算出 +3.2pp」才是。 假设不写,读者就无法判断这个数能不能用。

如果不这样会怎样:两个城市本来就在分化,一个在涨、一个在跌,你拿它们做 DID, 会把「本来就会发生的差距」算成政策效果。图一画就露馅,但很多报告不画图。

21.2分析:留存高 20% 的报告

报告没说谎:用过功能的用户,留存确实更高。问题在于,「用过」不是随机分配的状态。

口径是:6 月上线「到货提醒」,用过的记为实验组,其余为对照组,比较 30 日留存。 42% 对 35%,相对高 20%,产品经理的结论是「全量推送」。

在签字之前,至少要问四个问题。

第一,谁用了这个功能?入口藏在「我的」二级页,只有常逛的人才会发现。 这群人本来就更活跃。这不是功能带来的留存,是活跃带来的留存——典型的自选择偏差。

第二,有没有反向因果?也可能是「本来就打算留下的人才有机会用」。 留存是 30 天窗口,功能使用也在窗口内,谁先谁后说不清。

第三,是不是控制了对撞变量?只保留「30 天后仍活跃」的用户再比较功能使用,等于按结果筛样本。 留存者里,功能使用与基础活跃度会呈负相关——这是选择造成的,不是功能造成的。

第四,差异有多大?7pp 如果只有几百人样本,置信区间可能宽到 ±6pp, 连「有没有差」都说不清。

我们拿自己的数据做了一个小实验。6 月 1 日有行为的 280 个用户,按「当天是否支付」分成两组, 看 6 月 2 日是否还活跃:

6 月 1 日的行为人数6 月 2 日仍活跃次日留存
当天支付过1317.69%
当天未支付2673914.61%
合计2804014.29%

按同样逻辑,会得出「支付让次日留存下降 47%」——显然荒谬。13 个人里 1 个留存,本来就可能波动; 支付用户当天已把事办完,第二天不回来很正常。行为标签比较的是人群,不是功能。

正确的做法不是换一个更漂亮的百分比,而是换一种分组方式:随机灰度 5%–10% 的用户, 按 user_id 分流,跑满两周,比较留存。做不了随机,就退一步用 PSM 匹配「上线前 7 日活跃天数」 相近的用户,并写明「仍可能有未观测混淆」;再退一步用 DID,比较先上线和后上线城市的前后变化。

21.3实验:等级与客单价

运营说:「金卡客单价最高,资源要向高等级倾斜。」听起来有数据支撑。这一节把它拆开, 看「等级 → 客单价」有多结实。

已完成 0 / 6 预计 35 分钟
01

先把口径钉死:JOIN 会丢行

5 分钟 · 对应规则 2
做什么
确认分析样本是多少笔订单、丢了哪些、为什么丢。
为什么
游客订单的 user_id 为空,已支付的有 439 笔;JOIN users 会静默丢掉它们,分母从 15,615 变成 15,176。
怎么做
  1. SELECT COUNT(*) FROM orders WHERE status='已支付' → 15,615
  2. SELECT COUNT(*) FROM orders o JOIN users u ON o.user_id=u.user_id WHERE o.status='已支付' → 15,176
  3. 算两个口径的客单价:10,077.71 与 10,087.57
看到什么
丢了 439 笔,占 2.8%;JOIN 后的客单价高 9.86 元,因为游客订单的客单价更低(9,736.68)。
这 9.86 元要不要紧

单独看不要紧,但 JOIN 会改变分母。后面所有等级客单价都在这 15,176 笔上算,不能再和全站 10,077.71 比。

02

算四个等级的客单价

5 分钟 · 对应规则 1
做什么
按会员等级分组,算订单数、用户数、客单价、中位数。
为什么
均值容易被大额订单拉高,中位数更稳;两个一起看,才知道分布有没有偏。
怎么做
  1. 写 SQL:GROUP BY u.member_level,聚合 COUNT(*)、COUNT(DISTINCT user_id)、AVG(pay_amount)
  2. 再算一次中位数(SQLite 没有 median,取数后用 numpy)
  3. 按客单价降序排列
看到什么
金卡 10,421.04 > 银卡 10,144.13 > 普通 10,008.51 > 黑卡 9,992.42。极差 428.62 元,4.29%。
为什么不是「等级越高越贵」

黑卡只有 638 单、83 人,均值最不稳;黑卡家电占比 19.3%,高于普通的 15.8%,而家电客单价排倒数第二。等级和品类结构缠在一起了。

03

按城市拆开,看关系稳不稳 核心

8 分钟 · 对应规则 2
做什么
把 4 个等级 × 8 个城市拆成 32 格,看金卡的优势在哪些城市成立。
为什么
整体一个数会把城市构成的影响混进来。拆分是最便宜、最直观的「控制变量」。
怎么做
  1. GROUP BY member_level, city,算每格的平均客单价与订单数
  2. 画点图:横轴城市,纵轴客单价,四条线代表四个等级
  3. 再用全站城市结构做直接标准化,算「拉平城市后」的等级差异
看到什么
金卡在 6 个城市高于普通,在上海低 146 元、杭州低 111 元;黑卡在 8 个城市间从 8,385 跳到 12,059。
1万 2万 3万 0 普通 8,786 单 · 均值 10,009 银卡 4,199 单 · 均值 10,144 金卡 1,553 单 · 均值 10,421 黑卡 638 单 · 均值 9,992 每点 = 一单(每组随机抽 110 单;纵轴截到 3 万,3 万以上占 1.1%) 订单实付金额(元)
图 21.3.1 四组金额的分布几乎完全重叠;均值差 413 元,还不到一个标准差(约 7,000 元)的 6%
8,500 9,500 10,500 11,500 北京 上海 广州 深圳 杭州 成都 武汉 西安 普通 银卡 金卡 黑卡 每格订单数: 普通 938–1,181 银卡 382–686 金卡 75–263 黑卡 50–118 纵轴:平均客单价(元) 横轴:收货城市
图 21.3.2 金卡在 6 个城市高于普通,在上海和杭州反而更低;黑卡的小样本把折线拉成锯齿
04

一元回归:把「差多少」变成一个系数

7 分钟 · 对应规则 3
做什么
用 numpy 跑 客单价 ~ 等级虚拟变量,读系数、标准误、R²。
为什么
回归能给出「差多少 ± 多少」,还能一次控制多个变量。
怎么做
  1. 把等级转成三个 0/1 列:银卡、金卡、黑卡,普通作基准
  2. 拼一个全 1 列作截距,np.linalg.lstsq(X, y)
  3. 算残差平方和与总平方和,得 R²;用 (XᵀX)⁻¹ 算标准误
看到什么
截距 10,008.51(普通组均值);银卡 +135.63(t=1.03)、金卡 +412.53(t=2.13)、黑卡 −16.09(t=−0.06);R² = 0.000329。
系数为什么是「相对普通」

普通是基准组,没进模型。金卡 +412.53 表示:与普通用户相比,金卡平均每单多花 412.53 元;截距就是普通组均值。

05

多元回归:加入城市,看系数怎么动

7 分钟 · 对应规则 2、3
做什么
在模型里加 7 个城市虚拟变量(北京作基准),重跑一次。
为什么
如果等级效应是城市构成造的,加城市后系数会明显缩小;如果几乎不动,说明城市不是主要解释。
怎么做
  1. 城市转成 7 列 0/1,拼到原来的 X 后面
  2. 重跑 lstsq,对比两组系数与 R²
  3. 看调整 R²:它惩罚了「加了没用」的变量
看到什么
金卡系数 412.53 → 404.19,只动了 8 元;银卡 135.63 → 139.18;黑卡 −16.09 → −33.78。R² = 0.000603,调整 R² = −0.000056。
调整 R² 为什么会变成负数

调整 R² 会惩罚变量个数。加 7 个没解释力的变量,惩罚项超过 R² 增量,就掉到 0 以下,意思是「还不如直接用均值」。

06

写结论:等级不是抓手

5 分钟 · 对应规则 2、3、5
做什么
把「等级 → 客单价」写成三句话:多大、稳不稳、能不能当因果。
为什么
系数要配上不确定性、稳健性和因果边界,才是结论。
怎么做
  1. 多大:金卡比普通高 412.53 元(95% CI 约 33–792 元)
  2. 稳不稳:标准化后金卡优势 438 元,没被城市解释;黑卡与普通的差从 16 元变 124 元
  3. 因果:这是观测数据,等级不可随机分配,不能推出「升级能提高客单价」
看到什么
等级只解释 0.03% 的客单价方差;换成主品类也只解释 1.19%。客单价的波动主要来自「这单买了几件、买的哪个价位」,不是用户标签。
那运营的「向高等级倾斜」错在哪

错在把「金卡客单价略高」当成「升金卡能提高客单价」。前者是相关,后者是因果,中间隔着「谁会成为金卡」。要回答后者,只能做随机实验或用断点回归。

21.4结果验证

先核对三个数,再做五道选择题。

orders JOIN users,只算已支付,单位元,允许 ±2 元。
全站已支付 15,615 笔,其中一部分没有 user_id。
基准组是普通,单位元,允许 ±5 元。

21.4.1五道选择题

不看正文,凭第一反应选。

Q1会员等级与客单价的皮尔逊 r = 0.012,p = 0.131。最准确的解读是?
解析:r 只测线性;p = 0.131 说明这点关系也可能是噪声。r ≈ 0 不等于「无影响」,只等于「没有可检出的线性关系」。
Q2「改版 → 停留时长 → 支付率」,停留时长属于哪类变量?该怎么处理?
解析:停留时长在改版之后、支付之前,是效应通道。控制它,等于问「停留相同的情况下改版有没有用」,把主要机制堵掉了。
Q3回归的 R² = 0.0003,正确说法是?
解析:R² 是方差解释比例,不是准确率或 p 值。R² 很低时系数仍可能显著(金卡 t = 2.13),但效应小到没有实用价值。
Q4逻辑回归给出 OR = 1.15,95% CI [0.99, 1.33]。正确解读是?
解析:OR 是优势比,不是概率比;CI 跨 1 等价于 p > 0.05。这次 p = 0.059,结论是「未决」,不是「提升 15%」。
Q5某城市 7 月单独上线新功能,想评估效果。最合适的方法是?
解析:只有该城市上线,天然形成「处理组 + 对照组 + 前后两期」,适合 DID。但要先检验平行趋势。
得分:0 / 5

21.5常见问题排查

按「现象 → 原因 → 解决」整理。

现象原因解决
r 接近 0,但图上有明显结构关系是非线性的(U 形、阈值)先画散点;分组看均值
控制一个变量后系数反号控制到了对撞变量,或存在强混淆画 DAG,分清 X 的前置与后置
加了变量,R² 涨了但调整 R² 降了加的变量没有解释力,只是在拟合噪声看调整 R²;留出验证集
OR 很大,但业务没感觉把 OR 当成了 RR,或结局太常见换算成 RR 或绝对概率
PSM 后两组还是不平衡协变量没选全,或匹配质量差看标准化差异;收紧卡钳
分层结论和整体结论相反辛普森悖论:分层权重与整体不同报告两层结果,说明权重

21.6本章小结与练习

  1. 相关只描述关系,不说明方向。r 只测线性、怕离群点;报 r 要带 n、p 和口径。
  2. 控制变量前先画 DAG。混淆要控,中介不能控,对撞控了就造假。
  3. 系数读「其他不变」的差异,R² 读解释比例。R² 高不等于因果,也不等于模型对。
  4. OR 不是 RR。结局越常见,两者差得越远;OR 必须带 CI 和编码说明。
  5. 没有随机化,就只能靠假设。DID 靠平行趋势,PSM 靠无未观测混淆,RD 靠阈值附近连续。

21.6.1练习

  1. 用 SQL 算银卡的平均客单价,和普通比差多少?这个差在回归里对应哪个系数?
  2. 如果把「城市」换成「主品类」做控制,R² 会怎样?为什么品类更像中介而不是混淆?
  3. 用第 20 章的数据算 OR,解释为什么 1.15 不能读成「提升 15%」。
  4. 设计一个 DID:某城市 7 月上线新功能。怎么选对照城市?上线前要检查什么?
参考答案

1. 银卡 10,144.13,普通 10,008.51,差 +135.63 元;正好是一元回归里「银卡」的系数。

2. R² 从 0.0003 升到约 0.0119,仍然很低。品类更像中介:等级改变买什么,买什么再改变客单价;控制它会吃掉等级的一部分效应,不该和城市并列当混淆。

3. OR = (403/11,597) ÷ (352/11,648) = 1.150,CI [0.994, 1.330],p = 0.059。OR 是优势的倍数,不是概率的倍数;RR = 1.145,接近只因基线只有 2.9%。

4. 选一个未上线、上线前 6–12 个月留存趋势与处理城市平行的城市;先查两城的月度留存曲线、用户与渠道结构;上线后再做 DID,并画事件研究图。

下一章预告:统计能告诉你「差异可不可信」,不能告诉你「值不值得追」。第 22 章讲: 怎么把模糊诉求翻译成能取数、能验证的问题。
数据分析师训练营 · 第二十一章
所有统计量由 Python 实算,数据见 qingning.db 的 orders / users 表