运营发来报告:用过「到货提醒」的用户,30 日留存 42%,没用过的 35%,高出 20%,
结论写着「建议全量推送」。你盯着表,觉得不对——用没用过是用户自己选的,不是抽签。
本章讲:没有随机分组时,一个相关关系要满足什么条件,才配叫因果。我们用 15,176 笔订单,
把「等级越高、客单价越高」这个结论拆开,看它剩下多少。
第 20 章靠随机化拿到了因果。可现实里能随机的事情很少:会员等级不能随机发,城市不能随机换, 功能也不能只给一半人用三个月。大部分时候,你手上只有观测数据——别人已经替你分好组了, 你只能事后去猜这个分组意味着什么。
相关系数只回答一个问题:两个变量有没有线性关系,强度多大。皮尔逊的定义是:
r = Σ(xᵢ − x̄)(yᵢ − ȳ) / √( Σ(xᵢ − x̄)² · Σ(yᵢ − ȳ)² )
r 落在 [−1, 1]:+1 完全同向,−1 完全反向,0 没有线性关系
三个性质:只测线性——完美的 U 形曲线 r 可以接近 0,但关系强得很;对离群点敏感—— 一个极端值就能把 r 从 0.1 拉到 0.8;r = 0 不等于独立,它只排除线性。
斯皮尔曼是皮尔逊的「排名版」:把 x、y 换成秩再算。它测单调关系,对离群点稳健,也不要求正态。 所以:连续、近似线性用皮尔逊;有序分类、明显偏态、有离群点用斯皮尔曼。
回到青柠优选。会员等级按 0–3 编码,15,176 笔订单算出:皮尔逊 r = 0.0123(p = 0.131), 斯皮尔曼 ρ = 0.0107(p = 0.188),都接近 0 且不显著;年龄与客单价的 r 也只有 0.0090。
但别急着说「等级没用」:r ≈ 0 只说明没有线性关系,而等级还和城市、品类缠在一起。
「皮尔逊还是斯皮尔曼」「n」「p」——缺一个就没法解读。15,176 笔时,r = 0.012 的 95% 区间约为 [−0.004, 0.028],几乎横跨 0。
如果不这样会怎样:拿到 r = 0.84 就写「强相关」,画图才发现 9 个点挤在左下角、 1 个点在右上角;删掉那点,r 掉到 0.05。
两个变量相关,可能有四种解释:X 导致 Y、Y 导致 X、第三个变量同时导致两者、或者纯属偶然。 第三种里的「第三个变量」,按它和 X、Y 的位置关系,分成三类。分不清这三类, 你就会控制错变量——控制得越多,错得越离谱。
混淆变量是 X 和 Y 的共同原因。例:活跃用户既更可能发现新功能,也更可能留存。 控制它,是为了让比较发生在相似人群里。
中介变量在 X 到 Y 的路径上:X → M → Y。例:改版 → 详情页停留变长 → 支付率上升。 中介是效应的一部分,控制它会把你想测量的效应吃掉。看到「控制后效应消失」就以为发现真相, 往往只是把通道堵死了。
对撞变量是 X 和 Y 的共同结果:X → C ← Y。例:只分析「留下来的人」, 而留存本身同时受功能使用和基础活跃度影响。控制它,会制造出本来不存在的相关。
只控制 X 的前置变量,不控制后置变量。判断不了先后,就问「它在 X 之前就存在,还是 X 之后才被改变?」
如果不这样会怎样:为「功能 → 留存」控制「7 日登录次数」。登录在功能之后,也是留存的一部分。 控制它,会得出「功能没用」甚至「功能有害」。
回归是把「相关」写成一条可解释的线:
y = b₀ + b₁x₁ + b₂x₂ + … + ε
b₀:所有 x 为 0 时 y 的期望(基准组均值)
bⱼ:其他变量不变时,xⱼ 每增加 1 个单位,y 平均变化多少
关键是「其他变量不变」这五个字。没有它,系数就没有意义。分类变量要变成虚拟变量(0/1), 并且必须留一个基准组不放进模型,否则完全共线。回归输出里的每个系数, 都是「相对基准组」的差。
R² 回答另一个问题:模型解释的方差占总方差的比例。R² = 0.3,表示 y 的波动有 30% 能被这组 x 解释。它有三个常见误用:
这份数据把三个误用演了一遍:用等级解释客单价,R² = 0.000329,只解释 0.03% 的方差; 加城市后 R² 升到 0.000603,调整 R² 反成 −0.000056。 用原价解释实付,R² = 0.99993,却是同义反复(实付 = 原价 − 优惠)。
报回归结果,至少给四样东西:系数、标准误(或置信区间)、n、R²。只报系数和 R² 的回归, 等于只报了故事的封面。
如果不这样会怎样:看到 R² = 0.99 就宣布「找到了客单价的决定因素」,其实是拿 「原价」解释「实付」。两个变量是同一笔钱的两个写法,模型越准,越没有信息。
当 y 是 0/1(转化、留存、退款),线性回归会预测出负数或大于 1 的概率,所以要换一个连接函数:
log( p / (1 − p) ) = b₀ + b₁x
OR = exp(b₁):x 每增加 1 个单位,优势(odds)变成原来的多少倍
用第 20 章的数据算:实验组转化 403 / 11,597,对照组 352 / 11,648, 优势比 OR = 1.150,95% CI [0.994, 1.330],p = 0.059。 读法是「实验组的转化优势是对照组的 1.15 倍」,不是「转化率提高 15%」。 相对风险 RR = 1.145,这次两者接近,因为基线转化率只有 2.9%;如果基线是 50% 对 60%, RR = 1.20,OR = 1.50,差得很远。
结局越常见,OR 离 RR 越远。汇报时要么给 RR,要么给 OR 并注明「结局发生率约 3%,近似 RR」; 编码反了,OR 会变成倒数。
如果不这样会怎样:把 OR = 1.5 写成「提升了 50%」。真实基线 50% 时, RR 只有 1.2,绝对提升 10pp——夸大了 2.5 倍。
因果推断的核心是反事实:同一个人,用了功能和没用功能,留存分别是多少?你只能看到其中一个。 随机实验用抽签让两组在期望上可比;观测数据没有抽签,只能靠假设去「造」一个反事实。
| 方法 | 适用场景 | 关键假设 | 失效信号 |
|---|---|---|---|
| DID 双重差分 |
某城市先上线,其他后上线;有前后两期 | 平行趋势:没有干预时,两组的趋势本来一样 | 干预前两期趋势已经分叉 |
| PSM 倾向得分匹配 |
协变量丰富,两组基线差异大 | 无未观测混淆:所有影响分配的变量都被观测到 | 匹配后仍有变量不平衡;结论对匹配半径敏感 |
| RD 断点回归 |
有明确阈值:满 5,000 元升金卡 | 阈值附近连续:阈值两侧的人除处理外没有系统差异 | 阈值附近样本被操纵(凑单、刷分) |
三者的共同点:都靠一个不可检验的假设。平行趋势只能用干预前数据「支持」, 「无未观测混淆」本质上无法验证,RD 的连续性可以用密度检验查但不是万能。 写报告时,必须把假设和检验一起写出来。
「DID 算出 +3.2pp」不是结论,「在平行趋势成立的前提下,DID 算出 +3.2pp」才是。 假设不写,读者就无法判断这个数能不能用。
如果不这样会怎样:两个城市本来就在分化,一个在涨、一个在跌,你拿它们做 DID, 会把「本来就会发生的差距」算成政策效果。图一画就露馅,但很多报告不画图。
报告没说谎:用过功能的用户,留存确实更高。问题在于,「用过」不是随机分配的状态。
口径是:6 月上线「到货提醒」,用过的记为实验组,其余为对照组,比较 30 日留存。 42% 对 35%,相对高 20%,产品经理的结论是「全量推送」。
在签字之前,至少要问四个问题。
第一,谁用了这个功能?入口藏在「我的」二级页,只有常逛的人才会发现。 这群人本来就更活跃。这不是功能带来的留存,是活跃带来的留存——典型的自选择偏差。
第二,有没有反向因果?也可能是「本来就打算留下的人才有机会用」。 留存是 30 天窗口,功能使用也在窗口内,谁先谁后说不清。
第三,是不是控制了对撞变量?只保留「30 天后仍活跃」的用户再比较功能使用,等于按结果筛样本。 留存者里,功能使用与基础活跃度会呈负相关——这是选择造成的,不是功能造成的。
第四,差异有多大?7pp 如果只有几百人样本,置信区间可能宽到 ±6pp, 连「有没有差」都说不清。
我们拿自己的数据做了一个小实验。6 月 1 日有行为的 280 个用户,按「当天是否支付」分成两组, 看 6 月 2 日是否还活跃:
| 6 月 1 日的行为 | 人数 | 6 月 2 日仍活跃 | 次日留存 |
|---|---|---|---|
| 当天支付过 | 13 | 1 | 7.69% |
| 当天未支付 | 267 | 39 | 14.61% |
| 合计 | 280 | 40 | 14.29% |
按同样逻辑,会得出「支付让次日留存下降 47%」——显然荒谬。13 个人里 1 个留存,本来就可能波动; 支付用户当天已把事办完,第二天不回来很正常。行为标签比较的是人群,不是功能。
正确的做法不是换一个更漂亮的百分比,而是换一种分组方式:随机灰度 5%–10% 的用户, 按 user_id 分流,跑满两周,比较留存。做不了随机,就退一步用 PSM 匹配「上线前 7 日活跃天数」 相近的用户,并写明「仍可能有未观测混淆」;再退一步用 DID,比较先上线和后上线城市的前后变化。
运营说:「金卡客单价最高,资源要向高等级倾斜。」听起来有数据支撑。这一节把它拆开, 看「等级 → 客单价」有多结实。
SELECT COUNT(*) FROM orders WHERE status='已支付' → 15,615SELECT COUNT(*) FROM orders o JOIN users u ON o.user_id=u.user_id WHERE o.status='已支付' → 15,176单独看不要紧,但 JOIN 会改变分母。后面所有等级客单价都在这 15,176 笔上算,不能再和全站 10,077.71 比。
GROUP BY u.member_level,聚合 COUNT(*)、COUNT(DISTINCT user_id)、AVG(pay_amount)黑卡只有 638 单、83 人,均值最不稳;黑卡家电占比 19.3%,高于普通的 15.8%,而家电客单价排倒数第二。等级和品类结构缠在一起了。
GROUP BY member_level, city,算每格的平均客单价与订单数客单价 ~ 等级虚拟变量,读系数、标准误、R²。np.linalg.lstsq(X, y)(XᵀX)⁻¹ 算标准误普通是基准组,没进模型。金卡 +412.53 表示:与普通用户相比,金卡平均每单多花 412.53 元;截距就是普通组均值。
lstsq,对比两组系数与 R²调整 R² 会惩罚变量个数。加 7 个没解释力的变量,惩罚项超过 R² 增量,就掉到 0 以下,意思是「还不如直接用均值」。
错在把「金卡客单价略高」当成「升金卡能提高客单价」。前者是相关,后者是因果,中间隔着「谁会成为金卡」。要回答后者,只能做随机实验或用断点回归。
先核对三个数,再做五道选择题。
不看正文,凭第一反应选。
按「现象 → 原因 → 解决」整理。
| 现象 | 原因 | 解决 |
|---|---|---|
| r 接近 0,但图上有明显结构 | 关系是非线性的(U 形、阈值) | 先画散点;分组看均值 |
| 控制一个变量后系数反号 | 控制到了对撞变量,或存在强混淆 | 画 DAG,分清 X 的前置与后置 |
| 加了变量,R² 涨了但调整 R² 降了 | 加的变量没有解释力,只是在拟合噪声 | 看调整 R²;留出验证集 |
| OR 很大,但业务没感觉 | 把 OR 当成了 RR,或结局太常见 | 换算成 RR 或绝对概率 |
| PSM 后两组还是不平衡 | 协变量没选全,或匹配质量差 | 看标准化差异;收紧卡钳 |
| 分层结论和整体结论相反 | 辛普森悖论:分层权重与整体不同 | 报告两层结果,说明权重 |
1. 银卡 10,144.13,普通 10,008.51,差 +135.63 元;正好是一元回归里「银卡」的系数。
2. R² 从 0.0003 升到约 0.0119,仍然很低。品类更像中介:等级改变买什么,买什么再改变客单价;控制它会吃掉等级的一部分效应,不该和城市并列当混淆。
3. OR = (403/11,597) ÷ (352/11,648) = 1.150,CI [0.994, 1.330],p = 0.059。OR 是优势的倍数,不是概率的倍数;RR = 1.145,接近只因基线只有 2.9%。
4. 选一个未上线、上线前 6–12 个月留存趋势与处理城市平行的城市;先查两城的月度留存曲线、用户与渠道结构;上线后再做 DID,并画事件研究图。