Inside the Subspace Where Spurious Correlations Are Born

虚假相关性诞生的子空间解析 | Towards Data Science

数据科学

虚假相关性诞生的子空间

为什么小样本可能偶然产生强相关性，以及为什么大样本并不总是意味着有意义

Magdalena Ruducha

2026年7月8日

13分钟阅读

分享

假设在10名患者中测量胆固醇与血压的关系，观察到的相关系数为0.62。

这是否足以证明两者存在关联？

在对10只小鼠测量20,000个基因表达水平的研究中，研究者通常会应用多重检验校正和严格的相关阈值。研究者知道，当检查的关联数量越多，即使基因完全无关，也越可能偶然观察到强相关性。

在小样本研究中，研究者常认为自己更安全地避免虚假相关性。事实真的如此吗？

样本相关系数的分布与测量变量总数无关，主要取决于样本量。高维数据集不会创造虚假相关性，只是让它们更容易被发现。

本文回答以下问题：当变量独立且总体相关系数为零时，我们应预期什么样的相关系数值？同时解释此类相关性为何会发生。

通过皮尔逊相关系数的几何特性，文章可视化了中心化和归一化的影响。随后讨论旋转不变性的作用。这些概念共同构建了对皮尔逊相关系数精确分布及其渐近正态近似的直观理解。

最后，文章为如何在阅读和开展研究时运用这些直觉提供实践指导。

所有图表和实验的复现代码可在配套的notebook中找到。

高斯实验

想象在n个个体上测量d个变量。

为研究纯粹偶然产生的相关性，考虑一个模拟数据集，其列是n维独立高斯随机向量。由此产生的特征矩阵（行对应个体，列对应变量）为：

其中列满足：

两个向量之间的样本相关系数是什么？

尽管任意两个变量之间的总体相关系数精确为零，但观察到的样本相关系数几乎总是非零。这引发了一个问题：当列真正独立时，我们应预期什么样的样本相关系数？

第k列和第l列之间的样本（皮尔逊）相关系数为：

其中

是第k列的样本均值。所有列均值的向量为：

由于列是随机向量，样本相关系数r(X_{⋅k}, X_{⋅l})本身是一个取值在[-1, 1]区间内的随机变量。

通过理解皮尔逊相关系数如何转换数据，可以更清晰地理解其推导背后的直觉。

步骤1：中心化将向量映射到超平面

分子部分实质上对向量进行了中心化处理。

中心化通过从每一列减去样本均值：

其中𝟏_n是全为1的列向量。

中心化后，每一列的坐标总和为0：

这意味着每个中心化后的列现在位于(n-1)维子空间中。

垂直于全1向量。这些向量仍然是n维的，但经过中心化后被限制在(n-1)维的超平面内。它们在全1向量的方向上不再具有变化性。

#### 样本量n=3时，中心化将所有向量约束在平面上

当n=3时，超平面是三维空间中的普通平面。

将平面旋转对齐到xy平面后可以直观观察：z方向没有变化性，向量被限制在二维子空间内。

#### 样本量n=4时，中心化将所有向量约束在三维超平面内

选择一个与全1向量正交的坐标系后，中心化后的向量可以在三维空间中可视化。它们形成以原点为中心的点云。

第2步：标准化将向量映射到单位球面

注意皮尔逊相关系数恰好等于两个中心化向量夹角的余弦值

因此两个独立随机向量样本相关系数的分布，等价于它们的中心化版本夹角余弦值的分布。

当对中心化后的列向量进行标准化时

相关系数矩阵简化为

中心化将向量映射到(n−1)维超平面，消除了位置信息。标准化消除了长度差异，消除了尺度信息。向量现在被限制在(n−1)维超平面内嵌入的单位球面上，这是一个(n−2)维流形

#### n=3时：标准化将向量映射到单位圆

当n=3时，中心化将向量映射到平面。标准化将它们的长度固定为1，限制在该平面内的一个一维球面——单位圆上。

#### n=4时：标准化将向量映射到单位球面

当n=4时，中心化将向量映射到三维子空间中以原点为中心的点云。标准化将它们的长度固定为1，使它们位于单位球面上。

注意到目前为止尚未使用高斯性假设。每个随机向量在中心化和标准化后都会成为同一球面上的点。

第3步：高斯性允许推导出精确分布

标准多元正态分布具有旋转不变性。这意味着随机向量的概率密度仅取决于其到原点的距离，而不依赖于方向。

在给定半径的条件下，方向在球面上是均匀分布的。因此，标准化为单位长度后，向量在单位球面上是均匀分布的。

假设向量独立且服从高斯分布，可以通过固定一个方向并测量球面上产生给定相关系数值的所有点的表面积，推导出相关系数C的精确抽样分布。旋转不变性保证了对一个固定方向得出的结果适用于所有方向。在得到结果并将其归一化为1后，相关系数的精确抽样分布为

其中B是贝塔函数。分子反映了球面的几何特性，分母是归一化常数。

由于方差随1/(n−1)衰减，相关系数的典型幅度随(√n)^−1衰减。因此在独立高斯零假设下，典型相关系数的量级为

等价地，独立高斯模型下的平方相关系数服从Beta分布，这使得精确分位数和显著性阈值易于计算。

#### n = 3：相关系数分布呈U型

该分布是经典反正弦分布的平移和缩放版本。

直方图：从模拟高斯向量得到的经验抽样分布

对于仅有3个被试的研究，零总体相关性的原假设的双侧5%拒绝阈值为∣r∣>0.997。小于这个值的相关系数不足以拒绝无关联假设。

值得注意的是，当仅有3个被试时，即使变量之间无关联，观察到大相关系数的概率反而高于观察到接近0的相关系数。

#### n = 4：相关系数服从均匀分布

由于当n=4时，精确抽样分布公式中的分子简化为1。

对于4个被试的研究，拒绝阈值依然很高：∣r∣>0.95。更小的相关系数无法提供足够的证据来拒绝无关联假设。

在此样本量下，所有相关系数出现的概率是相等的。

#### n = 5：相关系数分布呈半圆形

这是一个维格纳半圆分布。

当n≥6时，分布开始呈现钟形。随着样本量增加，分布逐渐趋近于渐近正态分布。

步骤4：当n趋于无穷大时

随着n增大，球体的维度增加，几乎所有随机方向的向量对都变得几乎正交。结果，相关系数的分布会集中在零附近。更精确地说，

因此，对于足够大的n，

非正态样本分布的情况如何？

令人惊讶的是，只要基础分布具有有限方差，渐近结果对非正态数据同样成立。

更令人惊讶的是，即使数据非正态且样本量较小时，精确抽样分布通常仍能提供优秀的近似。

指数分布

精确抽样分布的推导依赖于方向在单位球面上的均匀分布，因此需要旋转不变性。指数分布不具备这一特性。

这个球体是通过对独立指数随机向量进行中心化和归一化得到的。与高斯情况不同，这些点在球面上的分布并不均匀，某些方向更受青睐。相关系数分布不再遵循之前推导出的精确规律。

直方图：从模拟指数向量得到的经验抽样分布

对于小样本量n，相关系数的经验抽样分布与精确抽样分布差异显著。在这个模拟指数示例中，经验分位数比精确高斯分布或渐近正态近似更适合作为假设检验的参考。

随着n增大，相关系数的经验抽样分布开始呈现出渐近正态分布的特征。

对于 n = 10 的情况，经验抽样分布仍然既不接近渐近正态分布，也不接近相关系数的精确抽样分布。钟形曲线明显偏斜。这会产生实际影响：基于精确分布的拒绝区域不再正确，即使观察到的I型错误率可能看起来近似正确甚至略微保守。

当样本量为 100 时，经验分布已相当接近渐近正态分布且几乎对称。

尽管仍存在少量残余偏斜，但该近似可以被认为足够准确。

对称分布

对于模拟的对称分布，会发生一个非常有趣的现象。只要方差有限，经验分布就非常接近在高斯独立性假设下推导出的精确分布。

对于拉普拉斯分布和均匀分布，这一规律甚至适用于小至 n = 3 的样本量。

直方图：模拟拉普拉斯向量的经验抽样分布

一个经过变换的以 0 为中心对称的 U 型 Beta(0.2, 0.2) 分布表现不同。其皮尔逊相关系数的经验抽样分布与精确分布存在差异。

直方图：模拟 Beta 向量的经验抽样分布

毫不奇怪。这些向量并不是在单位球面上均匀分布的。

令人惊讶的是，它仍然收敛到相关系数的精确抽样分布。

当 n 低至 8 时，经验分布看起来与精确分布非常相似，尽管后者是基于旋转不变性假设推导出的。

在这些模拟中，偏度似乎是导致与基于正态性假设推导出的精确抽样分布偏离的主要因素。具有无限方差的柯西分布并未表现出相同的收敛性。但具有有限方差的模拟对称非正态分布确实会向相关系数的精确抽样分布靠拢。

请注意，这种收敛发生在渐近正态近似变得准确之前很久。

对实践者意味着什么？

小样本研究容易出现虚假相关性

一个常见的误解是虚假相关性只出现在大型（高维）数据集中。但实际上，在样本量相同的小型研究中，每个样本相关系数都来自完全相同的抽样分布。

这就像掷三个公平的骰子。得到总和大于 16 的概率接近 2%。这种极端结果可能在第一次尝试就出现。但随着掷骰子次数的增加，观察到至少一次这种结果的概率也会增加。如果你掷 100 次骰子，观察到至少一次总和大于 16 的概率约为 84%。

这就是为什么高维数据集即使变量无关，也会更频繁地出现极端相关性。但样本量相同的小型研究其样本相关系数同样来自相同的抽样分布。因此，这种极端相关性完全可能纯粹由偶然因素导致。

相关系数应始终结合样本量进行解释

在许多应用领域，0.4 或更高的相关系数常被描述为强相关。

考虑一项仅包含3名受试者的研究。即使变量之间没有真实关联，相关系数更可能接近±1而非0。当变量相互独立时，|r| > 0.4的概率接近74%。

直方图中虚线以外的区域对应|r| > 0.4。

当样本量为10时，仍存在25%的概率获得|r| > 0.4的值。

在小样本研究中，这个数值不能作为存在关联的证据。

在一项包含10只小鼠的研究中，测量约20000个基因的表达水平与一个不相关的结果，即使不存在生物学关联，我们仍预期超过1300对基因会出现|r| > 0.6。这就是为什么在高维数据集中会常规使用多重检验校正。

这是否意味着不应进行或发表小样本研究？绝非如此。实验可以被重复，当多个实验室重复该实验后，荟萃分析能够将每个结果置于适当的背景中。

当样本量n=100时，情况发生显著变化。|r| > 0.4的概率仅为0.00359%（约每百万36次）。

对于这个样本量，绝对相关系数达到0.2及以上被视为统计显著。不同样本量的上2.5%临界值见下表。

请注意，统计显著性并不能保证关联的真实性。零假设分布在整个区间[-1,1]都有支撑，因此即使总体相关系数为零，所有可能的样本相关系数都可能出现。拒绝域中的相关系数在零假设下只是不太可能，而非不可能。它们是假设检验中第一类错误的来源，仍可能导致假阳性发现。

基于精确分布的检验方法出人意料地稳健

许多软件实现（包括scipy.stats.pearsonr）都使用皮尔逊相关系数的精确零假设分布。由于该分布是针对独立正态变量推导的，研究者可能认为对于非正态数据应使用其他方法。但事实表明，皮尔逊相关系数的精确抽样分布能提供令人惊讶的良好近似，这种近似甚至在样本量接近3或4时就已出现，远早于大样本正态近似。

这种经验稳健性在模拟的有限方差对称分布中表现尤为突出，即使在远离渐近条件的情况下依然成立。欢迎读者提供理论解释或相关参考文献。

当已知基础分布存在偏态时，可以通过模拟独立性假设下的相关系数分布来估计经验零假设分位数。对于模拟的指数分布，估计分位数为：

这些是蒙特卡洛模拟的结果（单次运行）；通过更多模拟运行可以获得更稳定的值。

随着样本量增大，中位数会向0移动，经验分位数也会更接近精确正态零假设分布和渐近正态近似。

最重要的启示

如果只能记住一个建议，那就是：对任何声称有显著结果的研究，务必核查其样本量。

这可能是一项真正的发现，但也可能是两个向量偶然在球面上非常接近的随机结果。

欢迎反馈

如果你想复现这些模拟实验，请访问GitHub仓库。所有图表均由我创建，基于模拟的图表可以通过那里的代码进行复现。

如果你喜欢这篇文章或有任何建议，欢迎在LinkedIn上联系我。所有有价值的反馈都备受珍惜。

作者

查看Magdalena Ruducha的全部文章

深度解析

,

高维数据

假设检验

虚假相关性

统计学

分享本文

• 在Facebook上分享

• 在LinkedIn上分享

• 在X上分享

Towards Data Science是一份社区出版物。提交你的见解以触达全球受众，并通过TDS作者支付计划获得收益。

将href更新为你的实际投稿链接

为TDS写作

✦ end CTA ✦