My Machine Learning Pipeline Cheated, and Cross-Validation Never Noticed

我的机器学习流水线作弊了，交叉验证却从未察觉 | Towards Data Science

数据科学

我的机器学习流水线作弊了，交叉验证却从未察觉

一个ID列、一个日期字符串和一个缺失值教会我的事。

Himanshu Sharma

2026年10月26日

8分钟阅读

更喜欢我们在Google上的内容

分享

来源：作者（图表由笔记本的合成数据生成）

在作者生成的5个合成流失数据集上，基于数据类型（dtype）的预处理流水线（带逻辑回归）的交叉验证与保留集ROC AUC对比。每对点代表一个数据集。

我们都会写的流水线

如果你使用过scikit-learn一段时间，你可能已经写过这个流水线。数值列会被填充并标准化。其余列会被填充并进行独热编码。通过数据类型路由列，因此它可以在你几乎不查看数据的情况下处理几乎所有表格。

python

def auto_pipeline(model):
num = make_column_selector(dtype_include="number")
cat = make_column_selector(dtype_exclude="number")
pre = ColumnTransformer([
("num", make_pipeline(SimpleImputer(strategy="median"), StandardScaler()), num),
("cat", make_pipeline(SimpleImputer(strategy="most_frequent"),
OneHotEncoder(handle_unknown="ignore")), cat)])
return make_pipeline(pre, model)

它简短、可复用且易于信任。这正是问题所在。我想找出它悄悄出错的地方，因此故意尝试破坏它。

我埋下的四个陷阱

数据。这里的一切都是合成数据。我用Python脚本自己生成了这些数据：每个数据集包含8000行（6000行用于训练，2000行作为"新客户"的干净保留集）。我生成了5个独立数据集（种子0到4），并报告它们的平均值。

我埋下了基于数据类型（dtype）的流水线无法发现的四个陷阱：

• 作为数字的地区。region_code包含1到12的整数，但每个地区对流失的影响不同且无序。流水线将其视为测量值进行缩放。

• 有信息量的缺失值。support_calls对于约45%的流失客户和8%的非流失客户缺失。中位数填充会抹除这个信号。

• 作为文本存储的日期。signup_date是"YYYY-MM-DD"字符串，因此会为每个唯一日期生成一个独热列（6000行中有1931个唯一值）。

• 泄露标签的ID。在训练数据中，customer_id大致按结果顺序分配，这是实际系统中导出顺序或时间可能与结果相关的一个替代表达。在干净的保留集中，ID与流失无关。

我测试了朴素流水线、朴素流水线加单个修复方案，以及所有四个修复方案组合。我使用了两个模型：逻辑回归（交叉验证AUC和保留集AUC）和梯度提升（仅保留集AUC，以减少运行时间）。

欺骗性的评分

直到删除ID列，交叉验证得分一直保持在0.98附近。只有那时，它才与新数据的表现相符。（来源：作者，使用Python生成）

方案

交叉验证AUC

保留集AUC

朴素自动流水线

0.979

0.564

+ 将地区作为分类变量

0.982

0.624

+ 添加缺失值指示器

0.984

0.670

+ 解析日期

0.980

0.585

+ 删除ID列

0.640

0.632

所有四个修复方案

0.833

0.826

朴素流水线在5折交叉验证中得分为0.979，在新客户数据上得分为0.564。没有任何崩溃，没有警告出现，每个数字看起来都像是一个强大的模型。

ID列知道答案

我查看了种子0的逻辑回归模型。在1,940个特征中，最强的特征是customer_id（系数绝对值5.05）。接下来最强的是各个注册日期列，这些是针对特定日期的独热编码列。

因此模型做了两件事：它根据ID读取标签，并且记住了每日的噪声。日期问题并非源于未见过的日期：96.7%的验证集行对应的日期在训练集中都出现过。模型只是记住了这些特定日期发生的情况。

单一修复方案不足

查看"+ 删除ID列"这一行。交叉验证变得诚实了（新数据上0.640 vs 0.632），这就是验证指标应该呈现的结果。但验证集AUC仅为0.632，因为其他三个问题仍然存在。

缺失值指示器为逻辑回归带来了最大的单次提升（0.564至0.670）。将地区转换为分类变量有所帮助（至0.624）。解析日期也略有帮助（至0.585）。只有四个修复方案同时应用才能达到0.826，此时诚实的交叉验证分数（0.833）和验证集分数终于达成一致。

更好的模型能否拯救它？

更强的模型只能部分挽救原始流水线。条形图显示5个合成数据集的平均值；误差条显示1个标准差。(来源：作者，使用python生成)

部分有效。梯度提升在原始流水线上得分为0.614，略高于逻辑回归的0.564，但仍然表现不佳。删除ID对其帮助最大（0.739），四个修复方案组合达到0.809。

两个注意事项。对于梯度提升，地区修复（0.607）与原始结果的噪声范围重叠，缺失值指示器变体在不同数据集间存在较大差异（标准差0.084）。我不会单独解读这两行数据。一致的发现是ID效应和四重修复方案的效果。

教流水线进行自我检查

当你为非编码人员构建自动化时，"记得检查泄露"不是一个可行方案。检查必须自动执行。上述每个陷阱都会留下统计指纹，所以我编写了一个函数，在建模前扫描表格并输出英文警告：

import numpy as np, pandas as pd
from sklearn.metrics import roc_auc_score
def audit_table(df, target):
"""针对基于数据类型流水线无法发现的陷阱的英文警告。"""
y = df[target].values
warns = []
for col in df.columns.drop(target):
s = df[col]
n_unique = s.nunique()
# 1. 类似ID或泄露顺序的列
if pd.api.types.is_numeric_dtype(s) and n_unique > 0.95 * s.notna().sum():
m = s.notna().values
auc = roc_auc_score(y[m], s[m])
if abs(auc - 0.5) > 0.15:
warns.append(f"'{col}' 几乎全部唯一且能单独预测目标 "
f"(AUC {auc:.2f} 来自行顺序). 很可能是泄露的ID: 请删除。")
else:
warns.append(f"'{col}' 几乎全部唯一。看起来像ID: 考虑删除。")
# 2. 表现得像类别的数值列
elif pd.api.types.is_numeric_dtype(s) and n_unique <= 20:
m = s.notna().values
x, yy = s[m].values, y[m]
r2_lin = np.corrcoef(x, yy)[0, 1] ** 2
means = pd.Series(yy).groupby(x).transform("mean").values
r2_cat = 1 - ((yy - means) ** 2).sum() / ((yy - yy.mean()) ** 2).sum()
if r2_cat - r2_lin > 0.02:
warns.append(f"'{col}' 有 {n_unique} 个不同的数值，其影响不是直线关系 "
f"(按值计算的均值解释了 {r2_cat:.1%} 的目标值，而作为数值时解释了 {r2_lin:.1%} ). "
f"尝试将其作为类别处理。")
# 3. 信息缺失
if s.isna().any():
miss = s.isna().values
gap = abs(y[miss].mean() - y[~miss].mean())
if gap > 0.10:
warns.append(f"'{col}' 缺失 {miss.mean():.0%} 的数据，且在缺失时目标率差异达 "
f"{gap:.0%}。添加缺失值指示器。")
# 4. 高基数文本
if not pd.api.types.is_numeric_dtype(s) and n_unique > 50:
warns.append(f"'{col}' 是具有 {n_unique:,} 个唯一值的文本。独热编码会记住噪声。 "
f"进行解析（例如日期转年份）或删除它。")
return warns
def gap_warning(cv_score, holdout_score, tol=0.05):
if cv_score - holdout_score > tol:
return (f"交叉验证 ({cv_score:.2f}) 远高于保留集 ({holdout_score:.2f}). "
f"怀疑存在泄露或记忆效应。")
return "交叉验证和保留集结果一致。"

我将其应用于所有5个数据集的训练表。它每次都准确标记出四个植入的列（customer_id、region_code、support_calls、signup_date），而对tenure_months、monthly_spend和plan_type保持沉默。对于seed 0，它输出：

审计警告（来源：作者，使用Python生成）

第二个函数gap_warning(0.979, 0.564)直接捕捉到核心问题："交叉验证(0.98)远高于保留集(0.56)。怀疑存在泄露或记忆效应。"

重点不是这些阈值完美无缺，而是非程序员永远不需要知道泄露ID的特征，因为工具会用一句话直接告诉他们。

该方法的局限性

• 仅使用了一个合成数据源。所有结果都来自我编写的单一生成器。效果方向应该具有可迁移性，但实际数据中的影响程度会不同。解决方案：在你熟悉的真实数据表上运行相同变体。

• ID泄露是刻意植入并夸大的。我特意构建ID与结果的强相关性以确保失败模式可见。真实泄露通常更弱。它代表了真实场景中通过导出顺序或时间与结果相关联的标识符模式。解决方案：在建模前检查每个类似ID或时间戳的列与目标的关系。

• 仅支持两种模型家族。其他模型可能表现不同。解决方法：使用自己的模型进行重复测试，并构建与未来数据到达方式相同的保留集。

• 部分结果存在波动。梯度提升的缺失值指示器和区域数量存在噪声。解决方法：使用更多随机种子或重复交叉验证，避免对单一变更得出结论。

• 检查器是在相同合成数据上构建和测试的。四个陷阱特征明显且干净，因此检测容易，我未在真实表格上测试误报率。真实数据会触发需要人工判断的警告（被标记的ID可能是无害的，倾斜的类别可能是真实的）。解决方法：将警告视为需要检查的提示，而非自动修复方案，并根据自己的数据调整阈值。

在信任自动化之前需要回答的五个问题

• 是否有与未来数据相似的保留集？在训练数据上进行交叉验证无法发现训练数据中已存在的泄露。应按照新数据实际到达方式构建保留集（按时间或从独立导出）。

• 模型最依赖哪一列？查看最重要的系数或置换重要性。如果ID、行号或时间戳位居前列，应立即停止。

• 数值列是否实际代表类别？代码、邮编和区域ID是数值但非量化指标。

• 缺失值是否随机？将某列缺失时的目标率与存在时的目标率进行对比。若存在差异，应添加缺失值指示器。

• 是否有包含数千个唯一值的文本列？日期、姓名和自由文本需要特殊处理，而非使用独热编码。

自动化不是验证

8行的流水线是一个良好的起点，但绝非终点。在本实验中，它生成了0.98的指标，但在新数据上降至0.56，需要四次独立修复而非一次，才能达到诚实的0.83。自动化节省了时间，但并未执行检查，因此我将检查添加到自动化流程中。如果你为无法自行发现这些问题的人构建工具，这才是需要重点实现的部分。

Jupyter Notebook for the Pipeline