Towards Data Science

When Qini Rewards the Wrong Uplift Model, Use Doubly Robust Scores

6.9内容质量

TL;DR · AI 摘要

Uplift Model Evaluation with IPW and Doubly Robust Scores Machine Learning When Qini Rewards the Wrong Uplift Model, Use...

核心要点

  • 主题聚焦:When Qini Rewards the Wrong Uplift Model, Use Do
  • 来源:Towards Data Science,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#安全#产品#开源
打开原文

使用IPW和双重稳健评分评估提升模型

机器学习

当Qini评分误判提升模型时,使用双重稳健评分

在100万模拟客户的数据上,校准后的Qini评分将线性DR学习器评为0.0856,而应胜出的真实CATE排序仅获得0.0826。

伊万·戈尔班

2026年11月18日

20分钟阅读

在Google上推荐我们

分享

根据S学习器预测效应的十分位数,观察到的结果和提升效果。图表由作者创建,使用Python从模拟数据生成。

文章图2:左侧是处理组和对照组客户的观察购买率;右侧是它们的差异和已知平均CATE。两个面板均使用S学习器预测效应的十分位数。由伊万·戈尔班使用Python从模拟数据创建。

如果您的提升度量标准将不完美的模型排在真实处理效应排序之上会怎样?在我们已知答案的模拟中,Qini确实可能如此判断,而遵循其建议意味着选择一个真实因果增益更低的排序。

让我们从经典的提升问题开始。假设一家公司需要决定向哪些客户发送营销信息。最佳客户排序应基于发送营销信息的预期收益,这取决于我们试图引导客户采取行动的价值,以及接收沟通后执行该行动概率的变化。当然,公司并不知道这些概率,因此使用基于估计值的不完美排序。

让我们设想一个我们已知真实概率的假设情境,也就是说,我们了解客户在沟通效率方面的真正完美排序。假设我们决定将其与基于这些概率估计的不完美排序进行比较。有趣的是,Qini度量(常用于提升度量,稍后将进一步描述)会为不完美排序分配更高的分数。这怎么可能?

排序

校准Qini

已知因果增益面积

真实效应(CATE)

0.0826

0.0825

线性DR学习器

0.0856

0.0809

在本文中,Qini和IPW在校准过程中均以一个参考标准与DR对齐:高选择性、种子42验证集中的真实CATE排序。所有学习器、自助抽样、分配策略和调参结果的常数保持固定。这使参考评分保持一致,但不会调整混杂因素或改变度量标准内模型的排序。在此示例中,校准后的Qini仍然倾向于线性DR而非真实CATE排序,而已知因果增益则更支持真实CATE。校准公式如下。

原因在于,仅使用考虑混杂因素的因果模型通常不够。当处理分配依赖于客户特征时,我们还需要调整度量标准来评估这个因果模型,因为Qini度量标准仍可能包含选择偏差。

在本文中,我们将逐步介绍我们尝试衡量因果效应的整个过程——从提升条形图,通过Qini度量,直到IPW和双重稳健评分来评估模型。我们将使用从S学习器到DML学习器的六种常见学习器,并观察在不同混杂程度下如何评估它们的估计值。

定向问题

对于给定的处理方式 T(营销信息)和结果 Y(客户的实际购买行为),客户的条件平均处理效应(CATE)定义为:

τ(x)=E[Y(1)−Y(0)∣X=x]

CATE 可以被理解为针对具有特定特征 x 的客户群体的平均处理效应(ATE)。该指标可用于客户精准营销,因为较高的 CATE 值表明该客户对营销活动的响应效果更显著。需要特别说明的是,这并不意味着具有高 CATE 值的客户在结果值或行为概率上绝对最高,而是指在受到触达时,其结果值或行为概率的提升幅度相比未被触达的情况最大。

通常企业对营销活动的预算有限,因此通过排序分析来确定如何最优分配预算具有重要意义。

本文将基于合成数据,通过不同指标对 6 种模型进行对比分析。在我们的案例中,真实处理效应是已知的(这在实际中通常不可行)。这种对比方式使我们能够深入研究提升效果指标的表现。

我们定义倾向得分为: e(X)=P(T=1∣X=x)

该公式表示根据用户特征差异带来的处理概率差异。无论采用何种度量指标、评估方法或模型,要使因果估计器有效,都需要满足以下条件:一致性、无显著干扰、无未测量的混杂因素以及重叠性。

平衡的组别规模可能掩盖选择性分配

我们模拟了 100 万个具有以下特征的合成客户数据:年龄、收入、历史消费记录、与客户上次联系的时间。我们模拟的实际情况通信策略基于两个维度:年龄和上次联系活动:

e(X)=0.1+0.8σ(a−2.5Z)

其中 a 是校准截距项,Z 是年龄与上次联系活动的标准化乘积。我们在配套材料中提供了该结果的可执行代码。

为了模拟此类数据,通信策略的参数设置如下:通信概率范围在 0.1 到 0.9 之间,平均有 50% 的客户被处理。客户的不活跃状态和年龄被用来预测与客户的通信概率。

购买概率也基于逻辑函数,且依赖于客户特征。此外,处理效应本身是非均匀的,对不同客户会产生不同的影响。以下代码展示了模拟算法:

python

code
import numpy as np
from scipy.special import expit
def message_probability(age, days, strength=2.5):
# 总体:年龄和非活动天数独立且均匀分布
population_product = (
np.arange(18, 71)[:, None] * np.arange(366)[None, :]
).ravel()
mean = population_product.mean()
std = population_product.std()
z_population = (population_product - mean) / std
# 选择截距a使总体的平均倾向为0.5
lo, hi = -20.0, 20.0
for _ in range(70):
a = (lo + hi) / 2
if expit(a - strength * z_population).mean() < 0.5:
lo = a
else:
hi = a
a = (lo + hi) / 2
z = (np.asarray(age) * np.asarray(days) - mean) / std
return 0.1 + 0.8 * expit(a - strength * z)
def purchase_probability(age, income, spending, days, treatment):
# 基线购买对数几率
baseline = (
-1
- 0.02 * age
+ 0.00005 * income
+ 0.00003 * spending
+ 0.01 * days
- 0.000001 * age * income
- 0.0000005 * spending * days
)
# 治疗对不同客户画像的对数几率产生不同影响
treatment_effect = (
0.5
- 0.011 * days
+ 0.05 * age
- 0.00004 * days * age
)
return expit(baseline + treatment * treatment_effect)
# 生成客户并分配消息
rng = np.random.RandomState(42)
n = 1_000_000
age = rng.randint(18, 71, n)
income = np.clip(rng.normal(50_000, 15_000, n), 0, None)
spending = np.clip(rng.normal(1_000, 500, n), 0, None)
days = rng.randint(0, 366, n)
propensity = message_probability(age, days)
treatment = rng.binomial(1, propensity)
# 潜在购买概率和已知的条件治疗效果
p0 = purchase_probability(age, income, spending, days, treatment=0)
p1 = purchase_probability(age, income, spending, days, treatment=1)
true_cate = p1 - p0
# 在每个客户的分配治疗下观察一个结果
purchase_probability_observed = np.where(treatment == 1, p1, p0)
purchase = rng.binomial(1, purchase_probability_observed)

对于每个客户画像,我们计算p₁(x)、p₀(x)和TrueCATE=p₁(x)−p₀(x)。由于模拟中的治疗组人数几乎相等,接受治疗客户的TrueCATE值均值约为+0.191,对照组约为−0.003。观察到的购买率差异为0.119。该模拟的ATE值为0.094(所有数字均四舍五入至小数点后三位)。

以下图表有助于我们全面理解生成的数据:

图1:客户按TrueCATE分组到大约相等大小的十分位中。每个十分位的分配面板包含50/50的治疗预算,这并未导致客户画像大小相等。来源:本文模拟数据。图表使用Python创建。

在相同保留客户上的六种排名

我们使用70万客户进行训练,然后使用300万保留客户进行评估,本例中使用种子42。S、T、X、DA、DR、DML估计器均使用线性和“增强”基础模型实现。请注意,上述所有估计器(S、T、X、DA、DR、DML)都有冗长的推导过程,适合作为另一篇文章的素材。在这里,我将仅提供这些算法的高层直觉。

学习者

其效果估计的构建方式

S

一个结果模型;改变治疗标志并减去预测值

分别建立治疗组和对照组的结果模型;减去预测值

在每个臂中回归插补效果,然后进行合并

DA

跨臂重新加权结果模型拟合,然后回归插补效果

DR

回归交叉拟合的双重稳健伪结果。

DML

拟合一个效应函数,用于交叉拟合的处理变量和结果残差。

本文使用的模型是 EconML 的实现(包括 S-学习器和 T-学习器,以及带有线性模型和 XGBoost 基础模型的 DA-学习器、DR-学习器和 DML-学习器)。

我们的起点是 S-学习器,这是最简单且最直观的模型。其对真实 CATE 的验证集 MSE 为 0.0006,相关系数为 0.9964。这表明在此次模拟中,其效应估计非常准确。但现实中我们并不知道真实效应,因此需要另一种方式来评估目标效果。

在不知道真实值的情况下观察提升效果

最明显的方式是使用提升条形图。我们根据 CATE 对客户进行排序,将其划分为不同桶位,并比较每个桶位的处理组和对照组结果。

图 2。左图:处理组和对照组客户的观察购买率。右图:它们的差异,已添加已知平均 CATE 作为模拟检查。两者均使用 S-学习器预测效应的十分位数。来源:本文模拟数据,使用 Python 绘制。

这些图表看起来很有用:右侧桶位的观察差异大于左侧桶位。然而,这些差异并非真实效应。按预测 CATE 分组并不能保证每个桶位内的处理组和对照组客户具有可比性——它们在特征上可能差异很大。

该图表有助于我们检查模型,但我们不应将其条形差异解释为因果效应,也不应仅依赖它来决定谁应接受处理。

很多时候我们只需要一个数字,用于比较不同估计器。类似于我们有时在分类模型评估中使用的 ROC AUC 分数。这时 Qini AUC 便引起我们的注意。

从提升条形图到 Qini 曲线

与其使用条形图比较多个客户桶位的提升效果,不如关注预测处理价值最高的单个客户。然后依次添加预测值次高的客户,依此类推。对于每添加一个客户,我们计算处理组和对照组的总正向结果。

Rₜ(k) 和 R꜀(k) 分别表示处理组和对照组前 k 个客户的正向结果总数。Nₜ(k) 和 N꜀(k) 表示处理组和对照组的样本量。Qini 指标定义为:

Q

k

R

c

N

Q(k)=R_t(k)-R_c(k)\frac{N_t(k)}{N_c(k)}.

​

设 p̂=Nₜ(N)/N 为评估样本中观察到的处理比例。首先定义 q(f)=Q(k)/(Np̂),其中 f=k/N,然后让 A_Q 为其在起点和终点连线之上的面积:

∫

f

d

A_Q=\int_0^1[q(f)-fq(1)]\,df.

)]

df

零是随机目标的参考面积;有限样本得分可能围绕它波动。归一化因子 N 和水平比例 f=k/N 已包含在公式中,因此我们不再将该面积除以 N²。除以处理比例提供了因果增益单位惯例,但不会消除选择偏差。

对于额外的校准,设 r₀ 表示更高选择性、种子 42 验证集中的真实 CATE 排名。我们使用 DR 作为参考得分并计算固定除数:

1.5445

c_Q=\frac{A_Q(r_0)}{A_{DR}(r_0)}=1.5445,

I

W

1.0006.

\qquad c_{IPW}=\frac{A_{IPW}(r_0)}{A_{DR}(r_0)}=1.0006.

所有显示的评估区域和差异均采用以下公式:

l

A_Q^{cal}(r)=\frac{A_Q(r)}{c_Q}, \qquad A_{IPW}^{cal}(r)=\frac{A_{IPW}(r)}{c_{IPW}}, \qquad A_{DR}^{cal}(r)=A_{DR}(r).

这三个参考评分的初始值均为0.0826。下方曲线同样除以c_Q,因此其面积与表格一致。这是该模拟的Oracle辅助校准:需要知道真实CATE排名,且不保证评分准确估计相同量。它们仅用于可比性目的。校准保留了每个评估者的模型排序。我们在所有位置(包括Bootstrap重采样中)固定这些常数。

显示的数字已四舍五入。差异和置信区间在四舍五入前计算,因此显示的相同评分可能不完全一致。

以下是S-learner的Qini曲线示例:

图3:拟合S-learner的校准Qini曲线(实线)与真实CATE排名(虚线)。点划线为随机排序基准线。它们的对角线上方面积分别为0.0824和0.0826。两条曲线使用相同的固定Qini除数。即使排序来自真实CATE,评分仍使用观测的处理和结果。来源:本文的Python模拟。

为什么Qini可能偏好错误的排序?

主要问题是Qini评估指标仍使用观测的处理和结果变量。请记住,客户是根据其特征被选中接受处理的,因此处理/对照差异仍包含选择偏差。

因果学习器估计处理效应。如果正确执行,它可能是无混淆的。但该指标仍然是观察性数据!我们之前在提升条形图中已经看到过这种情况——差异与真实效应不匹配。

如果这种不匹配不会对分析的定性结论产生影响,它可能只是微不足道的计算误差。但在我们的示例中,当比较模型时,线性DR学习器给出的指标优于"Oracle"模型(知道真实CATE的模型)。这表明存在严重问题。现在我们意识到不能信任Qini,因为它可能为我们选择错误的估计器。

因此,我们现在认识到,不仅要改进学习器,还需要改进评估方法。理想情况当然是随机处理分配。但当我们只有有偏的观察数据时——我们可以使用下面讨论的逆概率加权(IPW)或双重稳健(DR)评分。

使用IPW和DR调整评估

逆概率加权根据观测结果的分配可能性为其赋予权重:

^

Z_i^{IPW}=\frac{T_iY_i}{\hat e(X_i)}-\frac{(1-T_i)Y_i}{1-\hat e(X_i)}.

双重稳健评分也使用结果预测和残差,但用客户的逆概率得分对残差进行加权。

μ

Z_i^{DR}=\hat\mu_1(X_i)-\hat\mu_0(X_i)+\frac{T_i[Y_i-\hat\mu_1(X_i)]}{\hat e(X_i)}-\frac{(1-T_i)[Y_i-\hat\mu_0(X_i)]}{1-\hat e(X_i)}.

在上述公式中,T表示处理标志,Y表示结果变量。ê(X_i)表示倾向模型(被处理的概率),μ̂₀(X_i)和μ̂₁(X_i)分别表示处理和对照下的结果预测模型。

通常,DR-learner 使用与上述相同的伪结果来拟合效果,但在这里我们不是在寻找它——我们正在评估一个经过训练的排序。该排序可以来自任何模型——不仅限于 DR-learner。

下一步——我们根据模型排序得分对客户进行排序,并汇总相应的得分:

G

∑

∈

o

G(f)=\frac1N\sum_{i\in\mathrm{top}\ fN} Z_i,\qquad A_G=\int_0^1[G(f)-fG(1)]\,df.

top

这些是未校准的IPW和DR增益曲线。IPW和DR分别在其假设下调整混杂因素。在随机分配下,治疗份额归一化的Qini目标相同的因果增益惯例。为了在本文中展示,我们还通过固定参考除数c_IPW对IPW曲线和面积进行除法;DR保持不变。校准与因果调整是分开的。

对于调整方法,我们从主排序模型中分别估计一个倾向模型和两个结果模型。它们被称为干扰模型。它们使用可观测变量X、T和Y进行估计。对于干扰模型,我们使用三折交叉拟合,这保证了在两种预测中,客户都被排除在模型的训练样本之外。所有排序都使用相同的评估得分。

在配套目录中运行以下Python代码会训练S-learner,并额外拟合单独的评估模型。

code
import numpy as np
from sklearn.model_selection import train_test_split
from uplift_lib import (
generate_dataset, FEATURES, model_factories,
crossfit_evaluation_nuisance, adjusted_scores,
gain_curve, qini_auc, area,
)
data = generate_dataset(1_000_000, seed=42, assignment="selection_high")
train, test = train_test_split(
np.arange(len(data)), test_size=0.3, random_state=42
)
X = data[FEATURES].to_numpy()
y = data.MadeOrder.to_numpy()
t = data.TreatmentGroup.to_numpy()
model = model_factories(family="xgb", seed=42, threads=4)["S"]()
model.fit(y[train], t[train], X=X[train])
ranking = model.effect(X[test]).ravel()
evaluation = data.iloc[test].reset_index(drop=True)
observed = evaluation[FEATURES + ["TreatmentGroup", "MadeOrder"]]
nu, audit = crossfit_evaluation_nuisance(observed, seed=2042)
ipw = adjusted_scores(
evaluation.MadeOrder, evaluation.TreatmentGroup, nu.e_hat
)
dr = adjusted_scores(
evaluation.MadeOrder, evaluation.TreatmentGroup,
nu.e_hat, nu.mu0_hat, nu.mu1_hat,
)
c_q = 1.5445466434481507  # Frozen high-policy seed-42 reference.
c_ipw = 1.0005932054691182
print(
"Calibrated Qini",
qini_auc(evaluation.MadeOrder, evaluation.TreatmentGroup, ranking)
/ evaluation.TreatmentGroup.mean() / c_q,
)
print("Calibrated IPW", area(*gain_curve(ranking, ipw)) / c_ipw)
print("DR", area(*gain_curve(ranking, dr)))

不同估计器的评估误差彼此接近,因此我们最好查看每个排序相对于该排序的因果增益的得分误差,而该因果增益是已知的(感谢我们的合成数据集!)。

图4:每个增强学习者的排序的校准评估得分减去已知的因果增益。所有三个评估器在同一个坐标轴上共同显示。参考真CATE得分通过构造进行了匹配;这些点显示了其他排序的剩余分歧。正值表示高估;负值表示低估。这些是带符号的误差,而非绝对误差。来源:本文的模拟数据,使用Python绘制。

校准后,Qini在六种提升排名中的残差误差范围为+0.0002至+0.0008。校准后的IPW误差范围为+0.0001至+0.0002,DR误差范围为+0.0001至+0.0002。在Linear-DR对比中,Qini更倾向于选择错误的排名。

这种分歧对模型选择也具有重要意义:

校准后的IPW增益 DR增益 已知因果增益 True-CATE排名 Linear DR XGBoost S 0.0824 0.0823 0.0822 XGBoost T 0.0821 0.082 XGBoost X XGBoost DA XGBoost DR 0.083 XGBoost DML 0.0829

“真实增益”是指每个排名的累积True-CATE曲线在终点对角线以上的面积。IPW和DR生成的分数接近这些已知增益,并且更倾向于选择True-CATE排名而非Linear DR。它们无法复现所有提升学习器之间的微小排序差异。校准后的Qini仍然更倾向于选择Linear DR而非True-CATE排名。

使用这些方法时需注意:IPW仍需要正确的倾向性模型,DR仍需要正确的倾向性模型或结果模型。两种评分方法都需要一致性、无未测量混杂因素和重叠性。估计模型和有限样本会留下残差误差,因此这些方法并非对每个数据集都自动产生无偏评分。因此,使用时需始终谨慎。

模型间的差异是否具有说服力?

到目前为止,我们仅比较了不同模型的点估计值。观察另一个随机评估客户集合(即30万客户及其相应重复次数的其他实现)的估计值差异可能很有趣。换句话说——这些差异是否具有统计显著性且一致?

为研究这一问题,我们对保留数据集中的30万客户进行了1000次配对bootstrap重采样。对于每个重采样的评估数据集,我们计算了所有模型和所有评估方法的相关统计量。括号中提供了结果值的2.5百分位和97.5百分位。

这些是条件95%百分位区间。请注意,我们固定了训练模型和干扰函数,仅对评估部分进行重采样。这意味着我们不能保证整个过程bootstrap的95%覆盖率。实验稍后使用3个不同种子重复进行,以确保结论的稳健性。

校准后的Qini和条件95%百分位区间 DR增益和条件95%百分位区间 0.0826 [0.0817, 0.0834] 0.0826 [0.0814, 0.0837] 0.0856 [0.0847, 0.0865] 0.0809 [0.0798, 0.0821] 0.0824 [0.0815, 0.0833] 0.0823 [0.0811, 0.0834] 0.0822 [0.0814, 0.0831] 0.0822 [0.0809, 0.0833] 0.0825 [0.0816, 0.0834] 0.0824 [0.0811, 0.0835] 0.083 [0.0821, 0.0839] 0.0824 [0.0812, 0.0835] 0.0829 [0.082, 0.0838]

模型使用相同的数据种子。Qini的处理份额分母在每次bootstrap重采样中重新计算,然后应用固定的校准除数。拟合和校准常数保持固定,因此区间排除了校准估计的不确定性。参考点估计值通过构造一致,其区间无需一致。为简化起见,省略了IPW区间。

请注意,重叠的区间并不能直接回答一个模型是否比另一个模型更好的问题。更有参考价值的是所考虑的两个模型之间配对差异的区间(一个模型比另一个模型好多少)。下面我们将每个模型与理想真实值进行比较。

图5。每个点表示模型得分减去真实CATE排名得分,带有配对条件95%置信区间。正值表示模型更优;负值表示真实CATE更优。左图:校准Qini。右图:DR增益。参考得分一致;横轴范围因可读性调整。校准常数在所有重采样中保持固定。所有七个DR增益区间均低于零(如预期),而Qini更倾向于线性DR、XGBoost DR和XGBoost DML优于真实CATE。模型和干扰项拟合保持固定,区间未对多重比较进行调整。来源:本文模拟数据,使用Python绘制。

我们在这里会选择哪个估计量?

选择CATE估计量是一个更广泛的话题,值得单独撰写一篇文章。对于这个例子,我会选择XGBoost S-learner作为简单的起点。在六个考虑的模型中,它的估计结构最简单:一个结果模型,将处理变量作为输入特征。DML估计量在六个增强模型中具有最高的DR增益点估计,但其相对于S的优势很小:配对S减去DML的差异为-0.00006,其条件95%置信区间包含零。这并不能证明等价性,也不声称S学习器总是最佳。但如果第五位数字的差异对你的应用不关键,我会在这个特定情况下选择S学习器。简单性胜出。

正值支持S;负值支持其他学习器。区间使用1000次配对评估行重采样,排名模型和干扰项拟合保持固定,且未对多重比较进行调整。来源:本文模拟数据,使用Python绘制。

XGBoost比较

DR面积差异

条件95%置信区间

S减T

+0.0002

[+0.00003, +0.0003]

S减X

+0.000001

[-0.0001, +0.0001]

S减DA

-0.00004

[-0.0002, +0.00008]

S减DR

-0.00005

[-0.0002, +0.00006]

S减DML

-0.00006

[-0.0002, +0.00005]

S与T的比较显示DR面积差异为+0.0002,条件95%置信区间为[+0.00003, +0.0003]。因此,在这些模型和固定的干扰项拟合集合中,S与T相比具有统计显著的DR面积差异。与X、DA、DR和DML的配对区间均包含零,因此没有证据表明S的DR面积持续更高。

我们不再使用Qini,因为我们之前已经看到其混杂性即使在定性尺度上也会影响结论。即使增加Qini的自助样本量也无法使其无偏,因此我们可以停止使用它。

指派策略是否改变结果

到目前为止,我们只遵循了一个数据生成到模型比较的示例。现在,让我们稍微改变指派策略,并检查结果在不同指派下是否稳定。

我们将用0.5和1替换倾向规则中的2.5,这会改变选择偏差,并将这种调整称为“低”和“中等”选择性。由于我们通过校准方式设置了分配规则,因此处理人群占比仍保持50%。为了保证稳健性,我们还将为所有学习器重新拟合3种不同的随机种子。

在该图中,我们直接根据已知的真实CATE对客户进行排序。没有S、T或其他学习器提供排序。我们固定客户画像和完美排序,在每个随机种子内的不同分配策略中保持不变,仅改变接受处理的客户群体和观察到的结果。问题是当分配策略变得更具选择性时,每个评估器是否能准确评分相同的排序。

由于我们为可比性进行了校准,三个评估器的点估计在“更高”选择策略下会自然重合。校准基于真实CATE,此处我们考虑的是真实CATE排序。有趣的是,当分配策略发生变化时,排序器的表现如何。

我们发现DR和IPW表现相当稳定,而Qini则完全不稳定,其结果会根据分配策略发生显著变化。这再次证明了选择偏差不同水平对评估结果的影响程度。

图6. 校准后的评估者得分减去相同真实CATE排序下的已知因果区域。左图:所有评估者。右图:校准后的IPW和DR在扩展坐标轴上的表现。校准常数来自高选择性、种子42的基准设置,不会针对每个策略或种子重新计算。点表示三个种子的平均值;须部表示最小到最大值,而非置信区间。来源:本文模拟数据,使用Python绘制。

所有三种增加选择性的实验都显示出与单次实验相同的结果:线性DR与真实CATE之间的关系反转。预期计数诊断指标也表现良好。这为该现象提供了比单次幸运或不幸的实验更充分的实证证据。(当然,三次实验并不能保证覆盖所有可能数据集的变异性。)

小量调参会改变比较结果吗?

关于超参数调优?评估器本身也会影响我们选择的超参数!我们为每个增强学习器提供了15种配置,包括默认配置。原始70万训练客户被划分为50万用于拟合候选模型,20万用于验证。然后我们使用交叉拟合的DR增益在验证样本上选择每个学习器的配置,且未使用真实CATE。

在生成来自“高”选择性策略的新30万客户测试样本之前,我们冻结了已选中的超参数。默认模型和选择模型都在相同的原始70万训练客户上重新拟合,然后使用共享的交叉拟合评估模型在这些新测试客户上进行评估。早期文章的留出集未用于此次调参比较。因此,不要将早期表格中的差异归因于调参本身。下面将展示调参对之前三个指标的影响,以及基于真实CATE计算的RMSE指标(由于我们生成了数据集,因此知道真实CATE;该指标在其他部分被省略,因为在现实中我们永远无法知道真实CATE)。

图7。该图展示了在300,000个客户的新样本上,六个学习器的排名和客户画像。评估面板使用校准后的Qini、校准后的IPW和未改变的DR,与之前表格中相同的固定参考常数。Qini指标仍存在混淆;IPW和DR依赖于各自的因果假设。我们还在此处将CATE RMSE与合成的已知真实值进行对比。子图的纵轴已扩展,以便观察每个学习器在调参前后DR评估的微小差异。其他面板的尺度各不相同。来源:本文的模拟数据,使用Python绘制。

DR调参前

DR调参后

调参后与调参前差值

配对条件95%置信区间

-0.0001

[-0.0002, +0.00002]

0.0827

+0.0003

[+0.0001, +0.0004]

+0.00003

[-0.00009, +0.0001]

+0.00004

[-0.00007, +0.0002]

+0.00001

[-0.00003, +0.00005]

+0.00002

[-0.000009, +0.00006]

图8:在新测试样本上进行1,000次配对行引导重采样。正值表示调参后的模型版本更优。所有区间均基于排名和评估模型的拟合情况。这些区间不包含超参数搜索和模型重新训练带来的变异性。来源:文章为该测试案例提供的模拟数据,使用Python绘制。

对于S、X、DA、DR和DML学习器,由于置信区间包含零(对应值无变化),我们无法明确调参带来的影响方向。但T学习器的配对区间均支持调参,且CATE RMSE从0.0328提升至0.0237。S学习器表现出最极端的行为,其DR点估计值下降,且在新测试样本上CATE RMSE从0.0243上升至0.0316。因此,S学习器的调参效果并不理想。

需要明确的是,比较这些不同模型的调参效果仍然具有挑战性,因为简单S学习器和DML模型的潜在超参数调整数量不同。但本节的核心思想是展示超参数调参不会改变之前我们展示的混淆度量(Qini)的排名效应。

比较提升模型时的应对策略

总结来说,让我们尝试回答——在比较提升模型质量时,我们应该怎么做?首先评估实验中的处理分配。如果处理分配不是随机的(如大多数情况),那么熟悉的提升图或Qini曲线将不再适用。应同时使用评估设计和假设仍成立的估计器(不依赖随机分配)。

在数据上使用IPW和DR因果增益评估器,其得分接近已知的因果增益,并保持了估计器的排名正确性。我倾向于选择DR评估,因为它是双重稳健的,即使其中一个假设失效,它仍然有效。

最终,在您的营销活动(或任何其他提升模型应用)中,请根据您的具体情况关注重要指标:预算、成本和给定预算下的增量价值。曲线下的面积虽然有趣,但并非您优化的商业目标。

独立评估配套包包含 evaluation.ipynb 文件、共享模型和度量实现、所有数值表格、配对引导抽样、图表以及调整协议。其默认 notebook 运行会分析已完成的实验,并通过存储的观测行和干扰预测独立验证 IPW/DR 公式。

python reproduce.py --output regenerated 会在新目录中重新生成所有基线拟合、评估器拟合、诊断结果、重采样、调整过程和图表。上述单个代码示例已作为 article_example.py 提供。README 文件区分了这些完整的拟合步骤与快速 notebook 分析。三策略种子范围和固定拟合引导区间保留其各自的定义。

参考文献

[1] PyWhy, EconML Meta-Learners, 版本 0.16.0 文档。

[2] E. H. Kennedy, 《Towards optimal doubly robust estimation of heterogeneous causal effects》(2020;修订版 2023), arXiv.

[3] scikit-uplift 贡献者, 度量实现, 版本 0.5.1 文档。

[4] grf 贡献者, 使用 RATE 评估异质性, 文档。本文采用我们自己的条件行引导程序替代 grf 中用于因果异质性推断的 RATE 实现。

配套下载

GitHub 上的可复现配套包 — 下载 ZIP