NVIDIA Kumo Relational Outperforms Supervised Machine Learning on Relational Data, No Training Required

NVIDIA Kumo Relational 在无需训练的情况下超越监督式机器学习

返回文章列表

[0

[-1

企业

+

]

文章

2026年10月21日发布

点赞

6

[

Joshua Przybylko

jprzybylko

关注

nvidia

Jure Leskovec

profjure

Matthias Fey

rusty1s

Federico Lopez

flopeznv

Valter Hudovernik

valterh-nv

Akihiro Nitta

akihironitta-nv

Ramona Bendias

RBendiasN

Ardrian Wong

aw777

TL;DR

NVIDIA Kumo Relational 是一个预训练的关系型基础模型，可直接在企业数据库上进行预测。给定预测查询时，它会收集多达10,000个历史示例作为上下文，并在单次前向传播中预测客户流失、需求或欺诈等结果。无需特定任务训练、无需特征工程、无需表结构扁平化。Kumo Relational 是首个在常见关系型基准测试中超越监督式机器学习的小样本基础模型。在15个数据库的41项任务中，它超越了监督式关系深度学习模型和专家设计的梯度提升树流水线，在SAP SALT企业基准测试中，其平均倒数排名（MRR）比AutoGluon集成模型高出8%。该模型可扩展至500亿行以上的数据库，通过NVIDIA开源的GPU原生结构化数据模型库或作为NVIDIA NIM，既适用于人类也适用于智能体。

• 论文：https://arxiv.org/abs/2604.12596

• 文档：https://docs.nvidia.com/sdgm/rfm/overview

从传统模型向结构化数据基础模型的转变

基础模型已经彻底改变了语言和视觉领域的工作方式。不久之前，生产级自然语言处理需要为每个任务配备专用模型，每个模型都依赖于独立的分词、词形还原和n-gram处理流水线。大语言模型（LLM）之所以能取代这种架构，主要有三个原因：它们比最佳任务专用模型更准确、部署更简单，且灵活性足以开启智能体应用的新时代。

结构化数据领域正在经历同样的变革。关系型数据库驱动着全球最关键的企业决策，但目前在这些数据上进行预测建模仍需要数周的特征工程、特定任务训练和调优流水线。结构化数据基础模型通过以下三个原因改变这一现状：

更高的准确性：作为即插即用的替代方案，这些模型已经超越了许多生产流水线，尤其是XGBoost。在RelBench V1分类任务中，Kumo Relational 在专家设计的特征上平均比梯度提升树高出近4个AUROC点。在SAP SALT基准测试中，其在工程特征上开箱即用时比XGBoost高出7个MRR点，微调后更达到13个MRR点。这些结果有力证明了用Kumo Relational 替代生产级XGBoost流水线的可行性。

更简洁灵活：一个预训练模型即可取代为不同任务设计的独立流水线。新的预测只需通过查询即可完成，而非启动新项目，这让机器学习团队终于能够承担传统机器学习因过于繁琐而难以在组织各层级落地的用例。

具备预测能力的智能体：LLM让智能体能够读写和推理，结构化数据基础模型则让它们能够预测未来，例如预判哪些客户将流失，并据此采取行动。Kumo Relational 已经设计为可被智能体调用，其预测查询语言（PQL）为智能体提供了简单的接口来提出预测性问题。

今天，我们推出 Kumo Relational（论文，文档），这是一个预训练的基础模型，将这一范式引入关系型数据领域。只需连接数据库、描述需要预测的内容，即可通过一次前向传递获得预测结果，无需任何训练。

Kumo Relational 的工作原理

大多数结构化数据的基础模型都基于单一的扁平表格进行操作。而现实世界的数据通常存储在关系型数据库中：用户与订单、订单与产品之间通过关系连接，并随时间演变。通过人工聚合（例如，“过去30天的平均订单价值”）将这些关系扁平化为单行数据，会丢失精细的结构化信号，并需要大量人工操作。

Kumo Relational 是一个关系型基础模型，可直接在数据库上运行，尊重其表结构、外键和时间戳。该模型在反映真实世界数据集的合成关系型数据上进行一次预训练，并通过上下文学习适应每个新任务，在推理时可读取多达10,000个上下文示例。每个示例都包含某个实体在特定时间点的局部子图及其真实目标值（例如，“该用户流失了”或“该商品售出142件”）。

![NVIDIA Kumo Relational 系统概览：(a) 数据库集成，(b) 将自然语言转换为预测查询的提示界面，以及 (c) 自动上下文生成模块向 NVIDIA Kumo Relational 模型提供输入，该模型可跨租户水平扩展。]

图1. Kumo Relational 系统概览。连接数据库、指定预测查询后，Kumo Relational 会自动完成从上下文生成到模型推理的全部工作。

要进行预测，Kumo Relational 需要完成三件事：(1) 理解每个表中的值，(2) 跨表关联记录，(3) 将已知目标的上下文示例与待预测实体相关联。具体实现方式如下：

![Kumo Relational 架构：(a) 包含任务、用户、订单和商品表的上下文输入；(b) 表内列注意力和行注意力机制，注入上下文目标；(c) 表间图注意力和跨样本注意力机制。]

图2. Kumo Relational 架构：(a) 上下文输入，(b) 表内推理，(c) 表间推理。

自动上下文生成：任务通过预测查询语言（Predictive Query Language, PQL）定义，这是一种声明式接口，用户只需说明要预测什么，而无需指定如何预测。对于时间序列任务，Kumo Relational 会回放历史数据库状态：它会采样以锚定时间戳为中心的实体子图，并从该时间戳之后的事件中计算每个目标值，同时仅向模型提供该时间戳之前的数据。这种设计可防止数据泄露。

表内推理：一个轻量级网络独立处理每个表，交替执行列注意力（关联同一列中的值）和行注意力（关联同一行中的特征）。模型会学习当前预测中重要的列和行，并在信息传播前过滤噪声。

跨表推理：更大的网络通过主键/外键关系的图注意力机制，将行嵌入分布在关系结构中，同时与上下文示例之间的跨样本注意力机制交替进行。这就是关系推理发生的地方，例如将用户的个人资料与其交易历史关联起来。由于这一阶段作用于行嵌入而非每个表中的每个单元格，这种设计避免了二次成本，能够扩展到大型上下文和更深层次的子图。

Kumo Relational 的构建方式

Kumo Relational 在完全合成的关系数据上进行预训练，这些数据被模拟为反映现实世界关系数据库并包含多样化预测查询的数据库。预训练过程分为多个阶段，从单个表逐步过渡到越来越复杂的关系结构。

预训练所需的多样化关系数据库很少公开，因此合成数据填补了这一空白。Kumo Relational 的生成器基于 PluRel（Kothapalli 等人，ICML 2026）的方法，该方法将单表数据生成器扩展到完整的关系数据库。Kumo 团队成员参与了 PluRel 的开发并共同撰写了原始论文。PluRel 通过三个阶段生成每个数据库：首先定义模式，然后在行之间建立外键链接，这些链接在真实数据中会聚类，最后通过具有时间趋势和跨表依赖关系的结构因果模型生成列值。生成过程轻量高效，因此预训练数据实际上可以无限扩展，PluRel 论文显示，随着合成数据库的增加，预训练损失遵循幂律，且这些增益可以迁移到真实数据库。

通过这种预训练，模型学会了跨表过滤、关联和聚合信息，而不是依赖固定的聚合方式。当需要最大精度时，Kumo Relational 还可以针对特定数据集和任务进行微调。

性能

在本文中，我们在 RelBench V1 和 V2、SAP SALT 以及 4DBInfer 的 15 个关系数据库的 41 个基准测试中评估了 Kumo Relational，覆盖电商、医疗、企业、社交和学术领域。这些数据集在预训练过程中均未接触过。Kumo Relational 在分类和回归任务中均优于最强的监督模型，包括关系深度学习模型和专家设计的表格集成模型。在 RelArena-α 领域排行榜上，该模型在 RelBench V1 的关系模型和系统比较中，开箱即用便位于准确性-效率帕累托前沿：

![RelArena-α 领域排行榜散点图：任务间的相对准确性（以 Elo 表示，纵轴）与每 1,000 个样本的中位推理时间（横轴，对数刻度）。Kumo Relational 位于帕累托前沿，准确度约为 Elo 1,842，耗时约 17 秒。最高分的条目 rt-plurel 在约 7,300 秒时达到 Elo 1,878，速度慢约 430 倍。其他所有基础模型、特征工程系统和监督模型在准确性和运行速度上均不如 Kumo Relational。]

图 3. RelArena-α 领域排行榜：任务间的 Elo 值与每 1,000 个样本的中位推理时间（对数刻度）。Kumo Relational 在相似准确性下比最高分条目快约 430 倍。

The paper also reports that on the SAP SALT enterprise benchmark, Kumo Relational surpasses large AutoGluon ensembles by 8% in mean reciprocal rank (MRR) and recent tabular foundation models by about 25%, and fine-tuning extends its lead over AutoGluon to 16%. It also holds up under hard conditions: it performs well with as little as 0.2% of the training data as context, stays stable when up to 75% of foreign-key links are removed, and barely degrades when many noisy columns are added.

Limitations

Kumo Relational performs best on data with meaningful relationships and temporal dynamics, such as user behavior over time. On tasks with very large training sets, task-specific supervised models may still edge out in-context predictions, which used at most 10,000 context examples in our benchmarks. Fine-tuning of the foundation model is designed for exactly this case. Predictive signals must also be reachable within a limited number of hops, so start with a focused query over a few relevant tables and expand the graph as needed.

Demo

Kumo Relational runs in-context learning natively over databases: in memory, through database and warehouse connectors, or through a custom graph engine that handles 500B+ rows via memory-mapped I/O at up to 5 GB/s. It is available in NVIDIA's newly released, GPU-native structured-data-models library, the same open-source library that powers our sister model, Kumo Tabular . The library downloads the weights from the Hugging Face Hub on first use, so you can load the model in a GPU-backed notebook and predict directly from it. The code below passes context examples, prediction entities, and their related tables to the model:

# pip install structured-data-models
import
sdm

model = sdm.models.KumoRelational(device=
"cuda"
)
pred = model(
# In-context training table (fkeys/timestamps/targets):
x_context=...,
    y_context=...,
# Prediction examples (fkeys/timestamps):
x_query=...,
# Multi-table information for context/prediction entities:
related_context_tables=...,
    related_query_tables=...,
)

See the library's relational examples for complete RelBench and SAP SALT pipelines, including how to sample each entity's related tables.

To run the model as a separate service instead, deploy it as an NVIDIA NIM and point the open-source structured-data-models-client at it from your notebook. You write the prediction in PQL, and the client gathers the context examples and related tables, then sends the request:

# pip install 'structured-data-models-client[relational]'
import
sdm_client

client = sdm_client.SDMClient(url=
"http://localhost:8001"
)
# NIM URL
query = sdm_client.PredictiveQuery(
# Prediction task in Predictive Query Language (PQL):
"PREDICT COUNT(orders.*, 0, 30, days) FOR EACH users.user_id"
,
# Multi-table data as pandas DataFrames (keys/links inferred):
{
"users"
: ...,
"orders"
: ...},
)
pred = client.predict(
# Context examples and related tables for the entities to predict:
query.materialize(indices=[
1
,
2
,
3
]),
    model=sdm_client.KumoRelational(),
)

See the client's example notebooks for end-to-end runs against a local NIM and on Databricks.

Start Building with NVIDIA Kumo Relational

NVIDIA Kumo Relational 现已发布。阅读研究论文，探索快速入门笔记本，或开始使用自己的数据进行预测。代码采用 Apache 2.0 许可证发布，模型权重采用 OpenMDW 许可协议 1.1 版本。NVIDIA 认为可信 AI 是共同责任，我们已制定相关政策和实践，以支持各类 AI 应用的开发。根据我们的服务条款下载或使用时，开发者应与支持模型团队合作，确保该模型满足相关行业和使用场景的要求，并解决可能的不当使用问题。请通过此链接报告模型质量、风险、安全漏洞或 NVIDIA AI 相关问题。

• 代码：https://github.com/NVIDIA/structured-data-models
• PyPI：https://pypi.org/project/structured-data-models/
• 客户端代码：https://github.com/NVIDIA/structured-data-models-client
• 客户端 PyPI：https://pypi.org/project/structured-data-models-client/
• 模型权重：https://huggingface.co/nvidia/Kumo-Relational
• 快速入门笔记本：https://github.com/NVIDIA/structured-data-models-client/blob/main/examples/local/relational.ipynb
• 相关研究：预测查询语言（PQL）、PluRel、Kumo Tabular

致谢

我们感谢整个 Kumo 团队的宝贵支持。特别感谢 Josh Przybylko、Adi Wadaskar、Hema Raghavan、Manush Murali、Raja Rao DV、Keti Jovanovska、Zack Drach、Vanja Josifovski、Myungwhan Kim、Blaž Stojanovič、Siyang Xie、Alan Krumholz、Effy Fang、Abdullah Al-chihabi、Disha Dubey、Devan Johnson、Joseph Oliveira、Angela Liu、Miha Pelko、Vedaant Jain、Sally Liu、Aleksandar S. Sokolovski、Alex Porter 和 Ramona Bendias。

更多作者文章

在仿真中训练，部署到真实机器人：Microduck 与 Isaac Lab 3.0

4

2026 年 10 月 21 日

NVIDIA Kumo Forecast 将预训练时间序列表示与历史模式检索及可解释性相结合

7

社区

编辑

预览

通过拖拽文本输入框、粘贴或点击此处上传图片、音频和视频

轻点或粘贴此处上传图片

评论

· 注册或登录以发表评论