NVIDIA 发布关系型数据基础模型 Kumo Relational

简要总结

NVIDIA Kumo Relational 是一种预训练关系型基础模型，可直接在企业数据库上进行预测。给定一个预测查询，它会收集最多 10,000 个历史样本作为上下文，并在一次前向传播中预测客户流失、需求或欺诈等结果。它无需针对特定任务进行训练，无需特征工程，也无需将表扁平化。Kumo Relational 是首个在常见关系型基准测试中胜过监督式机器学习的少样本基础模型。在 15 个数据库的 41 项任务中，它胜过监督式关系型深度学习模型和经过专家工程设计的梯度提升树管道；在 SAP SALT 企业基准测试中，其平均倒数排名（MRR）比 AutoGluon 集成模型高 8%。它可扩展至包含 500B+ 行的数据库，并且适用于人类和智能体：既可通过 NVIDIA 开源、GPU 原生的结构化数据模型库使用，也可作为 NVIDIA NIM 使用。

• 论文： https://arxiv.org/abs/2604.12596
• 文档： https://docs.nvidia.com/sdgm/rfm/overview

迈向结构化数据基础模型

基础模型已经改写了语言和视觉领域的工作方式。不久之前，生产级 NLP 还意味着每项任务都要使用专门的模型，并各自配备分词、词形还原和 n-gram 等处理管道。LLM 之所以让这套技术栈基本过时，有三个原因：它们比最好的专用任务模型更准确，更容易投入生产，而且足够灵活，开启了智能体应用的新时代。

如今，结构化数据领域也正在发生同样的转变。关系型数据库支撑着全球最关键的商业决策，但在这些数据库上进行预测建模，仍需要数周的特征工程、针对特定任务的训练以及经过调优的管道。结构化数据基础模型凭借同样的三个原因改变了这一现状：

当前就能实现更高准确率：作为可直接替换的方案，这类模型已经胜过许多生产管道，尤其是 XGBoost。在 RelBench V1 分类任务中，Kumo Relational 的表现优于基于专家工程特征的梯度提升树，平均 AUROC 高出近 4 个百分点。在 SAP SALT 上，它开箱即用时比基于工程特征的 XGBoost 高出 7 个 MRR 点，微调后则高出 13 个 MRR 点。这些结果充分表明，应以 Kumo Relational 替换生产环境中的 XGBoost 管道。

简单灵活：一个预训练模型即可替代针对各项任务的独立管道。新的预测只需发起查询，无需启动项目，因此 ML 团队终于可以着手解决传统 ML 在组织各个层面都难以构建的用例。

能够进行预测的智能体：LLM 让智能体能够读取、写入和推理。结构化数据基础模型则让它们能够预测接下来会发生什么，例如哪些客户会流失，并据此采取行动。Kumo Relational 已经能够由智能体调用，其预测查询语言（PQL）为智能体提供了一个简单的接口，用于提出预测问题。

今天，我们推出 Kumo Relational（论文、文档），这是一种预训练基础模型，将这一范式引入关系型数据领域。连接数据库，说明要预测什么，即可通过一次前向传播获得预测。无需训练。

Kumo Relational 的工作原理

大多数结构化数据基础模型都在单个平面表上运行。而现实世界的数据存在于关系数据库中：用户关联订单，订单关联产品，所有数据都随着时间不断变化。通过手动聚合（例如，“过去 30 天的平均订单金额”）将这些关系压平为一行，会丢失细粒度的结构信号，还需要投入大量人力。

Kumo Relational 是一种关系基础模型，可直接在数据库上运行，同时保留数据库的表、外键和时间戳。它只需在反映真实数据集的合成关系数据上进行一次预训练，随后通过上下文学习适应每项新任务，在推理时最多读取 10,000 个上下文示例。每个示例都将某个实体在特定时间点周围的局部子图与其真实目标配对（例如，“该用户已流失”或“该商品售出 142 件”）。

![NVIDIA Kumo Relational 系统概览：(a) 数据库集成，(b) 将自然语言转换为预测查询的提示界面，以及 (c) 自动生成上下文并将其输入 NVIDIA Kumo Relational 模型，该模型可在多个租户之间水平扩展。]

图 1. Kumo Relational 系统概览。连接数据库、指定预测查询，剩下的工作由 Kumo Relational 处理，包括生成上下文和进行模型推理。

要进行预测，Kumo Relational 必须完成三件事：(1) 理解每张表中的值，(2) 关联不同表中的记录，以及 (3) 将已知目标的上下文示例与待预测实体关联起来。其工作方式如下：

![Kumo Relational 架构：(a) 包含任务、用户、订单和商品表的上下文输入；(b) 表内的列注意力和行注意力，并注入上下文目标；(c) 跨表的图注意力和跨样本注意力。]

图 2. Kumo Relational 架构：(a) 上下文输入，(b) 表内推理，(c) 跨表推理。

自动生成上下文：任务使用预测查询语言（PQL）编写。这是一种声明式接口，用户只需说明要预测什么，而不必说明如何预测。对于时间任务，Kumo Relational 会重放数据库的历史状态：它会采样截至锚点时间戳的以实体为中心的子图，并根据该时间戳之后发生的事件计算每个目标，同时只向模型提供该时间戳之前的数据。这样可以防止数据泄漏。

表内推理：轻量级网络会独立处理每张表，交替执行列注意力（关联同一列中的值）和行注意力（关联同一行中的特征）。模型会学习哪些列和行与当前预测相关，并在信息传播前滤除噪声。

跨表推理：更大的网络通过对主键/外键关系执行图注意力，将行嵌入沿关系结构传播，并穿插对上下文示例执行的跨样本注意力。关系推理正是在此阶段进行，例如将用户资料与其交易历史关联起来。由于此阶段处理的是行嵌入，而不是每张表中的每个单元格，因此该设计避免了二次方成本，并能扩展到大型上下文和更深层的子图。

Kumo Relational 的构建过程

Kumo Relational 预训练于完全合成的关系数据之上，这些数据经过模拟，旨在反映具有多样预测查询的真实世界关系数据库。预训练分阶段进行，从单表开始，逐步扩展到日益复杂的关系结构。

预训练所需的多样关系数据库很少公开，因此合成数据填补了这一空白。Kumo Relational 的生成器基于 PluRel（Kothapalli 等，ICML 2026）的方法构建，该方法将单表数据生成器扩展到完整的关系数据库。Kumo 团队成员参与了 PluRel 的开发，并共同撰写了原始论文。PluRel 分三个阶段生成每个数据库：生成模式；生成行之间的外键链接，使其形成与真实数据相似的聚类；以及通过结构因果模型生成列值，其中包含时间趋势和跨表依赖关系。生成过程轻量，因此预训练数据实际上没有上限；PluRel 论文还显示，随着加入更多合成数据库，预训练损失遵循幂律下降，而且所得收益可以迁移到真实数据库。

通过这种预训练，模型学会跨表筛选、关联和聚合信息，而不是依赖固定聚合。当准确率至关重要时，Kumo Relational 还可以针对特定数据集和任务进行微调。

性能

在本文中，我们在来自 RelBench V1 和 V2、SAP SALT 以及 4DBInfer 的 15 个关系数据库上的 41 个基准测试中评估了 Kumo Relational，涵盖电子商务、医疗、企业、社交和学术领域。这些数据集均未出现在预训练数据中。Kumo Relational 在分类和回归任务中均优于最强的监督模型，包括关系深度学习模型和专家设计的表格集成模型。在比较 RelBench V1 上关系模型和系统的 RelArena-α 排行榜中，它开箱即用地位于准确率—效率 Pareto 前沿：

![RelArena-α 排行榜散点图：跨任务的相对准确率（以 Elo 表示，y 轴）与每 1,000 个样本的中位推理时间（x 轴，对数刻度）。Kumo Relational 位于 Pareto 前沿，推理时间约为 17 秒，Elo 为 1,842。得分最高的条目 rt-plurel 在约 7,300 秒时达到 Elo 1,878，速度约慢 430 倍。其他每个基础模型、特征工程系统和监督模型的得分都低于 Kumo Relational，运行速度也更慢。]

图 3。RelArena-α 排行榜：跨任务的 Elo 与每 1,000 个样本的中位推理时间（对数刻度）。在准确率相近的情况下，Kumo Relational 的速度约为得分最高条目的 430 倍。

论文还报告称，在 SAP SALT 企业基准测试中，Kumo Relational 的平均倒数排名（MRR）比大型 AutoGluon 集成模型高 8%，比近期的表格基础模型高约 25%；微调后，它相对 AutoGluon 的领先幅度扩大到 16%。它在严苛条件下同样表现稳健：即使仅使用相当于训练数据 0.2% 的上下文，也能取得良好表现；即使移除多达 75% 的外键链接，性能仍保持稳定；即使加入大量噪声列，性能也几乎不会下降。

局限性

Kumo Relational 在具有有意义关系和时间动态的数据上表现最佳，例如随时间变化的用户行为。在训练集非常庞大的任务中，针对特定任务的监督模型仍可能略胜于上下文内预测；在我们的基准测试中，上下文内预测最多使用了 10,000 个上下文示例。基础模型的微调正是为这种情况而设计的。预测信号还必须能够在有限的跳数内获取，因此应先针对少数几个相关表进行聚焦查询，并根据需要扩展图。

演示

Kumo Relational 原生支持在数据库上进行上下文学习：可以在内存中进行，也可以通过数据库和数据仓库连接器进行，或者通过自定义图引擎进行；该图引擎借助内存映射 I/O，以最高 5 GB/s 的速度处理超过 500B 行数据。它已集成到 NVIDIA 新发布的 GPU 原生结构化数据模型库中，该开源库也为我们的姊妹模型 Kumo Tabular 提供支持。该库首次使用时会从 Hugging Face Hub 下载权重，因此你可以在 GPU 支持的笔记本中加载模型，并直接使用它进行预测。下面的代码会将上下文示例、预测实体及其相关表传递给模型：

# pip install structured-data-models
import sdm

model = sdm.models.KumoRelational(device="cuda")
pred = model(
    # In-context training table (fkeys/timestamps/targets):
    x_context=...,
    y_context=...,
    # Prediction examples (fkeys/timestamps):
    x_query=...,
    # Multi-table information for context/prediction entities:
    related_context_tables=...,
    related_query_tables=...,
)

参阅该库的关系型示例，了解完整的 RelBench 和 SAP SALT 流水线，包括如何对每个实体的相关表进行采样。

如果希望将模型作为独立服务运行，也可以将其部署为 NVIDIA NIM，并在笔记本中让开源的 structured-data-models-client 指向该服务。你可以使用 PQL 编写预测语句，客户端会收集上下文示例和相关表，然后发送请求：

# pip install 'structured-data-models-client[relational]'
import sdm_client

client = sdm_client.SDMClient(url="http://localhost:8001")  # NIM URL
query = sdm_client.PredictiveQuery(
    # Prediction task in Predictive Query Language (PQL):
    "PREDICT COUNT(orders.*, 0, 30, days) FOR EACH users.user_id",
    # Multi-table data as pandas DataFrames (keys/links inferred):
    {"users": ..., "orders": ...},
)
pred = client.predict(
    # Context examples and related tables for the entities to predict:
    query.materialize(indices=[1, 2, 3]),
    model=sdm_client.KumoRelational(),
)

参阅客户端的示例笔记本，了解如何针对本地 NIM 和 Databricks 进行端到端运行。

开始使用 NVIDIA Kumo Relational 构建

NVIDIA Kumo Relational 现已可用。阅读研究论文，探索快速入门笔记本，或开始在你自己的数据上进行预测。代码以 Apache 2.0 许可证发布，模型权重则依据 OpenMDW License Agreement, version 1.1 发布。NVIDIA 认为，可信赖 AI 是一项共同责任；我们已制定相关政策和实践，以支持广泛 AI 应用的开发。在遵守我们的服务条款下载或使用模型时，开发者应与其支持模型的团队合作，确保该模型满足相关行业和使用场景的要求，并应对未预见的产品滥用情况。如有模型质量、风险、安全漏洞或 NVIDIA AI 相关问题，请在此报告。

• 论文： https://arxiv.org/abs/2604.12596
• 文档： https://docs.nvidia.com/sdgm/rfm/overview
• 代码： https://github.com/NVIDIA/structured-data-models
• PyPI： https://pypi.org/project/structured-data-models/
• 客户端代码： https://github.com/NVIDIA/structured-data-models-client
• 客户端 PyPI： https://pypi.org/project/structured-data-models-client/
• 权重： https://huggingface.co/nvidia/Kumo-Relational
• 快速入门笔记本： https://github.com/NVIDIA/structured-data-models-client/blob/main/examples/local/relational.ipynb
• 相关研究： Predictive Query Language (PQL)、PluRel、Kumo Tabular

致谢

感谢整个 Kumo 团队给予的宝贵支持。特别感谢 Josh Przybylko、Adi Wadaskar、Hema Raghavan、Manush Murali、Raja Rao DV、Keti Jovanovska、Zack Drach、Vanja Josifovski、Myungwhan Kim、Blaž Stojanovič、Siyang Xie、Alan Krumholz、Effy Fang、Abdullah Al-chihabi、Disha Dubey、Devan Johnson、Joseph Oliveira、Angela Liu、Miha Pelko、Vedaant Jain、Sally Liu、Aleksandar S. Sokolovski、Alex Porter 和 Ramona Bendias。