Databricks AI Runtime and NVIDIA make it easier to customize open models with enterprise data

Databricks AI 运行时与 NVIDIA 共同简化企业数据驱动的开源模型定制 | Databricks 博客

跳过导航到主要内容

平台、产品与公告

2026年10月21日

Databricks AI 运行时与 NVIDIA 共同简化企业数据驱动的开源模型定制

AI 运行时使开发者能够在 Databricks 上跨云平台使用 NVIDIA 框架、开源模型和容器，无需管理 GPU 基础设施

作者：Tejas Sundaresan、Hanlin Tang、Julia Powell、Joel Caruso（NVIDIA）和 Mayank Tahilramani（NVIDIA）

摘要

• Databricks AI 运行时（AIR）现已正式发布（GA），帮助团队在无服务器 NVIDIA GPU 上更快地训练和微调模型，无需处理 GPU 基础设施的复杂性。

• AIR 支持 NVIDIA NeMo 和容器，使团队能够在无服务器 NVIDIA GPU 上，结合受控的企业数据训练和微调模型。

• Databricks 使用 NVIDIA Kumo 开放模型加速结构化数据的预测，使用 NVIDIA Nemotron 检索器模型从非结构化数据中查找相关证据，使代理能够在 Databricks 工作流中做出知情决策并采取行动。

• 开发者可以利用 Genie Code、NVIDIA 特定的代理技能以及我们的联合 Nemotron 方案库，快速在 AIR 上开始模型定制。

GPU 是当今最先进的 AI 工作负载的核心，从前沿的语言模型到多模态 AI 系统和代理。越来越多的企业正在将开源模型适配到自己的数据和业务需求中。但获取 GPU 访问权限只是挑战的一部分。团队还需要配置训练任务、管理数据访问权限以及维护 GPU 基础设施，这使得用于模型实验和评估其业务契合度的时间更少。

Databricks 与 NVIDIA 提供了从企业数据到定制化 AI 模型的无缝路径，从微调小型模型到大规模分布式训练。通过 Unity Gateway，Databricks 为开发者提供对前沿模型和开源模型的受控访问。对于需要定制模型的团队，AI 运行时（AIR）将 NVIDIA 的 AI 软件生态系统和无服务器 GPU 带入企业数据。团队可以在 AIR 上进行模型实验、微调和评估，然后通过 Databricks 模型服务部署用于实时推理——所有操作都在 Databricks 平台内完成，无需管理更多基础设施和治理工作。

今天在 GTC 柏林，Databricks 与 NVIDIA 扩展合作，使企业更轻松地定制开源模型。Databricks AIR 现已正式发布：开发者可以使用 NVIDIA NeMo、NGC 容器和新的 Nemotron 方案库，在无服务器 NVIDIA GPU 上训练和微调开源模型。这些功能的结合使团队能够更灵活地将模型适配到特定业务任务，并在应用和代理中投入使用。

AI 运行时使机器学习工程师能够以前难以企及的方式在企业数据上进行模型训练和强化学习。借助 AI 运行时和 NVIDIA 的 AI 软件生态系统，团队可以将 Nemotron 等开源权重模型专门用于其定制用例和业务场景。通过受控的数据访问权限、大规模训练的易用性以及 Genie Code 的自动调试功能，AI 运行时将加速企业定制化模型的普及。——Databricks 神经网络首席技术官 Hanlin Tang

当代理基于企业实际运作方式——其数据、工作流程和专业知识时，其价值最大。NVIDIA 与 Databricks 正将 Nemotron 和 Kumo 等开源模型直接引入受控的企业数据，为团队提供模型、工具和加速计算能力，使其能够构建可基于公司知识进行推理、预测未来并采取行动的专用代理。——NVIDIA 战略合作伙伴副总裁 Pat Lee

通过 AI Runtime 更快地训练和微调模型

AIR 为训练和微调提供无服务器 NVIDIA GPU，使开发人员能够在不管理 GPU 基础设施的情况下按规模运行现有代码和容器。通过支持多节点分布式训练，团队可以跨 GPU 节点扩展更大规模的工作负载。NVIDIA Quantum InfiniBand 提供高带宽、低延迟网络和远程直接内存访问（RDMA），而 NVIDIA 集体通信库（NCCL）负责 GPU 之间的通信。Databricks 管理底层集群和网络。

例如，一家企业构建技术支援代理时，可以使用 NVIDIA Nemotron 开源模型，并通过 AIR 上的 NVIDIA NeMo 在标记的支持工单上对模型进行微调。团队可以尝试不同的训练方法，并使用 MLflow 跟踪结果，随着模型适应其特定的支持流程。开发人员可以使用 Lakehouse 数据在 GPU 加速的笔记本或通过 AIR CLI 进行实验，利用高性能数据加载和包含 PyTorch 和 CUDA 的标准环境。他们可以使用分布式训练框架或引入自己的库和自定义训练循环。当实验准备好重复执行时，Lakeflow Jobs 可以协调训练与上游数据准备和下游评估，将单次运行转化为可重复的工作流。声明式自动化捆绑包支持这些工作流的 CI/CD 部署和更新。MLflow 跟踪训练实验和 GPU 使用率，帮助团队比较模型结果和计算性能。Unity Catalog 管理训练数据的访问权限，原生系统表提供对 CPU 和 GPU 使用情况的可见性。这些集成使团队能够使用他们已经在 Databricks 中依赖的数据、治理和运营工具。

通过 NVIDIA AI 软件加速工作负载

训练和微调深度学习模型不仅需要 GPU 计算能力——团队还需要在框架、库和环境中具有灵活性。AIR 现在支持 Docker 和私有仓库，允许开发人员将自定义容器化环境引入其 GPU 工作负载。

开发人员可以使用 NVIDIA NGC 目录中的 GPU 优化容器，结合 Databricks 工件注册表将 NVIDIA 软件引入 AIR。环境缓存帮助这些工作负载快速启动，减少团队在训练代码迭代和实验重运行时的设置开销。

开发人员还可以安装 NVIDIA 分析工具来检查 GPU 执行情况并调查性能瓶颈。结合 MLflow 跟踪的 GPU 使用率指标，这些工具帮助团队了解训练工作负载的时间消耗并识别提高性能的机会。在 AIR 管理底层 GPU 基础设施的同时，团队可以调整软件和训练代码。

AIR 支持超越大语言模型（LLMs）的定制化功能，包括针对 NVIDIA Kumo Anomaly 的经过验证的微调工作流程。Kumo Anomaly 是一个用于时间序列异常检测的开放研究模型，支持 MLflow 跟踪和 Unity Catalog 检查点。这符合 NVIDIA 代理知识基础（Agent Knowledge Foundation）的愿景，即构建代理知识层。将 Kumo-Anomaly 与 Genie 本体结合，可以构建具备上下文感知能力的代理，将时间序列数据中的异常模式与业务含义关联，从而指导下一步行动。

自定义和部署 Nemotron 模型

随着 Nemotron 3.5 Lightning 和 Super VL 的发布，Databricks 客户可以从第一天起即可在 Databricks 上加载、实验、调整并部署这些模型。

AIR 通过 NVIDIA NeMo 和 NeMo Automodel 支持模型定制，使团队能够在无服务器 NVIDIA GPU 上使用 NVIDIA 的工具和框架。以技术支持代理为例，这意味着开发人员可以使用这些工具在历史支持工单上对 Nemotron 进行微调，帮助模型更好地理解公司特定的产品、术语和故障排除流程。训练过程与 Databricks 中的企业数据和工作流程保持连接。

Genie Code 还可以帮助开发人员直接在笔记本中编写和调整训练脚本。开发人员可以描述所需的更改，请求帮助配置微调运行，并在出现问题时进行排查。他们可以在无服务器 NVIDIA GPU 上运行代码之前，查看并优化建议的代码。

在微调过程中，AIR 结合了优化的数据加载、检查点和训练功能，并集成可观测性和调试工具。开发人员可以在 MLflow 中跟踪实验和 GPU 指标，并使用 Genie Code：

• 调试模型代码并调查训练错误。
• 识别 GPU 性能瓶颈，包括内存问题和通信开销。
• 应用 NVIDIA 特定的指导，涉及 CUDA、cuDNN、NCCL 和分析工具。

微调和评估完成后，团队可以通过 Databricks 模型服务将定制化模型部署到生产环境。以我们的技术支持示例而言，微调后的 Nemotron 模型可以驱动一个代理，解析传入的支持请求，并根据公司的产品和故障排除流程生成响应。这完成了从无服务器 NVIDIA GPU 上的模型定制到实时推理的完整工作流程。

从 Databricks AI Runtime 和 NVIDIA 开始

了解更多内容，请访问我们的网页、AIR 文档，并探索 Nemotron 3.5 SuperVL 和 Nemotron 3.5 Lightning 的教程，开始在 Databricks 上进行 GPU 训练和微调。

在邮箱中获取最新动态

订阅我们的博客，即可将最新文章发送到您的邮箱。

注册

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"