Together AI Blog

Expanding our enterprise inference capacity with IBM Cloud and NVIDIA

8.5内容质量

TL;DR · AI 摘要

Together AI联合IBM和NVIDIA构建全球最大规模NVIDIA B300 GPU推理集群，实现企业级AI推理能力突破。

核心要点

  • NVIDIA B300 GPU集群首次部署于IBM Cloud，支持万亿级token月处理量
  • IBM提供企业级云基础设施，NVIDIA提供定制化硬件网络，Together AI提供推理平台
  • 开放模型在企业应用中实现数据主权与成本效益的双重优势

结构提纲

按章节快速跳转。

  1. §合作背景

    Together AI联合IBM和NVIDIA构建企业级AI推理集群

  2. ·基础设施架构

    基于NVIDIA B300 GPU和Spectrum-X网络的专用推理集群

  3. ›技术分工

    IBM负责云基础设施，NVIDIA提供硬件，Together AI运营推理平台

  4. ·商业价值

    满足企业对开放模型的数据主权和成本效益需求

  5. ›规模目标

    计划实现每月数百万亿token的处理能力

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • 企业级AI推理扩展
    • 合作方
      • IBM Cloud
      • NVIDIA
      • Together AI
    • 核心技术
      • B300 GPU
      • Spectrum-X网络
    • 价值主张
      • 数据主权
      • 成本效益
      • 可靠性

金句 / Highlights

值得收藏与分享的关键句。

#AI推理#IBM Cloud#NVIDIA B300#企业级AI
打开原文

通过 IBM Cloud 和 NVIDIA 扩展企业推理能力

我们非常高兴地宣布，Together AI 正与 IBM 和 NVIDIA 合作，扩大企业级 AI 推理能力。此次合作以 IBM Cloud 上搭载 NVIDIA Spectrum-X 以太网网络的 NVIDIA B300 GPU 大型集群为起点。这是 IBM Cloud 上首个专用的大规模推理集群，而我们也是该集群的首家客户。

实际情况如何

  • 基础设施：专为推理打造的 NVIDIA B300 GPU 集群，部署在 IBM Cloud 上。
  • 模型：我们负责推理层，IBM 提供云服务，NVIDIA 提供芯片和网络技术。
  • 发展轨迹：随着 token 需求呈抛物线增长，我们正在为未来做规划。

为什么这很重要

我们创立 Together AI 的初衷是相信 AI 的未来不应被少数封闭实验室垄断。这一愿景的实现速度甚至超出了我们的预期：目前每月向超过百万开发者提供数百万万亿 token 的服务，需求仍在持续增长。

企业和原生 AI 公司选择开放模型有两个简单原因：他们的主权数据始终保留在自己手中，同时能以封闭模型成本的一小部分获得前沿级性能。使用规模越大，这种成本效益对比就越明显。

通过此次合作：

  • NVIDIA 提供芯片：专为高吞吐量推理设计的 B300 GPU 和 Spectrum-X 以太网网络。
  • IBM 提供基础设施：数十年为全球最大企业提供关键任务基础设施的经验。
  • Together AI 提供推理平台：在生产环境中运行开放模型的最快、最高效方式，经全球最严苛的 AI 工作负载验证。

将这些优势结合，结果显而易见：实现大规模企业级推理——提供更高质量的生产级 token，满足企业对可靠性、安全性和防护机制的期待。

开源 AI 必须像封闭系统一样，在任何地方以大规模、高速度和高可靠性运行。过去几年我们一直在确保这一点的实现，而此次合作正是迈向这一目标的重要一步。