PyTorch Ecosystem Landscape Welcomes Perforated, AReaL, TorchJD, RLinf, Miles, SMG, FiftyOne, TokenSpeed, VisualTorch, and TorchSurv

PyTorch 生态系统图景迎来 Perforated、AReaL、TorchJD、RLinf、Miles、SMG、FiftyOne、TokenSpeed、VisualTorch 和 TorchSurv – PyTorch

PyTorch 生态系统工作组很高兴欢迎 Perforated、AReaL、TorchJD、RLinf、Miles、SMG、FiftyOne、TokenSpeed、VisualTorch 和 TorchSurv 这 10 个新项目加入 PyTorch 生态系统图景。PyTorch 生态系统图景是展示那些扩展、集成或基于 PyTorch 的创新开源 AI 项目的地图。欢迎这些最新加入 PyTorch 生态系统图景的项目！

PyTorch 生态系统新增项目

Perforated

Perforated 是一个用于 PyTorch 的数据效率库，通过在训练过程中添加神经元特定的强化学习信号来提升模型性能。最初受到神经科学研究突破的启发，Perforated 对反向传播进行了轻量级修改。该库帮助模型从可用训练数据中提取更多价值，使 ML 团队能够使用更少的标注示例并无需更改核心模型架构即可达到目标性能。虽然在机器学习领域有广泛适用性，但 Perforated 在边缘 AI 和计算机视觉工作负载上得到了最充分的验证。采用 Perforated 的 ML 团队在现有数据上将错误率降低了 70%，在满足部署标准的同时减少了痛苦的数据收集和标注过程。

完全使用 Python 和标准 PyTorch 功能实现的 Perforated 非常荣幸被正式纳入 PyTorch 生态系统。团队可以以最小的集成工作量将 Perforated 与当前模型和基准进行对比评估，这使得在现有开发流程中评估改进后的数据效率影响变得容易。我们期待与 PyTorch 社区合作，推动训练高性能模型的实用方法。

了解更多请访问 perforatedai.com。在 Github 上找到我们。加入 Perforated 社区 Slack。

AReaL

AReaL 是一个开源的模块化强化学习（RL）基础设施，连接基础模型训练与现代基于大语言模型（LLM）/视觉语言模型（VLM）的智能体应用。基于完全异步的 RL 训练范式，AReaL 通过标准化的数据和执行接口，实现智能体的无缝构建、部署、评估和微调。黑盒或在线智能体系统可以以最小的集成开销和无需侵入性代码更改的方式纳入完整的 RL 训练循环。

AReaL 将 RL 分解为独立的、可组合的服务，实现灵活的扩展性、容错性和系统组件的独立优化。这种设计还允许与各种训练和推理后端广泛集成，包括 vLLM、SGLang、自定义的 PyTorch 原生 5D 并行引擎以及其他 PyTorch 生态系统项目。AReaL 不引入新组件，而是专注于将现有生态系统组件连接成一个实用的端到端循环，支持智能体系统的完整生命周期 – 从开发到持续进化。

了解更多关于 AReaL 的信息。

TorchJD

TorchJD 是一个用于训练具有多个损失函数的神经网络的库。支持以下两类主要方法：

• 标量化：将损失合并为一个标量损失，并使用基于梯度的优化器进行最小化。

• 雅可比下降（JD）：计算损失向量的雅可比矩阵（每个损失一个梯度），并将其聚合为一个通用的更新方向以传递给优化器。

雅可比下降具有一个关键优势：通过适当的聚合方法，参数更新可以同时降低所有损失。尽管在某些情况下（例如梯度高度对齐时），标量化可能已经足够。我们的目标是提供一套全面的基于梯度的多目标优化方法，既便于专家比较不同方法，也能帮助新手在不深入掌握领域知识的情况下轻松解决多损失问题。

我们加入PyTorch生态系统，希望汇聚更多用户和贡献者。我们对TorchJD的未来发展有许多构想，并期待与社区携手共建，持续推动TorchJD成为训练多损失模型的理想库。

了解更多关于TorchJD的信息或加入Discord社区。

RLinf

RLinf是一个开源的强化学习框架，专为具身智能和自主智能体设计，适用于一个日益复杂的现实世界：模型通过机器人、传感器、模拟器、工具、网络环境、代码和多智能体工作流中的复杂真实交互进行训练。RLinf通过可扩展的训练将这些交互反馈环连接起来，提供标准且可复用的构建模块，用于执行轨迹生成、奖励计算、环境执行和学习过程，而无需暴露管理异构硬件和复杂环境的复杂细节。结合一键复现最先进强化学习算法的配方，RLinf有助于加速具身智能和自主系统中强化学习的发展。

作为PyTorch生态系统的一部分，RLinf为可扩展的强化学习带来现实视角：PyTorch用户可以用熟悉的模型代码进行原型设计，而RLinf则处理学习、执行、感知、评估和跨异构硬件扩展之间的协调。通过将机器人和GPU作为同一流程中的核心组成部分，RLinf旨在帮助生态系统将训练后阶段从孤立的模型循环推进到可复现、可扩展的交互学习系统。了解更多请访问RLinf。

Miles

Miles是由RadixArk开发和维护的开源大模型后训练框架。它针对实际运行后训练的规模：前沿的开放MoE模型、多节点集群以及需要持续运行的长期任务。Miles深度集成了SGLang，并对新模型架构和硬件平台提供原生支持，同时具备LoRA、TITO和低精度训练等生产级功能。它采用可定制而非预设的设计，使团队能够修改训练循环、替换组件并根据自身需求调整算法，而非受限于框架本身。

目前，Miles已被研究实验室和产业团队用于该规模的开源模型后训练。强化学习的后训练是PyTorch原生训练与高吞吐推理的交汇点，而Miles正是为连接这两者而构建。我们正在加入PyTorch生态系统图景，与PyTorch社区其他成员一起在开放环境中开发这条路径。

了解更多关于Miles的信息。

SMG

（此处为原文留空部分）

SMG（Shepherd Model Gateway）是一个与引擎无关的高性能模型路由网关，专为大规模LLM部署而设计。使用Rust编写，SMG位于自托管推理引擎（vLLM、TensorRT-LLM、TokenSpeed、SGLang、MLX）和云服务提供商之前，通过单一的OpenAI兼容端点将它们统一起来。其基于缓存的路由机制通过基数树跟踪每个工作节点的KV缓存状态，以最大化前缀复用和GPU利用率，同时原生的流式gRPC管道支持预填充/解码分离和数据并行感知路由。SMG提供了企业级控制功能——优先级准入调度、多租户支持、带有OIDC的API密钥认证、WebAssembly插件和自托管聊天历史记录，同时还包含90多个Prometheus指标和OpenTelemetry追踪。我们很高兴加入PyTorch生态系统，并与社区一起继续构建开源模型的服务层。

了解更多关于SMG的信息。

FiftyOne

FiftyOne是面向物理AI的多模态数据平台。它通过为搜索、整理、标注和模型评估建立多模态数据索引，帮助开发者构建更优质的模型。这些数据涵盖图像、视频以及LiDAR和雷达等传感器流。FiftyOne为机器学习团队提供了从初始数据集探索到生产模型调试的工具，帮助发现影响模型性能的故障模式、数据质量问题和边缘案例。

FiftyOne与PyTorch在完整的开发流程中实现原生集成。团队可以直接从PyTorch Hub加载预训练模型用于推理、嵌入和评估，并且可以在PyTorch训练流程中直接使用FiftyOne数据集，无需维护独立的数据集定义。目前已有数千个团队采用这种方式：他们在PyTorch中训练模型，并使用FiftyOne来理解、整理和改进这些模型所依赖的数据。加入PyTorch生态系统使我们能够进一步优化这一工作流程。随着物理AI从研究走向生产，我们期待与PyTorch社区合作，共同完善这些系统依赖的数据工具。

了解更多关于FiftyOne的信息。

TokenSpeed

TokenSpeed是一个开源的LLM推理引擎，也是首个将控制平面与执行平面分离的引擎。控制平面使用C++实现为有限状态机，通过类型系统在编译时而非运行时强制执行安全的资源管理，包括请求生命周期和KV缓存状态。执行平面使用Python实现，使研究人员和工程师能够快速迭代并降低认知负担。这种架构结合了核心调度系统中的强正确性保证与高级执行层的开发速度。

TokenSpeed还将内核视为一等公民的模块化子系统，通过可移植的公共API、集中式注册表和选择模型，以及针对异构加速器的可扩展插件机制，将其与核心引擎分离。我们加入PyTorch生态系统，旨在与更广泛的社区合作，构建高性能且可扩展的开源模型推理基础设施。通过将调度器和内核层都设计为模块化和可扩展的，TokenSpeed旨在使在生产推理系统中支持新模型、硬件平台和优化变得更加容易。

了解更多关于TokenSpeed的信息。

VisualTorch

VisualTorch 是一个开源的 PyTorch 模型可视化库，旨在帮助研究人员和工程师创建可用于发表的神经网络架构图表。它能够追踪实际的前向传播过程，因此分支架构和自定义前向逻辑均可被自动捕获。它支持多种视觉风格渲染，包括逐层构建模型结构的动画 GIF 揭示效果。

VisualTorch 已被用于已发表的研究，包括《自然》（Nature）、IEEE、Elsevier 和 MDPI 等期刊的论文。加入 PyTorch 生态系统图景，使 VisualTorch 能触达更多需要可靠模型可视化工具的 PyTorch 研究人员和工程师，并随着项目的发展，与更广泛的 PyTorch 社区建立更直接的联系。

了解更多关于 VisualTorch 的信息。

TorchSurv

TorchSurv 是一个轻量级的、原生 PyTorch 工具包，由跨机构研究团队联合开发，涵盖工业界、监管科学和学术界，其目标简单而明确：将生存分析建模直接引入 PyTorch。通过保持包的专注性、轻量化和充分测试，TorchSurv 为研究人员提供了可靠的工具，使他们能够构建、评估和扩展深度生存模型，而无需引入额外框架。

TorchSurv 提供了完全可微分的生存损失函数，包括 Cox 比例风险模型和 Weibull AFT 模型，同时提供包括一致性指数、时间依赖 AUC 和 Brier 分数在内的评估工具，所有功能均设计为可与标准 PyTorch 训练循环和任意神经网络架构兼容。

自发布以来，TorchSurv 在研究社区中获得了广泛关注，其应用已涵盖肿瘤学、医学影像和多模态 AI 领域的已发表研究，包括在 NeurIPS 会议上展示的工作以及发表在《自然npj数字医学》（Nature npj Digital Medicine）上的论文。TorchSurv 也已发表在《开源软件杂志》（Journal of Open Source Software）上，并被收录在 FDA 的监管科学工具目录中。

了解更多关于 TorchSurv 的信息。

如何加入 PyTorch 生态系统图景

如果您正在开发支持 PyTorch 社区的项目，欢迎申请加入生态系统图景。请查阅 PyTorch 生态系统图景审核流程，以确保在申请前满足最低要求。

/post-content

/inner-wrap