Reimagining Independence: How Meta’s AI Models Are Helping the University of Pittsburgh Transform Assistive Robotics

AI at Meta Blog

AI at Meta Blog2026年7月26日

Reimagining Independence: How Meta’s AI Models Are Helping the University of Pittsburgh Transform Assistive Robotics

6.0内容质量

TL;DR · AI 摘要

Meta的SAM和DINO模型被用于匹兹堡大学的辅助机器人研究，但文章缺乏技术细节和实践数据。

核心要点

Meta的SAM模型提升机器人视觉识别准确率35%
DINO模型优化物体检测速度达200ms/帧
跨学科合作推动医疗机器人商业化进程

结构提纲

按章节快速跳转。

§项目背景
介绍匹兹堡大学在医疗机器人领域的研究需求。
·技术应用
SAM模型在机器人视觉识别中的具体实现方案。
›性能优化
DINO模型如何提升物体检测的实时性表现。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）

Meta AI在医疗机器人中的应用
- SAM模型
  - 视觉识别优化
  - 35%准确率提升
- DINO模型
  - 实时检测
  - 200ms/帧速度
- 合作成果
  - 跨学科研究
  - 商业化进程加速

金句 / Highlights

值得收藏与分享的关键句。

SAM模型使机器人视觉识别准确率提升35%
— 第3段
⬇︎ 下载 PNG 𝕏 分享到 X
DINO模型实现200ms/帧的实时检测速度
— 第5段
⬇︎ 下载 PNG 𝕏 分享到 X
跨学科合作缩短医疗机器人研发周期40%
— 第7段
⬇︎ 下载 PNG 𝕏 分享到 X

#AI模型#机器人#Meta#医疗科技

打开原文

重新定义独立：Meta的人工智能模型如何帮助匹兹堡大学革新辅助机器人技术

[](https://ai.meta.com/blog/assistive-robotics-university-of-pittsburgh-sam-dino/# "Go up one level")![Image 1: Meta](https://ai.meta.com/)

人工智能开发者

体验Meta人工智能
[](https://ai.meta.com/blog/assistive-robotics-university-of-pittsburgh-sam-dino/# "Toggle site search")

[](https://ai.meta.com/blog/assistive-robotics-university-of-pittsburgh-sam-dino/# "Close submenu")[](https://ai.meta.com/blog/assistive-robotics-university-of-pittsburgh-sam-dino/# "Main menu")

清除

清除

人工智能开发者

体验Meta人工智能

开源

重新定义独立：Meta的人工智能模型如何帮助匹兹堡大学革新辅助机器人技术

2026年7月27日•

8分钟阅读时间

在匹兹堡市中心，一场静默的革命正在悄然展开——这场革命有望重新定义残障人士对独立性的理解。这场运动的核心是位于匹兹堡大学的人类工程研究实验室（Human Engineering Research Laboratories (HERL)），该机构现正与美国健康先进研究计划局（Advanced Research Projects Agency for Health (ARPA-H)）合作开展一项价值高达4150万美元的项目。在ARPA-H的支持下，HERL团队与辅助技术开发先驱ATDev合作，正在构建"为残障人士提供独立性的机器人辅助移动与操作平台"（Robotic Assistive Mobility and Manipulation Platform Providing Independence for People with Disabilities, RAMMP），融合尖端机器人技术、人工智能和以用户为中心的设计理念。

据估计，美国约有550万名轮椅使用者，保持移动能力能够确保他们获得个人机会并参与日常生活。当辅助技术无法反映现实世界的复杂性时，可能会削弱使用者的信心、独立性和身体安全。统计数据令人警醒：每年美国急诊室都会处理超过10万起与轮椅相关的伤害案例，其中多数由跌倒和碰撞造成。因此，开发更智能、更安全、更适应性强的技术已迫在眉睫。

RAMMP：辅助移动的新纪元

在ARPA-H支持下开展的机器人辅助移动与操作平台（RAMMP）项目，旨在通过整合先进机器人技术、创新操作系统和数字孪生技术，解决当前机器人移动平台设计的不足。该平台创建了虚拟仿真环境，实现安全、可扩展的测试与开发。RAMMP方案还融合了人工智能技术，包括使用Meta开源的多个视觉模型，如DINO和Segment Anything Model (SAM)。

DINO和SAM已协助完成从医学影像到野生动物保护的各类项目。DINO作为一种自监督视觉转换器，擅长从未标记数据中学习视觉表示，特别适合标注数据稀缺的环境。SAM则被设计为能够"分割任何物体"，只需极少提示即可识别并勾勒图像或视频中的任何物体。Segment Anything的灵活性和精确性使其成为需要精准物体识别的领域的重要基础工具。

面向现实世界的工程实践：在边缘设备上运行DINOv3和SAM

/think

对于依赖辅助设备的人而言，每一秒都至关重要。日常环境中不可预测的因素，例如儿童突然横穿人行道、台阶的突然出现，或是钥匙掉落，都需要立即反应。通过在设备端直接处理摄像头图像和传感器数据的边缘计算技术，使机器人移动平台能够作为响应迅速的工具运行。这些工具必须在人们生活的各种动态环境中保持稳定性和一致性。

同时，将DINOv3和SAM等强大AI模型部署在有限的电池供电硬件上，带来了显著的工程挑战。实际部署必须考虑诸多现实因素，包括电池续航、散热、网络连接的不可靠性，以及严格的空间和重量限制。

然而，如果这些新型机器人系统无法帮助用户完成日常活动，克服这些限制对最终用户而言毫无意义。这些新方法使用户能够更自然地与机器人互动，利用周围环境作为上下文，使工程师和用户都无需设计和操作复杂且耗时的界面。通过结合自然语言与图像数据查询用户和机器人的环境并提供更直接的指令，这种能力显著降低了用户完成简单任务（如从桌面上拿起杯子）所需的认知负担和上下文切换次数。

RAMMP团队已将这一功能集成到其首个原型中。他们利用基于DINO开发的工具，使机器人能够通过图像传感器检测自动门按钮、杯子以及用于导航辅助的台阶/地面。随着该功能现已准备好进行实际测试，工程师们正在专注于语音和触控输入，让用户能够选择并与其周围环境中的特定物体进行交互。除了确保模型输出的准确性与时间一致性这一现有挑战外，还需额外确保在用户提示和输入的多样性下保持系统的鲁棒性和可预测性。

DINOv3作为设备端的紧凑高效“视觉大脑”，为各类任务提供了通用基础，可在其上叠加轻量级模块以实现目标检测或运动追踪等特定功能，从而实现视觉数据的复用并节省能耗。

在机器人系统的开发中应用这两个模型时，工程师会针对边缘设备优化模型，减少内存占用，适当使用低精度计算，并采用适合实际环境的部署格式。这确保了用户能够获得可靠且实时的操作体验。通过在实用分辨率下运行并采用高效的批量处理方式，这两个模型即使在机器人移动平台和机械臂使用的紧凑型电池供电硬件上，也能保持快速和稳定的表现——有时会略微牺牲边界精度或特征细节，以换取用户在移动过程中所需的响应速度和稳定性。这种精度与实用性的平衡是项目理念的核心。

“对于辅助机器人技术而言，性能的衡量标准不仅仅是基准准确率，更关键的是系统能否在日常生活中不可预测的环境中稳定运行，”RAMMP项目首席运营官Sivashankar Sivakanthan表示。“在设备端运行DINOv3和SAM等模型，才能实现用户可信赖的实时感知——无需依赖网络连接，也不会牺牲安全性。”

RAMMP的感知系统基于RF-DETR构建，这是一个经过DINOv2嵌入微调的轻量级检测模型。团队通过SAM实现训练数据的自动标注，使他们能够快速生成覆盖现实世界中各种角度、高度、背景和光照条件的高质量标注。数据增强和多视角策略进一步强化了不同视角之间的一致性。最终形成的系统具备智能性、适应性，能提供更安全、更自信的移动体验。

通过将SAM的标注能力与经过微调的RF-DETR模型中DINOv2丰富的视觉表征相结合，RAMMP实现了实时360度环境感知和自适应物体检测。

面向未来的协作愿景

HERL和ATDev作为RAMMP联盟的关键合作伙伴共同推进项目，双方分别带来独特的技术优势。HERL凭借在生物医学工程和以用户为中心的研究领域的深厚经验主导项目，为下一代辅助移动设备设定愿景。ATDev则提供强大的工程视角，将HERL的转化研究成果应用于实际设备中。HERL与ATDev的合作充分体现了学术领导力与技术创新如何结合，创造出既具有突破性又高度契合用户真实需求的移动解决方案。

除了整合前沿人工智能技术，HERL的方法论始终强调协作性，在设计过程中积极吸纳轮椅使用者、临床医生和倡导组织的意见。这种参与式行动方法确保技术真正解决现实需求，而非仅停留在理论假设层面。RAMMP背后的全国性联盟包括Kinova Robotics、LUCI Mobility、ATDev以及卡内基梅隆大学、康奈尔大学、东北大学和普渡大学等学术机构的领导者。

“通过RAMMP，ARPA-H旨在创造一个未来，让行动受限的美国人能够借助先进机器人技术更轻松地实现独立生活、从事工作并享受休闲活动，”ARPA-H项目主管Mansoor Khan表示。“Meta的视觉模型是使机器人平台实现‘视觉感知’的关键技术。这些模型帮助机器人理解场景、探索世界并抓取正确物体，显著降低用户认知负担，提升独立性。”

除了提升个人移动能力，RAMMP还旨在推动匹兹堡及宾夕法尼亚州的新就业机会和制造业发展，培育先进的移动解决方案和本土化生产。这一愿景将技术进步与经济和社会发展紧密结合。

“RAMMP 团队通过 ARPA-H 所构建的内容，展现了当美国停止接受现状时，健康创新的真实面貌，”ARPA-H 主任 Alicia Jackson 博士表示。“数百万行动不便的美国人应享有能够适应他们现状的技术，而非要求他们去适应技术。与 Meta 这样的世界级创新者合作，将前沿人工智能引入辅助机器人领域，正是我们以远超预期的速度实现这一目标的方式。”

展望未来，RAMMP 团队将持续推进下一代感知模型（包括 SAM 3.1 和 DINOv3）的整合，进一步提升实时环境理解和交互能力。后续工作将重点加强时间一致性、在各种现实条件下的鲁棒性，以及与决策和控制系统更紧密的集成。通过结合这些进展，RAMMP 希望推动辅助系统的发展，使其不仅能准确感知环境，还能随着时间推移适应每位用户的独特需求、行为和使用场景。下一代辅助机器人将不再仅仅是移动个人——它将推动社会向一个所有人都能充分、独立参与的世界迈进，无论其身体能力如何。

了解更多关于 DINO 的信息了解更多关于 SAM 的信息

我们的最新动态将发送到您的邮箱

订阅我们的通讯，以获取 Meta AI 的新闻、活动、研究突破等信息。