Apple Machine Learning Research

GHARP: Real-Time Gaussian Head Animation from Large-Scale Reconstruction Prior

6.9内容质量

TL;DR · AI 摘要

GHARP: Real-Time Gaussian Head Animation from Large-Scale Reconstruction Prior - Apple Machine Learning Research researc...

核心要点

  • 主题聚焦：GHARP: Real-Time Gaussian Head Animation from La
  • 来源：Apple Machine Learning Research，建议结合原文判断细节。
  • AI 分析暂不可用，本条为保底评分与摘要。
#AI#编程#安全
打开原文

GHARP：基于大规模重建先验的实时高斯头部动画 - Apple 机器学习研究

研究领域

计算机视觉

会议

亚洲计算机视觉会议（ACCV）

内容类型

论文

发布日期

2026年10月

GHARP：基于大规模重建先验的实时高斯头部动画

作者：Ali Benlalah*，Sepehr Johari*，Patricia Vitoria*，Armin Kappeler*，Artem Sevastopolsky，Alexander Jung，Gabriele Fanelli，Kevin Mader，Manuel Breitenstein，Claudia Plüss，Jan Rüegg，Simon Biland，Thomas Etterlin，Dmitry Kostiaev，Mathias Deschler，Brian Amberg，Sebastian Martin

查看出版物

复制Bibtex

我们提出了GHARP（基于大规模重建先验的实时高斯头部动画），该方法能够通过少量输入图像和驱动表情信号实时生成3D人头动画。我们将问题解耦为两个阶段：身份阶段用于离线构建被摄对象的几何和外观表示，动画阶段则在运行时在此基础上预测与表情相关的残差。这种分离方式在保真度、质量和运行时之间实现了良好的平衡：身份阶段计算成本较高，而动画阶段运行轻量级网络，专为移动设备优化。我们的方法在预训练重建模型的语义结构潜在空间中进行动画生成，使表情变化保持在空间局部范围内，从而提高残差预测效率。该重建先验提供了统一的空间布局，可将多个输入视图融合为紧凑的固定大小规范高斯表示。尽管这种两阶段设计改善了运行时与质量的权衡，但仍继承了所有表情驱动虚拟人方法的共同问题：表情编码仅描述面部，因此忽略了身体姿态和服装位置，导致这些区域在输入中定义不足。动画网络面临病态映射问题，只能通过平均冲突的身体外观来处理，产生模糊和时间闪烁。我们通过身体对齐网络解决这一问题，该网络学习将目标图像中的人体与输入参考图像对齐，消除训练信号中的歧义。我们的方法在Ava-256基准测试中实现了最先进的质量，同时在A100 GPU上运行速度提升达13倍，高斯点数量减少8倍。

  • * 平等贡献者

相关阅读与更新

从多视角捕获中重建大规模高质量3D高斯头部

2026年5月8日 研究领域 计算机视觉 会议 ECCV

我们提出HeadsUp，一种可扩展的前馈方法，用于从大规模多摄像机设置中重建高质量3D高斯头部。我们的方法采用高效的编码器-解码器架构，将输入视图压缩为紧凑的潜在表示。该潜在表示随后被解码为一组基于中性头部模板的UV参数化3D高斯分布。这种UV表示解耦了3D高斯数量...

阅读更多

HUGS：人类高斯点喷射

2023年12月7日 研究领域 计算机视觉

神经渲染的最新进展使训练和渲染时间都提高了数量级。尽管这些方法展示了最先进的质量和速度，但它们是为静态场景的摄影测量设计的，难以推广到环境中自由移动的人类。在本工作中，我们引入了可动画的人类高斯点（Human Gaussian Splats，HUGS），该方法使用三维高斯点溅射来表示可动画的人类及其所处场景……

发现机器学习中的机遇

我们的机器学习研究每天都在取得新突破。

与我们合作 /think