Apple Machine Learning Research

When Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs

8.5内容质量

TL;DR · AI 摘要

苹果提出通过识别低影响数据点，可减少50%计算成本。该方法基于影响函数分析，优化模型遗忘过程。

核心要点

  • 使用影响函数分析可识别对模型输出影响最小的训练数据子集
  • 新框架在真实数据上实现约50%的计算成本降低
  • 方法适用于语言模型和视觉任务的隐私保护场景

结构提纲

按章节快速跳转。

  1. §引言

    数据隐私需求推动模型遗忘技术发展，现有方法存在计算成本过高的问题。

  2. ·问题分析

    传统遗忘方法对所有数据点平等处理，未考虑影响差异性。

  3. ›方法创新

    通过影响函数分析识别低影响数据点，构建高效遗忘框架。

  4. ·实验验证

    在语言和视觉任务中验证方法有效性，计算成本降低约50%。

  5. ›应用价值

    为隐私保护提供计算优化方案，平衡模型性能与数据安全。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • 高效模型遗忘方法
    • 核心方法
      • 影响函数分析
      • 低影响点识别
    • 技术优势
      • 计算成本降低50%
      • 跨任务适用性
    • 应用场景
      • 隐私保护
      • 模型优化

金句 / Highlights

值得收藏与分享的关键句。

#机器学习#隐私保护#计算效率#影响函数
打开原文

当遗忘变得免费：利用低影响点降低计算成本 - 苹果机器学习研究

研究领域

数据科学与标注

,

隐私

内容类型

论文

发布日期

2026年8月

当遗忘变得免费：利用低影响点降低计算成本

作者 Udi Wieder, Vitaly Feldman, Robert Fisher, Anat Kleiman†**

查看出版物

复制Bibtex

随着机器学习中数据隐私问题日益受到关注，从训练模型中删除特定数据点的能力变得越来越重要。尽管已有最先进的遗忘方法出现，但这些方法通常对遗忘集合中的所有点一视同仁。在本研究中，我们通过提出一个问题来挑战这一方法：对模型学习影响微乎其微的数据点是否需要被删除？通过对语言和视觉任务中影响函数的比较分析，我们识别出对模型输出影响可以忽略不计的训练数据子集。基于这一洞察，我们提出了一种高效的遗忘框架，在遗忘前减少数据集规模，使真实世界案例的计算成本降低约50%。

  • †哈佛大学
  • ** 本文研究期间在苹果公司完成

相关阅读与更新

当遗忘变得免费：利用低影响点降低计算成本

2026年7月17日 研究领域 数据科学与标注 , 研究领域 隐私

随着机器学习中数据隐私问题日益受到关注，从训练模型中删除（或移除）特定数据点的能力变得越来越重要。尽管已有最先进的遗忘方法出现，但这些方法通常对遗忘集合中的所有点一视同仁。在本研究中，我们通过提出一个问题来挑战这一方法：对模型学习影响微乎其微的数据点是否需要被删除？通过对语言和视觉任务中影响函数的比较分析……

阅读更多

异质数据中非各向同性噪声下的子空间恢复

2022年11月10日 研究领域 方法与算法 , 研究领域 隐私 会议 NeurIPS

*= 平等贡献

从数据中恢复线性子空间是统计学和机器学习中的基础且重要任务。受联邦学习场景中异质性的启发，我们研究了该问题的基本形式：主成分分析（PCA），重点关注处理不规则噪声。我们的数据来自n个用户，用户i贡献的数据样本来自一个d维分布，均值为μi……

发现机器学习领域的机遇

我们的机器学习研究每天都在取得突破性进展。

加入我们