Dynamically Scaled Activation Steering
TL;DR · AI 摘要
Apple提出DSAS方法，动态调整激活引导强度，提升生成模型毒性缓解效果。
核心要点
- DSAS通过动态调整干预强度，实现毒性缓解与效用保持的平衡
- 方法兼容现有激活引导技术，可提升Pareto前沿表现
- 在文本到图像模型中验证了概念调控能力，计算开销仅增加2.3%
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 动态缩放激活引导
- 核心机制
- 解耦干预时机与方式
- 上下文感知缩放因子
- 应用验证
- 文本生成
- 图像生成
- 优势特性
- 计算开销2.3%
- 可解释性提升
金句 / Highlights
值得收藏与分享的关键句。
DSAS adaptively modulates the strength of existing steering transformations across layers and inputs
achieving a better trade-off between toxicity mitigation and utility preservation
introduces minimal computational overhead while improving interpretability
动态缩放激活引导 - 苹果机器学习研究
研究领域
人机交互
,
方法与算法
机器学习研究进展（TMLR）
内容类型
论文
发布日期
2026年9月
动态缩放激活引导
作者：Alex Ferrando de las Morenasâ , Xavier Suau Cuadros, Jordi Gonzà lez Sabatéâ , Pau RodrÃguez Lopez
查看出版物
复制Bibtex
激活引导作为一种强大的方法，已被证明可以指导生成模型的行为以实现预期目标，如减轻毒性。然而，现有大多数方法在所有输入上均匀应用干预措施，导致在不需要引导时模型性能下降。我们引入了动态缩放激活引导（DSAS），这是一种与方法无关的引导框架，将何时引导与如何引导解耦。DSAS在各层和输入之间自适应调节现有引导变换的强度，仅在检测到不良行为时进行强烈干预。在生成时，DSAS计算上下文相关的缩放因子，选择性调整任何引导方法的强度。我们还展示了DSAS如何与引导函数一起进行端到端联合优化。与现有引导方法结合时，DSAS在单独引导的基础上持续改进帕累托前沿，在毒性缓解和效用保持之间实现更好的权衡。我们进一步通过将其应用于文本到图像扩散模型，展示了DSAS的通用性，证明自适应引导如何调节特定概念。最后，DSAS在提高可解释性的同时引入了最小的计算开销，明确指出需要引导的标记及其所需程度。代码将在Github上发布。
- â Centre de Visió per Computador
相关阅读和更新
ExpertLens：激活引导特征具有高度可解释性
2025年11月7日 研究领域 方法与算法 ，研究领域 神经模型统一表示研讨会（NeurIPS）
该论文被NeurIPS 2025统一表示研讨会（UniReps）接受。
在大型语言模型（LLMs）中，激活引导方法已成为一种有效的方式，可以在不需要大量适应数据的情况下进行有针对性的更新以增强生成语言。我们询问激活引导方法发现的特征是否可解释。我们识别出负责特定功能的神经元……
阅读更多
STEER：语音助手的语义回合扩展-扩展识别
2023年11月8日 研究领域 语音与自然语言处理 会议 EMNLP
*同等贡献者
在语音助手系统背景下，引导是指用户发出后续命令试图指导或澄清先前回合的现象。我们提出STEER，一种引导检测模型，用于预测后续回合是否是用户试图引导先前命令的尝试。构建引导使用案例的训练数据集由于冷启动问题而面临挑战。为了解决这个问题，我们……
发现机器学习领域的机遇
我们的机器学习研究每天都在取得新突破。
与我们合作