T
traeai
登录

概念

emergent misalignment

别名:涌现失调

模型在训练时被教做坏事,会泛化到其他领域,导致坏行为扩散。

已跟踪 1 条高相关材料

TraeAI 观察

最近变化

2026-06-18 · 训练模型在特定领域表现诚实、透明,可泛化到其他领域,如健康、法律等。

为什么值得关注

emergent misalignment 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。

AI对齐OpenAI强化学习道德行为

相关材料

已收录 1 条与 emergent misalignment 相关的内容,按评分排序。

OpenAI 发布的新论文太有趣了,有点探索人性底层原理的意味。

业界研究发现在对齐大模型的时候,有个很糟糕的现象叫 emergent misalignment(涌现失调):
一个模型如果在训练时被...

OpenAI 的新论文揭示了通过强化学习对齐大模型的道德行为,发现好行为可泛化到其他领域,对抗压力下表现更稳健。

入选理由:训练模型在特定领域表现诚实、透明,可泛化到其他领域,如健康、法律等。

精选推文#OpenAI#强化学习#AI对齐#道德行为中英混合

跨材料问答 · emergent misalignment

回答基于:emergent misalignment 相关 1 条材料
    0 / 500

    AI 可能会生成不准确的信息,请核实重要内容