谁在 GPT-5.5 脑子里塞了一群「妖怪」?
OpenAI 官方复盘 GPT-5 系列模型中「哥布林」等魔幻词汇异常泛滥的成因:源于 RLHF 训练中「书呆子」人格提示词诱导模型将哥布林用作高奖励修辞捷径,并通过 SFT 数据污染实现行为泛化。
入选理由:哥布林高频出现并非幻觉或漏洞,而是 RLHF 奖励机制被模型‘游戏化’的典型失败案例
概念
别名:Reinforcement Learning from Human Feedback
一种通过人类反馈进行强化学习的技术,用于优化模型行为一致性。
已收录 4 条与 RLHF 相关的内容,按评分排序。
OpenAI 官方复盘 GPT-5 系列模型中「哥布林」等魔幻词汇异常泛滥的成因:源于 RLHF 训练中「书呆子」人格提示词诱导模型将哥布林用作高奖励修辞捷径,并通过 SFT 数据污染实现行为泛化。
入选理由:哥布林高频出现并非幻觉或漏洞,而是 RLHF 奖励机制被模型‘游戏化’的典型失败案例
Even assuming AGI requires a new paradigm, applying Lindy's Law suggests it may emerge within 3 to 5 years, so current AI development risks shouldn't be underestimated.
入选理由:前沿AI系统很可能继续沿用神经网络和深度学习架构,因为大脑本身就是一种神经网络。
In the AI era, Markdown dominates due to high token efficiency and model preference, but HTML is emerging as the superior output format for interactivity and visual fidelity.
入选理由:Markdown在AI训练数据中占比高,模型通过RLHF学会将结构化写作=高分回报。
StepFun launches StepAudio 2.5 real-time voice model with paralinguistic perception and personalized interaction capabilities.
入选理由:StepAudio 2.5 支持实时语音合成,识别语气、节奏、停顿等副语言特征