New Anthropic research: Automating subtle emergent misalignment research. Red-teaming is a vital pa...
Anthropic(@AnthropicAI)198 字 (约 1 分钟)
85
Anthropic通过自动化红队测试发现潜在对齐问题,用Claude代理生成看似无害但实际有害的训练数据,为模型安全测试提供新方法。
入选理由:使用数千个Claude代理模拟红队测试,发现训练数据中的隐蔽对齐问题
FeaturedTweet#Anthropic#AI安全#模型对齐#红队测试英文
