什么是 Prompt injection？

AI代理的自主性带来五类安全风险，需通过隔离和治理降低风险。

Claude Code Auto Mode存在重大安全漏洞，80%成功率的攻击可绕过其防护机制，建议使用沙箱运行代理。

OpenAI开发了GPT-Red，通过AI驱动的红队测试提升模型安全性，有效防御新型攻击。

AI模型在面对大量提示注入攻击时表现出色，但生产环境仍需谨慎。

AI安全与传统网络安全有本质不同，Gray Swan团队开发的自动化红队系统Shade能超越人类攻击前沿模型，AI安全危机可能以‘灰天鹅’事件形式爆发。

模型无法有效区分特权文本与用户输入，导致提示注入攻击风险显著增加。

构建安全AI客服代理的关键是采用‘优先升级’设计：在生成任何回复前先由纯函数决策器判断是否应升级至人工处理，仅当判定可回复时才生成答案，并通过双AI裁判验证确保准确性。该模式显著降低错误响应风险，尤其适用于金融等高敏感场景。

OpenAI 推出的“锁定模式”（Lockdown Mode）旨在通过限制出站网络请求来阻止数据泄露攻击的最后阶段，这是应对“致命三元组”（LLM 访问私有数据、接触不可信内容、以及数据窃取能力）的有效安全措施。

当前AI代理在安全性和提示注入方面存在重大风险，需谨慎对待其控制敏感系统的能力。