AI Is Getting Really Good at Messing With Cybercriminals

人工智能正在变得越来越擅长戏弄网络罪犯 | WIRED

Lily Hay Newman

Matt Burgess

安全

2026年10月10日 上午8:00

人工智能正在变得越来越擅长戏弄网络罪犯

反网络犯罪计划正越来越多地利用人工智能，通过欺骗网络罪犯，使他们误以为自己正在与真实的受害者交谈。

保存这个故事

欢迎阅读《内核恐慌》（Kernel Panic!），这是Lily Hay Newman和Matt Burgess从隐私和数字安全新世界内部发出的每周电子通讯。要每周接收这封电子通讯，请在这里注册。

尽管人工智能正在加速数字诈骗和网络犯罪，但它也被招募用于保护潜在受害者。全球各国政府一直难以应对在线犯罪的全球性危机，努力克服试图打击境外罪犯的局限性。这激发了替代性努力，例如使用自动化技术大规模追捕骗子——或许通过向骗子发送垃圾信息，浪费他们的资源。现在，人工智能平台正在将这些类型的实验转化为打击网络犯罪的实际工具。

在过去两年中，澳大利亚公司Apate（以希腊欺骗女神命名）一直在构建一个系统，将电话骗子引导至与人工智能机器人通话，这些机器人经过训练，能尽可能长时间地维持对话，当然，绝不会真正落入骗局。目标是让骗子产生足够的希望而继续通话，同时收集有关他们实施的骗局的情报。

Apate的创始人兼首席执行官Dali Kaafar告诉我们：“我们真正喜欢认为自己正在为骗子构建完美的受害者。”他说，骗子与机器人或代理通话的每一分钟，都可能挽救数百甚至数千人免受同一名骗子的骚扰，他提到了骗子使用自动拨号工具的能力。

Kaafar表示，Apate的平台由银行使用，并得到电信公司的支持，拥有约35万个机器人。这些机器人不仅接听电话，还渗透到网络诈骗聊天群组中，并以类似目标回应短信，即在挫败骗子的同时从他们那里收集情报。他表示，公司已实时收集了超过25万条有关欺诈者的资料，从诈骗网址到资金中转账户和银行详细信息。

Kaafar表示，这些机器人有不同的个性、语言技能和资料，因此骗子可能不会察觉自己正在与人工智能交谈。就像真实的人一样，“有时[机器人]会有WhatsApp，有时没有。有时他们会接听电话，有时他们只是直接挂断骗子的电话，说‘我稍后再联系你’”。

但这些机器人是否足够逼真？《内核恐慌》使用演示版本测试了该工具，用户扮演骗子，与Apate的人工智能“受害者”交谈。这些角色被设计成表现出适度的怀疑，但又留有足够空间让骗子继续尝试说服他们，这种动态让我们立刻感受到并感到极度沮丧。

诈骗者可能对这种怀疑的互动方式并不陌生，Kaafar 表示，Apate 的通话通常会持续超过两个小时。在我们的测试中，Apate 系统表现得积极且响应迅速，即使我们两人以朋友“Lucy”和她的财务顾问“Mickey”的身份与 AI 配合，对话的节奏也显得自然。尽管我们努力了六分钟，但 Apate 的 AI 系统仍未成功被说服投资我们的加密货币机会。（不过，我们发誓这些回报真的令人难以置信。）

目前，即使 Apate 拥有大量机器人进行监控，你迟早还是会接到下一次诈骗电话或收到诈骗短信。网络犯罪分子每年发起数十亿条消息和通话，其中最复杂的操作甚至运行着实体工业级的诈骗网站。虽然专业反诈人员和渗透诈骗组织的行动多年来已发挥了关键的威慑作用，但执法机构和研究工作始终未能阻止数字诈骗的整体扩张。

但 AI 可能为反诈行动开启一个新时代，而不仅仅是诈骗者本身。警方、社交媒体公司、银行和其他行业之间更紧密的情报共享迫在眉睫，而 AI 驱动的监控和数据分析可能对此有所帮助。此外，越来越多的创新举措正在通过利用网络犯罪者的“心理弱点”来瓦解他们。在某些情况下，这些心理战甚至包括直接挑衅勒索软件攻击背后的人员。随着对诈骗者和网络犯罪分子的瓦解行动不断加强，使用生成式 AI 以分散其注意力、浪费其资源、阻止其发动其他攻击的方式，似乎正变得越来越有效。

以蜜罐（honeypot）为例。多年来，企业和安全研究人员一直在部署虚假的虚拟机来吸引黑客，浪费他们的时间，收集信息并了解他们的秘密攻击技术。ETH Zurich 计算机科学系的博士研究员 Mark Vero 表示，开源蜜罐提供商越来越多地将大语言模型（LLM）整合到系统中，以使其看起来更真实。

在最近的研究中，Vero 和他的同事发现，由 LLM 驱动的蜜罐会让 AI 攻击者“显著更长时间”地攻击其系统，相比行为更可预测的蜜罐。他说：“这些具有自主性的攻击者对 LLM 模拟的蜜罐更加信服，而且他们将这些蜜罐标记为真实蜜罐的比例要低得多。”“如果这些系统构建得足够完善，我认为这对防御者来说是一个巨大的优势。”

下周我们还有哪些内容需要补充？请通过 [email protected] 告诉我们。愿你在外安全。