Continuous accountability for Verified bots

对已验证机器人的持续问责 | Cloudflare 博客

post

Radar

安全

AI

机器人

2026年10月16日

对已验证机器人的持续问责

Chris Tsoukaladelis

6分钟阅读

复制链接

驾照能告诉你某人是谁，以及他们通过了驾驶考试，但无法预知他们未来是否会负责任地驾驶。机器人也是如此：验证操作者身份可以建立问责机制，但信任取决于其后续行为。一个已知的机器人仍可能无视网站偏好、压垮源服务器或规避控制措施。它不一定是恶意的——很多时候只是配置错误或程序漏洞。

正如我们在之前的博客文章《机器人行为分析》中所述，我们致力于验证两个问题：“你是你声称的那个人吗？”以及“我们能信任你吗？”要成为Cloudflare已验证机器人，大致需要满足三个标准：

• 准确且安全地识别自身身份
• 仅执行所声明的操作
• 不从事滥用行为

机器人使用Web Bot Auth对请求进行签名以证明身份，BotBase随后会以开放格式记录这些信息。在身份识别问题解决后，我们的关注点转向已验证机器人的第二条核心原则：不得造成损害。

今天，我们推出一个系统，用于评估和报告已验证机器人行为何时开始偏离这一原则，确保“我们能信任你吗？”这个问题的答案始终是“是”。

此时风险与信任的区别变得尤为重要：

• 风险描述特定请求或某一时刻的操作可能造成危害的可能性，且可能随时间变化。
• 信任则通过持续一致的行为逐渐建立。

例如，2025年我们从已验证机器人名单中移除了Perplexity的机器人，因为它试图访问已选择不被爬取的网站资源，并在这些请求被阻止后试图绕过控制措施。

不从事滥用行为

这一简单要求看似容易实现，但其中包含许多微妙之处。当爬虫不尊重网站偏好时，会破坏信任。当网站要求爬虫停止爬取或减缓速度，而爬虫无视这些请求时，同样会破坏信任。

我们开发了一套系统来衡量爬虫尊重网站偏好的频率。这些观察结果将转化为可解释的信任区间：一个显示机器人多大程度上持续尊重网站偏好的范围，以及哪些观察到的行为支撑了这一评估，而不是对机器人或其操作者做出永久性判断。我们目前评估的初始信号包括：

• 机器人是否遵循指令？
• 它是否响应直接反馈？

我们认为这些是“常识性”规则，是对提供机器人所需信息的操作者的一种礼节。未来，我们将在Radar上公开这些评分，并扩展衡量方式。这一评分为负责任的机器人操作者提供了一种证明信任持续存在的方法。验证，但需持续重新验证。

入乡随俗

robots.txt文件是传达网站所有者偏好的主要方式。我们的系统会检查机器人的流量是否随时间与已发布的偏好保持一致。

robots.txt 告诉所有（或特定）爬虫只能爬取网站的特定部分。孤立的违规行为或其他类型的单次事件可能并不重要。我们真正关注的是那些持续出现、无视网站偏好的行为模式。负责任的爬虫只需遵循网站发布的偏好设置，这与 RFC 9309 标准一致。

需要明确的是，robots.txt 仅设定爬虫和代理不应执行的最低规则。但并未暗示未明确说明的内容就可被允许。例如，robots.txt 并不需要声明爬虫必须在网站通过其他信号表明继续访问不受欢迎时停止访问。

己所不欲，勿施于人

爬虫即使完全在允许的路径内活动，也可能对访问的网站造成显著负载。网站最明确的反制方式之一是返回 HTTP 429（“请求过多”）响应。429 是要求访问者降低请求速率的指令，有时还会提供重试前应等待多久的建议。

我们的系统会评估爬虫在收到该信号后流量是否有所调整。它是减速、暂停，还是继续以相同速度发送请求？随着时间推移，我们将这种行为纳入爬虫的信任区间：持续减速或暂停会提升信任度，而反复忽略信号则会降低信任度。

逐步建立信任

观察这些信号只是实现长期可验证自动化责任的第一步。通过将爬虫身份与持续行为的证据相结合，我们可以让网站所有者更有信心地确认他们允许的爬虫是否尊重其偏好，为爬虫操作者提供证明其值得信任的方式，并向网站所有者提供关于到达其网站的自动化流量的背景信息。

该系统与 Bot Preference Sync 和 Bot Management 共同构成了自动化流量的责任闭环。Bot Preference Sync 帮助网站所有者发布其偏好设置，而观察爬虫如何与这些偏好互动则能显示可验证爬虫是否持续遵守这些设置。Bot Management 让网站所有者决定如何处理这些流量。共同作用下，它们有助于确保信任是通过透明、负责任的行为赢得的，而非仅基于身份假设。

我们已经在内部使用该系统评估可验证爬虫遵守网站偏好的一致性。由于信任是逐步建立的，我们评估的是持续模式而非孤立事件。我们正在利用这一初始阶段建立历史记录，并完善这些观察如何转化为有用的指导。在此基础上，我们计划向所有 Cloudflare 客户开放该系统，客户可以选择用于决定如何处理可验证爬虫流量的信任阈值。我们的目标明确：保持网站偏好的实际意义，并确保信任是通过持续行为赢得的。

想了解更多关于如何处理爬虫的信息？Cloudflare 客户现在可以使用 Bot Management 管理自动化流量，并使用 Bot Preference Sync 将其发布的偏好与配置的策略对齐。要了解不断增长的可验证爬虫群体，请查看 Radar 上的趋势。

如果对构建爬虫身份和责任的未来感兴趣，请查看 Cloudflare 的开放职位。

discussion column

相关标签和社交媒体链接

相关标签

在社交媒体上关注

• Cloudflare

电子邮件订阅 /think