BotBase for Operators: A clearer path to joining Cloudflare's directory of bots and agents

BotBase for Operators：加入 Cloudflare 机器人和代理目录的更清晰路径 | Cloudflare 博客

post

Bots

AI Bots

Application Security

Bot Management

2026年8月28日

BotBase for Operators：加入 Cloudflare 机器人和代理目录的更清晰路径

Julian Laxman

9分钟阅读时间

COPY URL

上个月，在我们的第二个“内容独立日”期间，我们宣布了几项功能，旨在为网站所有者提供更清晰的自动化流量可见性和控制能力：BotBase 将可搜索的已知机器人目录添加到 Cloudflare 仪表板，而 Business Insights 帮助所有者了解爬虫如何与他们的内容进行交互。我们知道机器人生态系统非常庞大，这使得网站所有者能够可持续地管理机器人流量变得更加重要。

但这个生态系统是双向的。虽然网站所有者需要决定允许哪些自动化流量，机器人操作者则需要一个清晰的方式来识别自己、解释其机器人的功能，并保持信息的更新。当双方都能参与时，BotBase 的效果最佳。

在推出 BotBase 时，我们表示将构建工具，让机器人操作者进入这个生态系统。直到现在，他们的体验大多止步于提交。提交后，操作者没有简单的方法来检查提交状态、了解被拒绝的原因或更新现有条目。今天，我们通过推出 BotBase for Operators 开始改变这一现状，首先解决机器人操作者最迫切的需求：透明度。

机器人提交的新起点

想象一下，你是一名希望将机器人提交到 BotBase 的机器人操作者。在仪表板上，你会在哪里寻找提交表单？此前，该表单位于“管理账户”→“配置”下，这将机器人明确关联到你的账户，但未承认其与机器人生态系统的联系。

从今天起，机器人提交体验将与你的其他机器人和信任工具并列：保护与连接 → 应用安全 → BotBase（全新！）。所有客户今天都可以直接从 Cloudflare 仪表板访问此功能。

在这里，我们根据使用场景对 BotBase for Operators 进行了分类：

• 机器人目录 — 浏览、搜索和过滤 Cloudflare 已经追踪的机器人（与 Cloudflare Radar 上可探索的目录相同）。

• 提交表单 — 提交新机器人。

• 提交历史 — 跟踪你提交的所有内容。

找到 BotBase 解决了“在哪里”的问题。而“接下来会发生什么”的问题，是我们听到的对机器人操作者来说至关重要的问题，因此我们将在本文的其余部分进行说明。

查看你的提交状态

我们与许多机器人操作者进行了交流，他们一致反馈是这样的：提交机器人感觉像是一个黑匣子。你填写表单，点击提交，然后等待，却没有任何方式知道接下来发生了什么。

现在，“提交历史”标签页会显示从你的账户提交的所有机器人，每个条目都有明确的状态：

• 等待审核 — 我们已收到你的提交，它正在我们的队列中。

• 已接受 — 我们已审核，你的机器人现在已被目录追踪。

• 已拒绝 — 提交中的某些内容需要更改。我们会告诉你原因，并提供可采取的步骤，以便你修复问题并重新提交。

打开任何提交记录，查看其详细信息。如果被拒绝，你将看到被拒绝的原因。如果被接受但我们的分类方式有所调整，你将看到我们做了哪些更改。

此前，操作员需要通过电子邮件联系支持团队，仅为了确认自己的机器人是否已通过审核，或查看提交进度。这正是我们通过新标签所要解决的痛点。

如今，提交表单不再是黑箱操作。从今日发布起，每位操作员均可查看自今日起所有提交记录，并随时查看状态。我们还提供了从机器人目录屏幕中筛选“我的机器人”的功能，使您能够查看当前登录账户下所有已提交的机器人。

保持机器人信息的更新

随着时间推移，机器人的识别信息可能会发生变化。您可能重新设计了网站，导致IP列表托管在新端点。或者您可能从IP白名单转向使用Web Bot Auth进行流量签名，此时需要更新信息以匹配新设置。在今天之前，唯一反映这些变更的方式是重新填写完整表单并提交全新条目。现在，您可以直接编辑已提交的内容。

您还可以取消尚未通过审核的提交。

我们鼓励所有操作员保持机器人信息的最新性。准确的详细信息是机器人获得并维持验证状态的关键因素，而验证状态在Cloudflare网络中对网站是否能基于行为轻松允许机器人访问的判断作用日益增强。当然，最终决定允许哪些流量的权力仍属于各个网站所有者。

基于更新的实用分类法构建的提交表单

想象一个机器人。它可能仅爬取页面以构建搜索索引。也可能代表用户执行操作，或为其他目的拉取数据。它如何使用读取到的内容，与它执行的操作同样重要。

新的提交表单要求您按照机器人实际行为进行描述。它遵循我们在7月1日引入的行为与内容使用模型，因此您不再需要将机器人强行归类到单一标签中，而是需要向我们说明以下三点：

首先，机器人执行的操作。它可能仅执行一项任务，例如为搜索建立页面索引。也可能是代表用户执行操作的代理，或收集数据、训练模型、支持SEO工具等。您可以选择所有适用的行为，而不仅限于最接近的匹配项。

其次，机器人如何使用读取到的内容。一个仅浏览页面以获取搜索片段的爬虫，与一个存储页面以训练模型的爬虫存在显著差异。您需要说明机器人所需的内容使用级别，使用网站管理员已用于设置自身规则的相同内容信号模型。例如，某个网站的robots.txt可能包含Content-Signal: search=yes, ai-train=no, use=reference，表示允许爬虫为搜索建立索引并保留引用，但禁止用于模型训练。您的机器人内容使用声明将直接与这类规则进行匹配检查。

第三，实际运行它的是谁。如果您自行运营机器人，直接从自己的基础设施出发，例如搜索引擎通过爬取网络来构建自己的索引，这就是直接运营。如果您运行的是其他公司构建的平台，承载他们的流量但并非决定发送流量的主体，这就是中介。设想一个通用型AI助手因为有人在另一个公司基于该助手API开发的应用中输入了问题，而抓取了某网页：助手的运营方管理着基础设施，但决定发送请求的是另一个公司的产品。（您可以通过此处了解更多关于这些分类的说明。）

这就是完整的图景：您的机器人做了什么、如何处理所读取的内容、以及背后的运营者，以实际情况描述而非强行归入单一标签。这幅图景越清晰，网站所有者就越能准确判断如何对待您的机器人。

更快、更一致的审核

运营者也要求加快审核速度。我们理解这一点。

每年提交的新机器人数量急剧增长——自2023年以来，提交量增长了约7倍——而手动审核每一个机器人无法跟上这种增速。此前，所有提交都遵循完全手动的流程：我们的团队成员会根据内部标准进行核对并做出判断。这种审核方式虽然细致，但无法扩展。

我们重建了这一流程，使其能够自动运行。您的机器人将通过一系列检查——是否是我们已追踪的重复项、您的用户代理模式是否足够具体以识别您的机器人而不与其他已注册的机器人重叠，以及最重要的是，您声称的验证方法是否真正有效？我们自动获取您的IP列表、确认反向DNS或验证Web Bot Auth签名，而非由人工手动完成。如果所有检查都通过，您的机器人可以立即被追踪；如果需要进一步检查，系统会将提交标记为特定原因并自动路由至我们的团队，而非作为空白条目进入队列。

对运营者而言，这意味着大多数提交的处理速度将比以往更快。

今天提交您的机器人

加入BotBase中数百个已声明其行为和内容使用方式的机器人，成为网站所有者与机器人运营者可以共存的生态系统的一部分：

• 前往Cloudflare仪表板的Protect & Connect → Application Security → BotBase。
• 打开提交表单并声明您的机器人：谁在运营它、它做了什么、如何使用内容、以及如何证明其身份。
• 提交。您的提交将在提交历史中显示为“等待审核”。

接下来是什么

此次发布聚焦于可见性；后续还有更多功能。我们的指导目标如下：

• 可见性，本次发布重点。这使运营者能够查看、理解并编辑提交内容。
• 所有权与可观测性，即将实现。这将使运营者能够声明机器人所有权、管理其实时目录条目，并更深入理解网站如何对待其机器人。
• 对话，长期目标。这将为机器人运营者提供一种更可持续的方式，向网站证明其价值而非危害，从而请求进入。

我们的愿景是持续扩展BotBase，使运营者能够准确了解其机器人被如何对待，并获得指导，以更礼貌的方式爬取网络，将单向提交转变为持续的关系。

BotBase 最初是一个网站所有者的目录。如今，它正在成为一个让机器人操作者参与生态系统、了解自身定位并保持信息准确的平台。如果您正在运营一个机器人，请提交它并告诉我们您下一步的需求。我们正与使用该平台的操作者一起构建面向操作者的功能。

目录列

讨论列

相关标签及社交媒体链接

相关标签

在社交媒体上关注

• Cloudflare

• Julian Laxman

电子邮件注册 /think