Have it both ways: stay discoverable in search while disallowing AI training

兼得两全：在搜索引擎中保持可见性的同时阻止AI训练 | Cloudflare 博客

post

网络服务

产品新闻

安全

AI

AI 机器人

2026年9月15日

兼得两全：在搜索引擎中保持可见性的同时阻止AI训练

Bryan Becker

12分钟阅读

复制链接

此文章也提供德语和荷兰语版本。

在缺乏适当控制的情况下，网站所有者长期以来一直面临一个艰难的权衡：允许您的内容用于AI训练，或者冒着在搜索引擎中失去可见性的风险。这种权衡的存在是因为互联网上一些最大的组织使用混合用途爬虫：一个爬虫同时服务于搜索引擎和AI训练。拒绝其中一个，就等于拒绝另一个。

今天，Cloudflare宣布推出一个新的“禁止AI训练”设置，让您轻松保持在搜索引擎中的索引状态，同时拒绝让同一爬虫使用您的内容进行训练。苹果、谷歌和微软已承诺或将在指定时间框架内遵守此设置。

混合用途爬虫是训练问题中的难点。AI摘要功能将是下一个挑战。全站范围的“是”或“否”过于笼统：您的内容在摘要中出现的多少与是否出现同样重要。我们已为混合用途爬虫运营商设定了退出AI摘要的机制。到明年年初，我们的目标是让您控制内容被包含的程度——在Cloudflare上一次性设置，而不是与每个运营商分别设置。

仅仅询问是不够的

大多数网站所有者希望被找到：被人类、代理和（好的）机器人找到。但开放互联网的很大一部分依赖广告、订阅或与访客的直接关系，而这些模式只有在有人实际到达时才会支付费用。

几乎所有网站所有者都认为搜索引擎是有益的：Cloudflare网站中不到1%选择阻止搜索引擎爬虫。然而，训练则不同：17%的网站选择启用某种机制来阻止训练。这正是我们决定网站所有者需要更精细的控制权，而不是一刀切的“阻止AI”的原因。

仅凭robots.txt指令无法解决这个问题。任何人都可以发布一个robots.txt，但它无法识别谁在爬取、确定他们为何爬取，或阻止忽略它的爬虫。

然而，网络可以解决这个问题：我们发布偏好设置，识别谁在爬取，分类他们为何爬取，并阻止那些忽略设置的爬虫——然后在Radar上报告每个运营商的实际行为。

但阻止会移除爬虫。它不会改变爬虫的行为。更好的结果是运营商根本不会让你做出选择。因此，自7月以来，我们一直在直接与他们沟通。回应令人鼓舞：几乎所有运营商都同意网站所有者应对其内容的使用方式拥有控制权和透明度，并确保他们的选择将被尊重。为了帮助网站所有者理解这一点，我们创建了一个称号：Accountable（可问责）。

Accountable称号认可了今天可用的两种能力，并承诺实现它们。要符合资格，机器人运营商必须满足或承诺满足以下要求：

• 通过robots.txt或类似标准，为网站所有者提供退出AI训练的机制。

• 为网站所有者提供直接与运营商设置AI摘要退出机制的途径，并将在明年通过Cloudflare实现（详见下文部分以获取更多细节）。

• 通过 URL 级别查看哪些页面可供训练使用，并查看内容在搜索中出现情况的指标。

• 确保选择退出 AI 训练不会影响传统搜索结果。

Apple、Google 和 Microsoft 都展示了其符合成为 Accountable 的资格。每家公司都结合了当前可用的功能与仍在开发中的功能的时间表承诺。这些公司的爬虫详细信息如下所述。

新增的安全设置选项

Cloudflare 通过行为对机器人进行分类，单个机器人可能表现出多种行为。以下三种行为可作为控制选项：

• 搜索 - 通过爬取构建搜索索引。

• 训练 - 通过爬取训练或微调模型。

• Agent - 代表人类访问页面的用户定向代理，例如聊天抓取机器人和浏览器使用代理。

混合用途爬虫是指单个爬虫同时执行搜索和训练。在没有控制措施的情况下，这种组合会产生上述的权衡：网站所有者无法拒绝其中一种用途而不拒绝另一种。

为了避免阻止 Accountable 混合用途爬虫（这些爬虫不会对网站所有者强加这种权衡），我们引入了新设置：禁止 AI 训练。该设置名称来源于其在 robots.txt 中发布的 Disallow: 指令。

“阻止”设置的含义发生变化

此前，“阻止”和“在包含广告的页面上阻止”不适用于混合用途爬虫，因为阻止它们可能会影响搜索可见性。现在我们有了新的 Disallow AI Training 设置，“阻止”和“在包含广告的页面上阻止”将适用于所有训练爬虫，包括混合用途爬虫。

训练、搜索和 Agent 控制在域名级别应用。随着 Disallow AI Training 的加入，可用设置如下：

• 允许 : 所有爬虫均被允许，除非被其他设置或 WAF 规则阻止。

• 禁止 AI 训练 : Bot Preference Sync 在 robots.txt 中发布适用的禁止训练偏好。Accountable 混合用途爬虫仍允许进行搜索。所有其他训练爬虫均被阻止，包括由 Amazon、Anthropic、Meta 和 OpenAI 运行的仅训练爬虫 —— 阻止这些爬虫不会影响搜索。Disallow AI Training 仅作为训练设置可用，不适用于搜索或 Agent。

• 在包含广告的页面上阻止 : 仅在检测到页面提供广告时，爬虫（包括混合用途爬虫）会被阻止。

• 阻止 : 所有爬虫（包括混合用途爬虫）均被阻止。

Disallow AI Training 通过在 robots.txt 中发布偏好来实现。仅广告偏好无法以这种方式表达：Cloudflare 可以检测哪些页面提供广告，但这些页面数量太大且变化过于频繁，无法在 robots.txt 中列出。这就是为什么没有“在包含广告的页面上禁止 AI 训练”。

Agent 不会产生与混合用途爬虫相同的搜索可见性权衡，且互联网目前尚未建立针对 Agent 的明确指令来表达 Disallow 偏好。目前我们暂不为 Agent 添加 Disallow 设置。随着 ai-prefs 等标准的成熟，我们将重新审视这一做法。

9 月 15 日将发生哪些变化？

我们对 Bot Management 和 AI 爬虫控制功能做出以下更改：

• 带有广告页面的“阻止”和“在广告页面上阻止”规则现已适用于混合用途爬虫（包括 Applebot、Bingbot 和 Googlebot），因此无论选择哪种设置都会影响搜索引擎爬取和训练。若需完全阻止训练但保留搜索功能，请使用“禁止AI训练”。

• “阻止AI爬虫”功能将被弃用，取而代之的是更精细的搜索、训练和代理控制选项。

• 托管的 robots.txt 功能将被弃用，取而代之的是 Bot Preference Sync。已启用托管 robots.txt 的客户将迁移至新系统。

• “禁止AI训练”将成为某些新域名推荐配置的一部分。

• 现有客户将按照以下说明将其偏好迁移至新控制选项。

需要您执行的操作

在几乎所有情况下无需任何操作，当前设置会自动继承。

如果您希望完全移除混合用途爬虫，请明确选择“阻止”选项。这将阻止 Applebot、Bingbot 和 Googlebot 访问您的网站（包括搜索引擎爬取）。

#### 从未使用过搜索/训练/代理控制的现有域名

从未配置过精细控制选项的网站管理员将根据其历史“阻止AI爬虫”设置迁移至新设置：

（旧设置）

“阻止AI”设置

（新设置）

搜索设置

训练设置

代理设置

禁用（未选中）

允许

阻止

禁止AI训练

在广告页面上阻止

#### 曾使用过搜索/训练/代理控制的现有域名

对于曾配置过精细控制的域名，我们将保留其选择在新定义下的实际效果。之前选择“阻止”或“在广告页面上阻止”的训练设置将迁移至“禁止AI训练”。

控制项

旧设置

新设置

搜索

训练

代理

新域名推荐设置

自 9 月 15 日起，新域名客户将根据网站是否通过广告盈利，获得两种预设配置之一。广告收入依赖于人类实际查看页面，而训练功能会用答案替代访问，代理爬虫则会在无人查看广告时抓取页面。因此，广告支持网站的预设配置会更加严格。您可以在域名注册过程中或之后随时更改这些设置。

设置

网站不通过广告盈利

网站通过广告盈利

偏好同步

启用

新域名推荐设置

新域名注册流程截图，展示选择“我通过展示广告的页面盈利”时的推荐设置。

对特定混合用途爬虫意味着什么？

Applebot、Bingbot 和 Googlebot 被归类为“可问责爬虫”。苹果、谷歌和微软致力于遵循相同的出版商选择和透明度原则。在“禁止AI训练”设置下，它们仍可继续爬取您的网站以进行搜索。选择“阻止”将完全禁止它们访问。

我们还将亚马逊、Anthropic、Meta 和 OpenAI 的相关爬虫归类为“可问责爬虫”。这些组织会区分其搜索爬虫和训练爬虫，因此 Cloudflare 可以在不影响搜索的情况下阻止训练爬虫。

Applebot

/think

Applebot 允许网站所有者通过在 robots.txt 中为 "Applebot-Extended" 添加禁止规则来选择退出训练。网站所有者目前还可以通过页面 HTML 中的 nosnippet 指令表达对 AI 摘要的偏好。内容也可以标记为付费墙内容以排除在生成式输出之外。Applebot 目前尚未提供 URL 级别的检查工具。不过我们已与他们的团队会面，他们已分享了明年即将推出的解决方案细节。苹果公司也表示，选择退出训练不会影响搜索排名。

Googlebot

Googlebot 允许网站所有者通过在 robots.txt 中为 "Google-Extended" 添加禁止规则来选择退出训练，并且他们在网页管理员门户中提供了一个切换选项，用于将网站内容从生成式搜索结果中排除。Googlebot 还为网站所有者提供有关搜索结果和 AI 摘要结果的指标和报告。Google 分享了现有及最近推出的控制功能信息，以及他们正在开发的内容，包括与 Google-Extended 相关的额外 URL 级别透明度工具，预计将在未来几周内推出。Google 也表示，禁止 Google-Extended 不会影响搜索排名。

Bingbot

Bingbot 在其站长工具中提供精细的控制和透明度。网站所有者目前可以通过 Bing 的 NOARCHIVE 元标签表达 AI 训练偏好。微软正在扩展这些功能，目前正在构建一种机制，以在域名/网站级别通过 robots.txt 尊重 "不进行训练" 的偏好，预计于 2027 年初推出。对于希望今天就退出 Bing 训练的 Cloudflare 客户，除了使用 NOARCHIVE 标签外，网站所有者还可以使用阻止 URL 或内容删除工具。微软也表示，使用 NOARCHIVE 不会影响搜索排名。

在该功能上线之前，选择 "禁止 AI 训练" 不会通过 robots.txt 自动向 Bing 传达不进行训练的偏好。这与之前的 "训练阻止" 设置具有相同的实际行为，该设置不适用于 Bingbot 这样的混合用途爬虫。

持续进展

随着这些能力的演进，我们将继续与所有 AI 爬虫运营商进行沟通。Cloudflare Radar 公开追踪可问责爬虫运营商提供的控制、透明度和报告。

让互联网变得更好需要双方都拥有自主权：爬虫需要访问开放网络，而创建这些网络的人则需要对其作品使用方式有实质性的控制。今天的公告代表了向这种平衡迈出的具体一步。

进展需要基础设施提供商、内容创作者、科技公司和标准机构（如互联网工程任务组 IETF）共同努力，将这些原则转化为开放、互操作的标准。

下一步：AI 摘要

训练和 AI 摘要对网站所有者提出了不同的问题。训练涉及内容是否可用于构建 AI 模型，而摘要则影响人们如何发现、评估并最终访问企业。两者都很重要，但它们以不同的方式影响企业。

Controls to opt out of AI summaries are the first step. The operators identified as Accountable either provide or are completing work to provide that capability, establishing an important baseline: site owners can say no.

But a site-wide choice between allowing and prohibiting summaries is still a blunt instrument. The right decision depends on the site, the content, and the business outcome. For publishers, training raises foundational questions about control, compensation, and the sustainability of original content. Summaries create a separate and often more immediate distribution question: does someone visit the publisher’s site, or consume the answer within a search or AI experience? For many other businesses, AI summaries increasingly sit between a potential customer and a website. They may answer a question, compare alternatives, recommend a product, or help someone decide whether to visit at all.

The data illustrates mixed impact. More than half of consumers read summaries in Search, and those consumers are over 40% more likely to end their search after reading one. This can reduce the number of visits a website receives. But consumers referred by AI Search convert at between three times and over five times the rate of those referred by traditional search. AI may produce fewer visits while sending customers with much greater intent.

That is not inherently good or bad. A publisher funded by advertising may optimize for audience volume. A retailer may prefer fewer visitors who are more likely to purchase. Cloudflare’s role is not to choose for them, but to provide the visibility and control needed to make an informed decision.

Summary opt-outs are a strong start, but they are not the end state. Our next focus is helping site owners understand how summaries affect their businesses and giving them more control over how much of their content can be used. Open standards such as ai-prefs will be an important part of making that possible.

If you would like to have a voice in this conversation, or provide feedback, please reach out to [email protected] .

These new controls are available to all customers, on all plans, and can be configured at the domain (zone) Security Settings . Not on Cloudflare yet? Start for free to set the traffic controls that you want today.

table of contents column

discussion column

RELATED TAGS AND SOCIAL MEDIA LINKS

Related tags

Follow on Social Media

• Cloudflare

EMAIL SIGNUP