Cloudflare and OpenAI: making AI discovery better for everyone

Cloudflare 与 OpenAI：让 AI 发现更惠及所有人 | Cloudflare 博客

post

爬虫

AI

AI 搜索

机器人

2026年10月15日

Cloudflare 与 OpenAI：让 AI 发现更惠及所有人

Matthew Conroy ，Jack Galilee ，Henry Aspegren（OpenAI） ，James Balfour（OpenAI）

5分钟阅读

复制链接

如果 AI 无法找到你的网站，那么对 AI 进行优化就失去了意义。用户的问题答案可能已经存在于你的网站上：你花了一周时间撰写的安装指南，或使用产品的真实体验分享，这些细节可能直接影响用户的购买决策。随着越来越多的人依赖 AI 获取帮助，你希望这些系统能够找到你的内容、准确呈现信息，并将感兴趣的人引导至你的网站。同时，你也希望掌控它们访问你网站的方式。

出于这些考虑，Cloudflare 与 OpenAI 于 2026 年 7 月启动了一个研究试点项目。我们希望探索 Cloudflare 网络中的信号是否能帮助 ChatGPT 用户更高效地发现新内容。

今天，我们分享初步成果。截至目前的答案是明确的肯定：该试点项目已将大量此前未被收录的页面纳入 OpenAI 的搜索索引，使 ChatGPT 能够引用更多来源，帮助人们找到相关且及时的信息。在此过程中，我们还深入了解了哪些页面具有发现价值，以及 AI 系统如何利用网络。

发现更多网络内容

网络中充满了具体信息。修理洗衣机的人需要精确型号的说明书，申请护照的人需要最新的要求和费用，选择本地餐厅的人需要最新的菜单和营业时间。找到正确的页面可能决定答案是否正确有用。即使很少有其他网站链接到这些页面，它们也可能具有重要价值。

在之前的网络版本中，可发现性意味着出现在搜索结果页面的前列。随后由访问你页面的人类判断信息价值、预订餐桌或申请护照。随着人们越来越依赖 AI 寻找信息并完成任务，可发现性以新的方式变得重要。AI 系统需要找到合适的来源，理解哪些信息有用，并将人们与相关信息连接起来——无论是通过答案、引用还是直接访问网站。

Cloudflare 的网络提供的信号可以帮助 OpenAI 的搜索爬虫发现更多有用的网页，从而向 ChatGPT 用户展示。OpenAI 然后独立评估并根据页面的相关性和有用性进行排序。这两者结合形成一个反馈循环，可以同时提升发现效率和人们找到的信息质量。

这项联合试点项目使用了约 1% 的 Cloudflare 总网络参与节点，使 OpenAI 能够发现并收录数亿个新网页，帮助人们发现更多有用内容并通过 ChatGPT 获得更多问题解答。通过链接到相关来源，ChatGPT 搜索还为人们提供了探索原始内容并发现背后网站和出版商的方式。

借助 GPT-6 和智能用户界面，OpenAI 正在让 ChatGPT 成为一个更优质的购物、学习和寻找答案的平台，提供更符合用户需求的视觉化和交互式体验。这项工作通过帮助 ChatGPT 发现更多有用且最新的网络信息，与这些进步形成互补。

从发现到有用答案

找到一个 URL 只是开始。我们需要知道它是否指向一个可访问的页面，该页面是否提供独特的内容，以及它可能帮助用户完成什么。

例如，我们了解到自动化流量如何轻易让一个不存在的页面看起来有趣。机器人会反复请求不存在的文件。一些网站几乎会将任何地址重定向到首页。其他地址则指向相同内容的副本。识别这些模式，使我们能够在爬虫抓取页面之前减少浪费的工作量，从而提高效率，同时为网站所有者带来好处。

我们还在测试能够识别和标记潜在有害页面的信号，为更安全、更可靠的发现过程增加另一层信息支持。一个合法网站可能只有一个被入侵的页面，例如攻击者植入的虚假登录表单。标记该页面而非整个域名，可以在不惩罚网站所有者的情况下保护用户安全。初步结果表明，这些信号有助于识别应排除在索引之外的页面。

让发现更便捷

随着越来越多的人使用 AI 发现信息，网站所有者有了新的机会接触感兴趣的受众。对于选择向 AI 系统开放内容的网站所有者来说，这些改进使发现过程更加高效便捷。

频繁抓取每个页面以保持最新状态对所有人来说成本都很高。对网站所有者而言，爬虫反复下载未更改的页面只会增加负载却毫无益处。

上述信号正是我们避免这种情况的方法。过滤机制使爬虫远离不存在或重定向到其他页面的内容。变更信号则告诉爬虫何时值得再次访问页面，何时不必访问。

需要找到合适的平衡点。最初发现新页面可能会增加爬虫抓取量，因为这些页面需要被评估和索引。目标是在保持发现能力并持续更新的同时，减少工作量。对 Cloudflare 客户而言，这意味着减少不必要的负载；对 OpenAI 来说，这意味着将更多搜索资源用于真正帮助用户的资讯。

让参与变得有价值

下一阶段将基于我们已学到的经验：改进页面选择、测试更快更可靠的变更信号，并衡量内容被发现后发生的变化。

我们继续与 OpenAI 合作，了解更优质的网站发现如何转化为实际的业务成果，并将在过程中持续分享我们的发现。

域名所有者的决策始终至关重要。关于页面的信号并不会授予访问权限。这项研究使用网络的元数据进行搜索和发现，而非共享页面内容用于模型训练。

您可以使用 Cloudflare 的 AI 爬虫控制功能来了解和管理 AI 系统如何访问您的网站。

目录栏

讨论栏

相关标签和社交媒体链接

相关标签

关注社交媒体

• Cloudflare

• Jack Galilee

• Henry Aspegren (OpenAI)

• James Balfour (OpenAI)

电子邮件订阅