Robert Youssef(@rryssf)

Crawlers ignore your llms.txt file. Google's John Mueller said it in 2025: no AI system currently uses llms.txt. No major AI company has said its systems read it either, and the file still shows up on nearly every AI search checklist. The proposal is a markdown file at your site root that summarizes the site for language models. Teams usually stop there. The proposal also asks for a .md copy of every important page, which means a second version of your whole site, maintained by hand. It doesn't block or

8.5内容质量

TL;DR · AI 摘要

AI爬虫不读取llms.txt文件，Google John Mueller证实无系统使用该文件，建议专注robots.txt规则而非依赖llms.txt。

核心要点

  • Google John Mueller明确表示当前无AI系统使用llms.txt文件
  • 某网站3个月记录5亿AI爬虫访问，但llms.txt请求仅408次
  • AI系统实际读取网站页面内容，无需额外维护llms.txt文件

结构提纲

按章节快速跳转。

  1. §llms.txt文件现状

    Google John Mueller证实当前无AI系统使用llms.txt文件。

  2. ·AI爬虫行为分析

    某网站数据显示AI爬虫访问量达5亿次，但llms.txt请求量极低。

  3. ›技术建议

    应优先检查robots.txt规则而非维护llms.txt文件。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • llms.txt文件与AI爬虫
    • 现状分析
      • John Mueller声明
      • 低请求量数据
    • 技术实践
      • robots.txt优先级
      • 页面内容直接读取

金句 / Highlights

值得收藏与分享的关键句。

#AI爬虫#robots.txt#SEO#技术实践
打开原文

Robert Youssef在X上的推文："爬虫会忽略你的llms.txt文件。Google的John Mueller在2025年曾表示：目前没有任何AI系统使用llms.txt文件。主要AI公司也从未表示其系统会读取该文件，但该文件仍出现在几乎所有AI搜索检查清单中。该提案要求在网站根目录放置一个markdown文件，用于向语言模型概括网站内容。团队通常只做到这一步。提案还要求为每个重要页面提供一个.md格式的副本，这意味着需要手动维护整个网站的第二版。该提案不会阻止或控制爬虫。提案中明确表示了这一点。AI机器人的管理仍然通过robots.txt进行，和以前一样。日志记录与Mueller的说法一致。据报道，某网站在三个月内记录了5亿次AI机器人访问，但在这段时间内llms.txt文件的请求量仅为408次。这个建议之所以传播，是因为它成本低廉且让人感觉能占得先机。关键词meta标签在搜索引擎不再关注它后，仍以相同逻辑存在了约十五年。AI系统实际读取的是你的网页内容。这与你为搜索引擎所做的工作相同，无需在顶部放置任何快捷文件。如果主要AI公司宣布支持，添加llms.txt文件大约需要十分钟。目前有用的举措是检查robots.txt规则中针对AI机器人的设置。

2026年10月8日 下午8:54 · 1,379次浏览 · 4 · 2 · 3