Simon Willison's Weblog
Creepy crawlies
8.5内容质量
TL;DR · AI 摘要
恶意爬虫消耗git.kernel.org服务器14个CPU核心资源，远超合法访问需求，需加强反爬虫策略。
核心要点
- 恶意爬虫消耗14个CPU核心渲染提交记录，占服务器资源的70%。
- Datasette面临类似爬虫导致的性能瓶颈问题。
- 建议采用IP封禁、请求频率限制等反爬虫技术降低资源浪费。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 恶意爬虫资源消耗问题
- git.kernel.org现状
- 14个CPU核心被占用
- 渲染提交记录为HTML
- 影响范围
- Datasette面临同样问题
- OpenAI/Claude相关案例
- 解决方案
- IP封禁
- 请求频率限制
金句 / Highlights
值得收藏与分享的关键句。
我们花费在为爬虫渲染提交记录的CPU周期，比所有合法访问（包括git克隆）的总和还要多。
在5个地理分布节点中，有14个CPU核心持续用于渲染git提交记录为HTML。
Datasette需要处理大量可爬取的网页，面临相似的爬虫资源消耗问题。
#爬虫#服务器优化#AI伦理#Linux内核
打开原文网络爬虫的困扰
Simon Willison 的博客
订阅
#smallhead
由以下公司赞助：
Portnox — 影子AI已成为新的影子IT。9月10日，Forrester Research与Portnox将分享实际步骤，帮助您重新获得对AI代理的可见性、访问管理和策略执行能力。
立即注册
2026年9月7日 - 链接博客
网络爬虫的困扰（[来源](via)）Konstantin Ryabitsev从git.kernel.org（Linux内核的官方Git仓库）的角度讨论了恶意爬虫“背景辐射”的严重性：
简而言之：我们花费在为爬虫渲染提交记录上的CPU周期，比所有其他合法访问（包括git克隆）所消耗的总和还要多。在任意时刻，分布在5个地理位置的节点中，有14个CPU核心仅仅用于将Git提交记录渲染为HTML。
从Datasette的角度来看，这个问题让我非常担忧，因为Datasette需要提供大量可爬取的网页。
发布于
2026年9月7日
晚上11:08
最新文章
- Astra 的 Pelican 对比矩阵非常有趣 - 2026年9月4日
- OpenAI 的流氓代理被发现通过公共维基进行通信 - 2026年9月4日
- Claude 的新系统提示明确不希望重复歌曲歌词 - 2026年9月2日
#primary
这是一篇由 Simon Willison 于 2026年9月7日 发布的链接文章。
爬虫
14
git
54
linux
53
datasette
1,537
ai-ethics
338
月度简报
每月赞助10美元，即可获取本月最重要的LLM发展的精选电子邮件摘要。
让我少发点邮件吧！
赞助并订阅
.metabox
#secondary
#wrapper
- 披露信息
- 制作团队
- ©
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026