其实小龙虾原生的抓取机制一直不是很完善。 抓取比较慢，token消耗也多。很多人会配合用firecrawl或者JINA来抓。 其实还有一个平替叫xcrawl，安装更方便，只需要把文档丢给小龙虾， h...
TL;DR · AI 摘要
介绍xcrawl作为小龙虾抓取工具的替代方案，支持多种场景的数据采集。
核心要点
- xcrawl提供Search、Map、Scrape和Crawl四种数据抓取模式。
- 相比原生机制，xcrawl安装更简单且性能更高。
- 适合网页抓取需求，如changelog总结或知识库搭建。
抓取比较慢，token消耗也多。很多人会配合用firecrawl或者JINA来抓。
其实还有一个平替叫xcrawl，安装更方便，只需要把文档丢给小龙虾， https://t.co/hx8ijZRyzF
小龙虾自己读完，Skill 自动装好，然后按照指示再给它Key即可。ClawHub https://t.co/mZe13POWYL" / X
Yangyi on X: "其实小龙虾原生的抓取机制一直不是很完善。 抓取比较慢，token消耗也多。很多人会配合用firecrawl或者JINA来抓。 其实还有一个平替叫xcrawl，安装更方便，只需要把文档丢给小龙虾， https://t.co/hx8ijZRyzF 小龙虾自己读完，Skill 自动装好，然后按照指示再给它Key即可。ClawHub https://t.co/mZe13POWYL" / X
Don’t miss what’s happening
Show translation
其实小龙虾原生的抓取机制一直不是很完善。 抓取比较慢，token消耗也多。很多人会配合用firecrawl或者JINA来抓。 其实还有一个平替叫xcrawl，安装更方便，只需要把文档丢给小龙虾， https://docs.xcrawl.com/zh/doc/develop er-guides/openclaw/… 小龙虾自己读完，Skill 自动装好，然后按照指示再给它Key即可。ClawHub 里搜「xcrawl」也行，一键导入。 xcrawl有四种场景可以使用： - Search：搜索引擎查询，标题 / URL / 摘要 / 排名结构化直出 - Map：扫一个站点，先把所有 URL 列出来，前置规划用 - Scrape：指定 URL 抓一次，干净的 Markdown 直接喂 LLM - Crawl：全站递归批量爬，搭知识库 / 做 RAG 专用 平时网页抓取的 90% 需求，基本都落在这四种里。 比如可以让小龙虾做 changelog 总结 每天定时抓一遍 https://code.claude.com/docs/en/change log… 再给它配一个 ccc 快捷指令。敲一下 ccc，就知道 Claude Code 今天又卷出什么新功能。 有了这些数据采集工具，Agent就有能力获得更多上下文信息，更好服务人类。 当然，如果你不在意性能和token消耗，其实browser-use也是个选择。 xcrawl给新用户 1000 积分试用额度，方便进行试用体验 https://xcrawl.com/?keyword=ucrfb qeb…
·
1
2
19
37