What’s Actually Inside 24,723 Tokens of a Search Result? We Broke It Down, Field by Field
TL;DR · AI 摘要
SerpApi通过Markdown格式减少AI搜索结果处理的74% token消耗，显著提升模型效率并降低成本。
核心要点
- 使用Markdown格式可将搜索结果token消耗从24,723降至6,435（减少74%）
- 去除内部链接、图标和嵌套元数据是主要优化手段
- 进一步过滤可使token需求降至1,298
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 搜索结果token优化
- JSON格式缺陷
- 冗余字段
- 嵌套结构
- Markdown优化
- 去除内部链接
- 扁平化数据
- 效果验证
- 74% token减少
- 成本降低
金句 / Highlights
值得收藏与分享的关键句。
使用Markdown后，'coffee'搜索的token需求从24,723降至6,435，节省74%。
去除内部SerpApi链接、图标和重复字段是主要优化策略。
进一步过滤可使token需求降至1,298，提升模型效率。
搜索结果中24,723个token的实际内容是什么？我们逐字段解析 - MachineLearningMastery.com
搜索结果中24,723个token的实际内容是什么？我们逐字段解析
By
MLM Team
on
2026年9月18日
in
合作伙伴
0
分享
文章
赞助内容
AI代理在搜索结果和文件检索上消耗大量token是众所周知的事实。它们会拉取数十个完整文件、日志和注释块，仅浏览这些匹配结果就可能消耗数万个token，更不用说代理重新运行查询时产生的递归循环。
像"查找咖啡店"这样简单的搜索请求，可能膨胀成包含嵌套对象、跟踪链接和元数据的复杂负载。其中大部分数据实际上并未被模型使用，但你仍需为每个token付费。不过存在减少token使用的方法。
SerpApi现在提供Markdown输出格式，可显著减少token数量。使用常规的JavaScript对象表示法（JSON）搜索"coffee"返回的结果需要24,723个token，而使用Markdown格式仅需6,435个token。这实现了74%的缩减，进一步过滤后甚至可以将token数量减少到1,298个。这种缩减可以使AI模型更高效，降低成本，或为其他信息保留更多上下文窗口空间。
JSON与Markdown对比
但具体是如何实现的？SerpApi的Markdown输出保留了信息内容，但剥离或重塑了那些会增加token数量但无助于模型推理的部分。根据SerpApi的文档和示例，通常会移除或转换以下内容：
- 跟踪链接和内部SerpApi URL：JSON响应通常包含serpapi_link、serpapi_amazon_link等字段，用于在SerpApi系统内进行查询优化或后续搜索。Markdown输出会移除这些内部路由信息，仅保留面向用户的链接。
- 图标和缩略图：许多结果对象包含对图标、缩略图或图片URL的引用，这些对用户界面有用但会增加token数量且无助于LLM理解。Markdown默认会移除这些内容。
- 嵌套元数据和重复字段：JSON保留数据的完整结构，包括分页对象、搜索元数据、每个结果的附加数组以及各部分的重复字段。Markdown将其扁平化为表格、YAML前置信息和内联链接。
- 标题/链接分离：在JSON中标题和链接是独立的键，通常伴随displayed_link、snippet等变体。Markdown将它们合并为包含原生链接的单行文本，减少键名和结构开销。
SerpApi尚未公布每个字段的具体token成本，但24,723到6,435的前后对比数据是权威数字。但可以明确的是：所有仅用于代码解析或UI渲染、而无助于模型阅读的内容，都是主要的token浪费来源。
Markdown不适用的场景
Markdown输出针对LLM和AI代理进行了优化，但不适合需要精确数据类型的代码处理。如果你的处理流程依赖精确的数字价格、坐标、浮点数评分或结构化数组进行后续处理，JSON仍然是更优选择。它使用相同的数据，消耗相同的积分，只是根据阅读者不同提供不同的数据呈现形式。
例如，Naver Shopping 的 JSON 结果会将 price、old_price、coupon_price 作为整数，rating 作为浮点数暴露出来，同时包含 reviews 和 stores 字段。这对定价引擎或分析任务来说非常理想。但对于只需要汇总热门产品的代理来说，这些类型字段反而过于冗余；Markdown 的表格行和内联链接能用更少的标记携带相同信息。
SerpApi 的解决方案
SerpApi 通过一个开关直接解决这个问题，该开关可通过查询参数、路由扩展或请求头启用。你可以通过以下方式请求 Markdown 输出：
- 在现有搜索调用中添加 output=md 参数，或
- 使用 /search.md 端点代替 /search，或
- 设置 Accept: text/markdown 请求头。
这项功能适用于所有 100+ SerpApi API，无需额外成本。它会返回 YAML 前置信息、结构化表格和原生内联链接，同时自动剥离内部追踪噪声和重复字段。如果你需要更精细的控制，SerpApi 的 json_restrictor（或 CLI 中的 --fields）允许你在服务器端仅选择特定字段，从而在数据跨网络传输前减少有效载荷体积。
用你自己的数据验证效果
你无需盲目相信基准数据。只需尝试一个你已经运行过的查询，添加 output=md 参数，然后自行统计响应前后的标记数量。再通过 json_restrictor 限制字段集后再次测量。这种差异就是你实际节省的标记数量，具体取决于你的引擎和工作流。
是时候考虑 Markdown 了吗？
Markdown 并不是万能方案。但确实，数据结构的形状会带来大多数人忽视的标记成本，这值得在所有数据输入模型的地方进行检查，而不仅仅是在 SerpApi 中。在智能体系统中，每次调用的小幅膨胀会快速累积，对有效载荷进行测量和重塑是你可以采取的更优策略之一。如果你想了解 Markdown 能实现什么并将其与 JSON 进行对比，可以查看 SerpApi 的新功能演示。
更多相关内容
- LLM 评估框架对比：如何真正...
- 配置 Google Colab AI 协助编码...
- 超越准确性：5 个真正重要的指标...
- 最佳 5 款智能体 AI 网站构建工具（真正可交付）
- 随机搜索与网格搜索用于函数优化
- 使用随机搜索进行超参数优化...