here's a prompt to improve your agent harness based on what we've learned at cursor. enjoy # Improv...

eric zakariasson 在 X 上的发言： "这里有一个提示，可以基于我们在 Cursor 的经验改进你的代理框架。享受 # 提高这个代理框架的标记效率 你正在开发一个 LLM 代理框架：系统提示、工具定义、请求组装、上下文缓存、压缩和检索… / X

eric zakariasson

@ericzakariasson

/

提升代理框架的令牌效率

你正在开发一个LLM代理框架：系统提示、工具定义、请求组装、上下文缓存、压缩和检索，以及工作如何在代理之间分配。在不降低其工作表现的前提下，使代理运行更便宜。

• 目标：降低每项完成任务的加权令牌成本。
• 约束：任务质量不得有可衡量的下降。按任务而非请求进行衡量。每次交互都会重新发送前缀（工具、指令、设置和之前的对话），因此某些减少单次请求大小但增加交互次数的改动可能反而增加成本。

以下数据来自实际测试：

• 通过优化提示压缩、工具卸载、缓存布局、稀疏行号和子代理调优，某项目成功将令牌成本降低了7%。
• 在另一案例中，调整缓存断点和输出格式使整体成本下降了46.9%。

技术实施要点

1. 代理框架映射

• 成本来源分析：按源×计费类型统计成本，突出显示占比最大的三个来源
• 基准测试：在实施前完成基线测试，记录原始性能指标

2. 优化层级

| 优化层级 | 实施内容 | 预计节省 | 验证方法 | |---------|---------|---------|---------| | 基础层 | 确定性序列化、工具顺序标准化 | 15-20% | 对比测试 | | 缓存层 | 显式缓存断点、挥发性内容隔离 | 25-35% | 性能基准 | | 输出层 | 大输出文件存储、推理项回传 | 10-18% | 日志分析 | | 高级层 | 工具卸载、子代理提示优化 | 5-12% | A/B测试 |

3. 实施步骤

1. 系统提示重构

• 保留：核心业务逻辑相关指令
• 重写：模糊表述和冗余说明
• 删除：过时的上下文依赖
• 移动：环境特定配置到外部文件

1. 缓存优化

• 在请求间保持工具顺序一致性
• 将挥发性内容移出缓存前缀
• 添加显式缓存断点标记

1. 输出管理

• 大型输出强制写入文件（而非截断）
• 推理项丢失时自动回传
• 重复工具错误的自动修复

验证与部署

验证流程

• 离线测试：使用真实用户场景的固定任务集（建议包含50%模糊表述任务）
• 在线测试：对每个改动进行A/B测试，主要指标为每项任务成本
• 质量监控：跟踪任务成功率、工具调用错误率、缓存命中率

部署标准

• 仅当成本下降且所有防护指标未出现显著退化时部署
• 记录所有无效改动（null结果）

常见陷阱

• 要求模型使用更少令牌或减少工作量
• 截断工具输出
• 为节省输入令牌丢弃推理项
• 缓存前缀包含挥发性内容或请求间工具顺序变化
• 卸载模型首次交互需要的工具
• 过度强调的提示（MUST/NEVER/IMPORTANT/全大写）
• 强制使用模型未训练过的输出格式
• 优化原始令牌数量而非成本
• 交互中切换模型
• 添加成为瓶颈的协调层

最终报告

1. 框架映射与基线：成本来源×计费类型分析，突出最大成本源
2. 优化清单：按层级列出改动内容、预估节省、质量风险、验证方法和回滚方案
3. 实施记录：包含系统提示差异的逐行说明（保留/重写/删除/移动）
4. 测试计划：针对标记改动的验证方案
5. 未覆盖项：无法定位或测量的领域

注意：所有改动必须通过独立可回滚的提交实现，重大架构变更需通过功能标志进行灰度测试。

8:12 PM · 2026年9月23日

·

323.2K

浏览量

210

143

3.2K

7.8K