LLM Evaluation Frameworks Compared: How to Actually Measure What Your Model Does
LLM评估框架存在可测量偏差,RAGAS/DeepEval/Promptfoo各有适用场景,需结合生产监控工具实现完整评估体系。
入选理由:RAGAS/DeepEval/Promptfoo三框架分别适用于不同评估场景,成熟团队常并行使用
产品
别名:LangSmith平台
生产环境监控平台,支持持续评估
已跟踪 30 条高相关材料
最近变化
2026-07-14 · LangChain团队将于夏季举办AMA系列活动
为什么值得关注
LangSmith 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
we did a bunch of work to standardize how coding agents trace to langsmith
Harrison Chase(@hwchase17) · 8.5 分
LangSmith 现已支持 Cursor、Copilot 等编码代理的标准化追踪,实现无需额外配置的全链路可观测性。
Cursor, Copilot, Pi, and OpenCode tracing: Now in LangSmith. Full session observability, no extra i...
LangChain(@LangChainAI) · 8.5 分
LangSmith新增对Cursor、Copilot等代码代理的全会话追踪功能,支持无需额外配置的稳定键标识与运行树分析。
We built a tracing plugin for every Codex session into LangSmith. Now every turn (tool calls, token ...
LangChain(@LangChainAI) · 8.5 分
LangChain为Codex会话集成LangSmith追踪插件,实现工具调用、令牌使用等操作的实时追踪。
已收录 30 条与 LangSmith 相关的内容,按评分排序。
LLM评估框架存在可测量偏差,RAGAS/DeepEval/Promptfoo各有适用场景,需结合生产监控工具实现完整评估体系。
入选理由:RAGAS/DeepEval/Promptfoo三框架分别适用于不同评估场景,成熟团队常并行使用
LangSmith 现已支持 Cursor、Copilot 等编码代理的标准化追踪,实现无需额外配置的全链路可观测性。
入选理由:LangSmith 支持 Cursor/Copilot/Pi/OpenCode 四大编码代理的统一追踪
LangChain为Codex会话集成LangSmith追踪插件,实现工具调用、令牌使用等操作的实时追踪。
入选理由:LangSmith插件可捕获Codex会话中的工具调用、令牌使用和子代理线程数据
LangSmith新增对Cursor、Copilot等代码代理的全会话追踪功能,支持无需额外配置的稳定键标识与运行树分析。
入选理由:LangSmith支持Cursor/Copilot/Pi/OpenCode四款代码代理的统一追踪
施耐德电气通过自托管LangSmith平台管理全球60+ AI代理,覆盖100+国家,其AI助手服务16万员工,验证了LLMOps在大规模AI部署中的可行性。
入选理由:LangSmith平台支持跨100+国家的AI代理实时追踪
GLM 5.2与dcode结合实现开源模型编码突破,性能接近闭源模型且成本更低。
入选理由:GLM 5.2在终端基准测试中得81分,仅比Opus/GPT 5.5低2分
LangSmith 通过将代理的交互痕迹转化为持久记忆,实现代理的持续学习与行为优化。
入选理由:代理的短期记忆用于当前任务,长期记忆用于跨运行的行为改进。
LangSmith 引入了‘睡眠时间计算’机制,通过后台分析代理轨迹并更新记忆存储,提升智能代理的长期记忆能力。
入选理由:LangSmith 支持通过后台进程分析代理轨迹并更新记忆存储。
LangChain 推出 Engine,通过自动化分析代理日志和测试,提升代理开发效率。
入选理由:Engine 可自动分析代理日志并生成修复建议。
可观测性对于智能代理是必不可少的,需结合 LangGraph 和 LangSmith 工具实现。
入选理由:LangGraph 用于智能代理的编排,LangSmith 用于追踪、评估和回归测试。
LangSmith Sandboxes通过隔离执行环境安全运行不受信任的代理代码,有效防止如'sci-holude'供应链攻击等风险,适用于AI代理在软件工程、数据分析等场景。
入选理由:75% of Google code is AI-generated, 41% of GitHub commits from AI, 需LangSmith Sandboxes防止安全风险。
Google ADK 代理现可直接部署到 LangSmith Deployments,使用包装器包可为使用 Google Agent Development Kit 构建的代理提供生产级持久性、流式传输和跟踪功能。
入选理由:A new wrapper package integrates Google ADK agents with LangSmith Deployments, allowing for production deployment.
LangSmith 沙盒 GA 发布新功能:快照与低成本分支,支持高效并行开发与错误恢复。
入选理由:通过快照功能可捕获运行中的沙盒状态,便于后续恢复。
在金融服务领域,解释结论的推导过程与结论本身同等重要;LangChain通过LangSmith工具链记录每个查询、响应和中间结果,实现决策过程的可追溯性,确保AI代理输出的透明性和合规性。
入选理由:LangSmith用于捕获AI代理在金融场景中的每一步操作,包括所有查询、响应和中间结果。
AI在金融代理任务中仍需更高质量数据以生成复杂答案,LangChain团队通过Deep Agents、LangSmith和You.com Finance API实现显著性能跃升,在多个竞争基准中表现突出。
入选理由:金融AI代理需高质量结构化数据支持,尤其在宏观研究场景中。
Rippling 在6个月内通过 Deep Agents 和 LangSmith 将AI功能部署至数百万用户,展示了高效生产级AI开发流程。
入选理由:Rippling 在6个月内将AI功能部署至数百万用户,显著提升产品智能化水平。
Harbor 是一个用于运行更长时间、更状态化的代理评估的框架,已成为行业标准。
入选理由:Harbor 框架支持长时间运行和状态化的代理评估。
LangSmith 现已作为全托管 SaaS 服务在 AWS Marketplace 上提供,支持多种 AWS 服务集成。
入选理由:LangSmith 可在 AWS 上部署,使用 Amazon EKS/EC2、RDS、ElastiCache 和 S3 等服务。
LangChain 推出开源项目 DeepAgents,提供模型无关的代理框架,配套课程涵盖核心能力与实践。
入选理由:DeepAgents 是 LangChain 推出的开源代理框架,支持模型无关。
通过pipecat_ai工具可将LangGraph代理快速转换为语音代理,LangSmith支持全流程追踪。
入选理由:使用pipecat_ai无需重建即可实现语音代理转换
一个由 Deep Agents、LangSmith 和 YouDot 金融研究 API 驱动的宏观经济研究代理,能够分析 GDP 数据、检测异常、调查行业层面的结构性与周期性驱动因素,并生成结构化且带引用的简报。
入选理由:该代理利用 LangSmith 和 YouDot Finance Research API 实现自动化宏观经济分析
LangChain Academy推出新课程,系统讲解Deep Agents开发框架,包含harness机制与LangSmith工具的实践应用。
入选理由:课程详解harness的4大核心能力:记忆、工具调用、状态管理、错误处理
文章介绍了如何通过迭代改进将代理从首次运行提升至生产就绪状态,但信息密度较低,缺乏具体技术细节。
入选理由:通过迭代循环改进代理以达到生产就绪状态。
LangSmith 现已支持 HarborFramework 的沙箱环境,可通过 pip 安装并使用 API 密钥进行认证。
入选理由:安装命令为 pip install 'harbor[langsmith]
LangSmith 提供工具帮助分析代理在生产环境中的问题,但内容信息密度较低,缺乏具体机制和实践案例。
入选理由:LangSmith 可用于分析代理在生产环境中的问题。
LangChain 推出 Managed Deep Agents 与 LangSmith Sandboxes 的集成,允许代理安全执行代码。
入选理由:Managed Deep Agents 现在支持与 LangSmith Sandboxes 的集成。
文章为LangChain团队夏季AMA活动宣传,未提供具体技术内容或工程实践指导。
入选理由:LangChain团队将于夏季举办AMA系列活动
文章内容信息密度低,缺乏技术深度和具体实践细节。
入选理由:文章未提供具体技术机制或架构细节。
LangSmith 是一个用于 AI Agent 和 LLM 可观测性及评估的平台,但文章内容信息量低,缺乏深度技术细节。
入选理由:LangSmith 是一个 AI Agent 和 LLM 可观测性平台。
Odessia 是一个由 LangChain 技术支持的 AI 驱动的旅行代理,允许用户通过一次对话规划和预订整个行程。
入选理由:Odessia 使用 LangSmith 和 LangGraph 构建