https://t.co/IFXwxW8Oac
本文介绍了如何通过Auth Proxy来保护LangSmith代理沙箱的网络访问,确保在大规模部署代理时的安全性。Auth Proxy通过在网络层控制和管理代理与外部服务的交互,实现了凭据的安全管理、网络访问的显式控制以及团队职责的清晰分离。
入选理由:Auth Proxy使API密钥不进入运行时,从而减少因提示注入、恶意依赖、意外日志记录和模型错误导致的损害。
产品
别名:LangSmith platform
LangChain 推出的可观测性与调试平台,含 Context Hub、Tracing、Evaluations 等模块。
已收录 20 条与 LangSmith 相关的内容,按评分排序。
本文介绍了如何通过Auth Proxy来保护LangSmith代理沙箱的网络访问,确保在大规模部署代理时的安全性。Auth Proxy通过在网络层控制和管理代理与外部服务的交互,实现了凭据的安全管理、网络访问的显式控制以及团队职责的清晰分离。
入选理由:Auth Proxy使API密钥不进入运行时,从而减少因提示注入、恶意依赖、意外日志记录和模型错误导致的损害。
LangChain提出Agent开发生命周期(ADLC),将智能体开发划分为构建、测试、部署、监控四个阶段,强调其与传统软件开发的本质差异在于输入输出空间的无限性和非确定性,成功团队的核心模式是"早发布、快迭代"。
入选理由:Agent输入空间无限(自然语言/多模态),输出因LLM非确定性而难以预测,导致传统软件测试方法失效
本文介绍了七款领先的LLM可观测性工具,帮助AI工程师监控、评估和调试生产环境中的大型语言模型应用。
入选理由:LangSmith 提供全面的开发和生产生命周期支持,适用于使用 LangChain 或 LangGraph 的团队。
在AI代理系统中使用沙箱环境可显著降低生产风险,尤其在执行高危操作时能有效隔离错误、防止数据污染,并提升调试效率。
入选理由:90%的生产级AI代理应使用沙箱以降低运行风险。
LangSmith 的 Context Hub 提供集中化、版本化的上下文管理方案,解决 AI Agent 因上下文缺失、过时或分散导致的行为失效问题;通过 agent.md 合约与 memory 文件夹实现人类可编辑、Agent 可读写的协同机制。
入选理由:Context Hub 支持 Markdown 编辑 agent.md(代理操作合约)与 /memories/ 路径下的记忆文件,实现人类与 Agent 共享上下文源
LangChain 发布 Mission Control,一个解耦的集群内应用程序,用于部署、配置、观察和调试自托管的 LangSmith 和相关 LangChain 基础设施。
入选理由:Mission Control 运行在 Kubernetes 内部,本地访问。
顶尖AI代理开发者普遍具备系统性思维与持续迭代能力,前者用于任务分解与流程设计,后者依赖真实数据优化行为表现。
入选理由:系统性思维:将复杂任务拆解为可验证的子步骤,提升代理可靠性。
DataboxHQ 使用 LangSmith 评估其多轮分析师代理 Genie,通过 LangSmith 的功能如观察、评估和改进,持续优化 Genie 的性能。
入选理由:LangSmith 提供了观察和评估多轮对话代理的功能。
LangChain Academy推出了一门关于监控生产代理的最新课程,展示了如何使用LangSmith来跟踪成本、通过轨迹分析发现趋势以及监控质量和延迟。这门课程是免费的,适合希望优化其AI代理性能的开发者。
入选理由:LangSmith提供了一套工具,可以帮助开发者有效地监控和管理其AI代理的生产环境。
LangSmith Engine 目前仅支持 LangSmith 的追踪数据,但接入非常简单,支持 OTEL 和 30+ 框架。
入选理由:LangSmith 接入支持 OTEL 协议和 30+ 框架
本文提出了一种类似 Dependabot 的自动化修复机制,用于检测和修复 LLM agent 失败,结合 LangSmith 引擎实现自动补救与人工审核。
入选理由:LangSmith 引擎可作为 LLM agent 失败的‘烟雾探测器’,用于实时监控。
LangSmith下一阶段通过SmithDB基础层提升trace数据实用性,不仅是加载速度优化。这是LangChain官方发布的agent可观测性数据层架构升级预告。
入选理由:SmithDB是LangSmith新阶段的基础数据层,专为agent可观测性设计
LangSmith Engine 自动化了改进代理的过程,比预期更受欢迎。
入选理由:LangSmith Engine 自动化了代理改进过程。
LangSmith LLM Gateway 提供成本控制功能,防止代理程序在一夜之间消耗大量资金。
入选理由:LangSmith LLM Gateway 可以防止代理程序过度消耗资金。
LangSmith沙箱已全面上线,为Agent提供真实的文件系统、shell和包管理器,与基础设施隔离,使用相同的API密钥认证,无需构建或管理新的运行时环境。
入选理由:LangSmith沙箱现已正式发布,支持深度Agent、Open SWE代码或自定义代码
LangChain 在 X 上发布了一系列新功能,包括 LangSmith Engine、SmithDB 和 Deep Agents 等,但内容较为简略,缺乏技术深度。
入选理由:LangChain 推出了 LangSmith Engine 和 SmithDB 等新工具。
LangSmith LLM Gateway 提供运行时治理,集成到代理生命周期中。
入选理由:LangSmith LLM Gateway 集成了运行时治理。
Harrison Chase指出AI代理系统普遍存在追踪数据泛滥但缺乏有效反馈闭环的问题,团队常忽视记录具体错误原因,导致调试与迭代困难。
入选理由:AI代理系统中日志追踪普遍但反馈闭环缺失,影响问题定位与模型迭代。
LATAM航空在LangChain主办的Agent Conference上分享其两个生产级AI代理的落地经验:构建简单,规模化运维才是核心挑战。
入选理由:构建AI代理门槛降低,但规模化部署与可观测性仍是关键瓶颈。
该视频标题为“如何用LangSmith管理每月3亿次代理运行”,但实际内容为空,无法提供具体信息。
入选理由:无具体内容可供总结