LangSmith 推出 AI Search，用自然语言按行为搜索 agent 轨迹

LangSmith 推出 AI Search，用自然语言按行为搜索 agent 轨迹 · AIHOT

LangChain：Blog

·

2026-10-13 20:59

3 小时前

精选

AI 评分

60

LangSmith 推出 AI Search，用自然语言按行为搜索 agent 轨迹

Search agent traces by behavior with AI Search in LangSmith

AI 导读

LangChain 在 LangSmith 中推出 AI Search å ¬æµ‹ï¼Œå è®¸ç”¨è‡ªç„¶è¯­è¨€æè¿°è¡Œä¸ºæ¥æŸ¥è¯¢ agent 轨迹，例如 PII æ³„éœ²æˆ–ç”¨æˆ·å—æŒ«ç­‰æ— æ³•é æ ‡ç­¾å’Œå ¨æ–‡æ£€ç´¢å›žç­”çš„é—®é¢˜ã€‚

推荐理由

原文详述了 AI Search 用决策模型逐条读取轨迹的搜索机制和 8K token é¢„ç®—çš„å–èˆè®¾è®¡ï¼Œè¯»è€ å¯ä»¥äº†è§£å ¶ä¸Žå‘é‡æœç´¢çš„å·®å¼‚å’Œå®žçŽ°ç»†èŠ‚ã€‚

正文 · AI 翻译

Agent traces ä½“é‡å¤§ã€å¤šæ¨¡æ€ä¸”ä¿¡æ¯å¯†é›†ã€‚å®ƒä»¬è®°å½•äº†ç”¨æˆ·è¾“å ¥ã€agent å¦‚ä½•å“åº”ä»¥åŠé€»è¾‘å¤±è´¥ç­‰å ³é”®ç»†èŠ‚ã€‚è¿™ä½¿å¾— traces 对于理解用户行为和提升 agent æ€§èƒ½å ·æœ‰ç‹¬ç‰¹ä»·å€¼ï¼Œä½†ä¼ ç»Ÿæ•°æ®å¹³å°å¹¶éžä¸ºè¿™ç§å¤§åž‹ã€éžç»“æž„åŒ–è´Ÿè½½è€Œæž„å»ºã€‚

要让 trace 数据发挥作用，团队需要能够支撑完整生命周期的基础设施：摄取并存储高并发的运行数据、灵活查询 tracesï¼Œå¹¶å°†å ¶è½¬åŒ–ä¸ºç”¨äºŽè°ƒè¯•ã€äº§å“åˆ†æžä»¥åŠæ ‡æ³¨ç­‰è¿è¥å·¥ä½œæµçš„è§†å›¾ã€‚è¿™å°±æ˜¯æˆ‘ä»¬æž„å»º SmithDB çš„åŽŸå› â€”â€”å®ƒæ˜¯ä¸“ä¸º LangSmith 中的 trace æ•°æ®æ‰“é€ çš„æ•°æ®åº“ï¼Œä»¥åŠæœ€è¿‘çš„ Custom Apps ，让团队能够在 traces 之上创建定制化视图。

今天，我们新增了 AI Search ，一种使用自然语言查询 traces 的新方式。

我们为什么构建 AI Search

每个 trace éƒ½åŒ å«ç”¨æˆ·è¾“å ¥ã€agent æŽ¨ç†ã€å·¥å ·è°ƒç”¨å’Œå“åº”ï¼Œè¿™äº›ä¿¡æ¯è¶³ä»¥ç†è§£ agent 在哪些方面表现良好、在哪些方面失败。使用 LangSmith 的团队经常挖掘他们的 agent traces，为 eval dataset 寻找示例，或为 annotation queue ä¸­çš„å®¡æ ¸äººå‘˜å¯»æ‰¾å¯¹è¯ã€‚

然而，找到合适的 traces 可能很繁琐。像“是否泄露了 PIIï¼Ÿâ€æˆ–â€œç”¨æˆ·æ˜¯å¦æ„Ÿåˆ°æ²®ä¸§ï¼Ÿâ€è¿™æ ·çš„é—®é¢˜ï¼Œå¹¶ä¸èƒ½æ¸ æ™°åœ°æ˜ å°„åˆ° tags 或 metadata è¿™æ ·çš„å•ä¸€ trace å±žæ€§ä¸Šï¼Œä¹Ÿæ— æ³•é€šè¿‡å ¨æ–‡æœç´¢æ¥å›žç­”ã€‚å®ƒä»¬éœ€è¦ç†è§£ trace çš„å† å®¹ã€‚åœ¨æ­¤ä¹‹å‰ï¼Œè¿™æ„å‘³ç€è¦æå‰è®¾ç½®ä¸€ä¸ª evaluatorï¼Œæˆ–è€ æ‰‹åŠ¨ç¿»é˜ traces。

这就是我们构建 AI Search çš„åŽŸå› ã€‚ä½ æè¿°ä½ æ‰€å¯»æ‰¾çš„è¡Œä¸ºï¼ŒLangSmith 就会返回发生该行为的 tracesã€‚è¿™ä½¿ä½ èƒ½å¤Ÿæ‰¾åˆ°å¤§æµ·æžé’ˆèˆ¬çš„ traces，并临时搜索棘手的模式。

ä½ å¯ä»¥æœç´¢ä»€ä¹ˆ

ä½ å¯ä»¥æœç´¢ trace å† å®¹ä¸­å‡ºçŽ°çš„ä»»ä½•å† å®¹ã€‚ä½ å¯èƒ½ä¼šå¯»æ‰¾ä¸€ä¸ªå£°ç§°å®Œæˆäº†ä»»åŠ¡ä½†å®žé™ å¹¶æœªå®Œæˆçš„ agent、一个似乎感到沮丧或对答案提出反驳的用户、一个泄露了 PII çš„æ¨¡åž‹è¯·æ±‚ï¼Œæˆ–ä¸€ä¸ªè¯•å›¾å–æ¶ˆè®¢é˜ çš„äººã€‚äº§å“å›¢é˜Ÿå¯ä»¥æœç´¢â€œå¯¹æˆ‘ä»¬ä¸æ”¯æŒçš„é›†æˆçš„è¯·æ±‚â€ã€â€œæåˆ°äº†ç«žäº‰å¯¹æ‰‹â€æˆ–â€œç”¨æˆ·å¯¹ onboarding 感到困惑”，并以用户自己的话看到产品在哪些方面存在不足。

AI Search è¿˜å¯ä»¥ä¸Žä½ å·²ç»åœ¨ä½¿ç”¨çš„è¿‡æ»¤å™¨é åˆä½¿ç”¨ï¼Œå› æ­¤æœç´¢å¯ä»¥ä» é’ˆå¯¹å‡ºé”™çš„ traces è¿è¡Œï¼Œæˆ–ä» é’ˆå¯¹å¸¦æœ‰ç‰¹å®š tag 的 traces 运行。

我们是如何构建的

为什么让模型读取每一个 trace

å‘é‡æœç´¢æ˜¯æŒ‰è¯­ä¹‰è€Œéžç²¾ç¡®è¯è¯­è¿›è¡Œæœç´¢çš„å¸¸ç”¨æ–¹å¼ã€‚å®ƒå°†ä½ çš„æŸ¥è¯¢å’Œæ¯ä¸ª trace 转换为一个 embedding，即一串捕捉文本主题的简短数字列表。然后它返回 embedding ä¸Žä½ çš„æŸ¥è¯¢æœ€æŽ¥è¿‘çš„ tracesã€‚è¿™å¯¹äºŽä¸»é¢˜æœç´¢å¾ˆæœ‰æ•ˆï¼Œæ¯”å¦‚æŸ¥æ‰¾å ³äºŽè´¦å•çš„å¯¹è¯ã€‚ä½†ä¸€ä¸ª embedding 将整个 trace åŽ‹ç¼©è¿›ä¸€ä¸ªå°å‘é‡ä¸­ï¼Œè€Œè¿™ç§åŽ‹ç¼©æ˜¯æœ‰æŸçš„ã€‚ä¸Žä½ çš„æŸ¥è¯¢ç›¸å ³çš„é‡è¦ç»†èŠ‚å¯èƒ½ä¼šä¸¢å¤±ã€‚ä¸€ä¸ª agent 成功完成工作的 trace 和一个只是声称完成了工作的 traceï¼Œæœ€ç»ˆå¯èƒ½å¾—åˆ°å‡ ä¹Žç›¸åŒçš„ embedding。要区分它们，需要一个模型同时读取 trace çš„å®žé™ æ–‡å­—å’Œä½ çš„é—®é¢˜ï¼Œä»Žè€Œå¯¹å‘ç”Ÿäº†ä»€ä¹ˆè¿›è¡ŒæŽ¨ç†ã€‚

ç›´åˆ°æœ€è¿‘ï¼Œåœ¨æœç´¢æ—¶è¿™æ ·åšä»ç„¶å¤ªæ ¢ã€å¤ªæ˜‚è´µã€‚å¿«é€Ÿå†³ç­–æ¨¡åž‹æ”¹å˜äº†è¿™ä¸€ç‚¹ã€‚å®ƒä»¬èƒ½é’ˆå¯¹è¾“å ¥å¿«é€Ÿä¸”ä½Žæˆæœ¬åœ°å›žç­”ä¸€ä¸ªç‹­çª„çš„é—®é¢˜ï¼Œè¶³ä»¥å¤§è§„æ¨¡è¿è¡Œã€‚AI Search 将决策模型推理与 SmithDB é å¯¹ï¼ŒåŽè€ æ˜¯æˆ‘ä»¬ç”¨äºŽæ™ºèƒ½ä½“å¯è§‚æµ‹æ€§çš„æ•°æ®å±‚ã€‚å½“è¿½è¸ªæ•°æ®åˆ°è¾¾æ—¶ï¼ŒSmithDB ä¼šå°†å ¶è½¬åŒ–ä¸ºè½¨è¿¹ã€‚å½“ä½ è¿è¡Œæœç´¢æ—¶ï¼Œä½ çš„è¿‡æ»¤å™¨ä¼šç¼©å°å€™é€‰èŒƒå›´ï¼Œå†³ç­–æ¨¡åž‹åˆ™æ ¹æ®ä½ çš„æè¿°é€ä¸€æ£€æŸ¥å‰©ä½™çš„è½¨è¿¹ã€‚

è¿½è¸ªæ•°æ®ä½“ç§¯åºžå¤§ä¸”æ ¼å¼ç¹å¤š

追踪数据来自多种来源：OpenAI 和 Anthropic SDK、LangChain、LangGraph、Vercel AI SDK、OpenTelemetry 等。每种来源记录消息的方式都略有不同。追踪数据还会自我重复。智能体通常会在每次 LLM è°ƒç”¨æ—¶é‡æ–°å‘é€å¯¹è¯åŽ†å²ï¼Œå› æ­¤ç¬¬ä¸€æ¡æ¶ˆæ¯ä¼šåœ¨å ¶åŽçš„æ¯æ¬¡è°ƒç”¨ä¸­å†æ¬¡å‡ºçŽ°ã€‚

SmithDB 会将这些追踪数据转化为每个会话的 轨迹 ã€‚è½¨è¿¹æ˜¯æ™ºèƒ½ä½“å·¥ä½œçš„ç²¾ç‚¼è§†å›¾ï¼šæ¯æ¡æ¶ˆæ¯ã€å·¥å ·è°ƒç”¨å’Œå·¥å ·ç»“æžœéƒ½åªåˆ—å‡ºä¸€æ¬¡ã€‚SmithDB åœ¨è¿½è¸ªæ•°æ®åˆ°è¾¾æ—¶æž„å»ºå®ƒï¼Œå¹¶å°†æ‰€æœ‰æ”¯æŒçš„æ ¼å¼ç»Ÿä¸€ä¸ºç›¸åŒçš„å½¢æ€ã€‚

AI Search åˆ†æžçš„æ˜¯è½¨è¿¹è€ŒéžåŽŸå§‹è¿½è¸ªæ•°æ®ã€‚ç”±äºŽæ¯ç§æ ¼å¼éƒ½å ·æœ‰ç›¸åŒçš„è½¨è¿¹å½¢æ€ï¼Œä¸€æ¬¡æœç´¢å³å¯é€‚ç”¨äºŽåŸºäºŽä¸åŒ SDK æž„å»ºçš„æ™ºèƒ½ä½“ã€‚ç§»é™¤é‡å¤æ¶ˆæ¯å¯å‡å°‘ä¸Šä¸‹æ–‡è†¨èƒ€ï¼Œä»Žè€Œä½¿æœç´¢è¿è¡Œæ›´å¿«ã€‚è½¨è¿¹è¿˜è¦†ç›–æ•´ä¸ªä¼šè¯ï¼Œå› æ­¤å¦‚æžœä½ æœç´¢â€œç”¨æˆ·è¯•å›¾å–æ¶ˆâ€ï¼Œæ¨¡åž‹ä¼šçœ‹åˆ°ç”¨æˆ·é—®äº†ä»€ä¹ˆã€æ™ºèƒ½ä½“åšäº†ä»€ä¹ˆï¼Œä»¥åŠå¯¹è¯å¦‚ä½•ç»“æŸã€‚

每次 LLM 调用都会重新发送整个历史。轨迹视图只展示会话一次。

轨迹仍然很长

ç§»é™¤é‡å¤å† å®¹æœ‰æ‰€å¸®åŠ©ï¼Œä½†æ™ºèƒ½ä½“è½¨è¿¹ä»ç„¶å¾ˆé•¿ã€‚ä¸ºäº†äº†è§£åˆ°åº•æœ‰å¤šé•¿ï¼Œæˆ‘ä»¬ä»Ž Open SWE 中随机抽取了 150 段对话，这是 LangChain å›¢é˜Ÿæ¯å¤©ä½¿ç”¨çš„å¼€æºç¼–ç æ™ºèƒ½ä½“ã€‚æ¯ä¸ªä»»åŠ¡éƒ½åœ¨è‡ªå·±çš„æ²™ç®±ä¸­è¿è¡Œï¼Œå¯è®¿é—® shellï¼Œå¹¶å¯å°†å·¥ä½œç§»äº¤ç»™å­æ™ºèƒ½ä½“ï¼Œå› æ­¤å¯¹è¯ä¼šå˜å¾—å¾ˆå¤§ã€‚

å³ä¾¿æ ·æœ¬å¦‚æ­¤ä¹‹å°ï¼Œå ¶ä¸­å‡ æ®µå¯¹è¯ä¹Ÿè¶ è¿‡äº†ä¸€ç™¾ä¸‡ä¸ª tokenã€‚æœç´¢ç½•è§è¡Œä¸ºæ„å‘³ç€è¦é€šè¯»å¤§é‡å¯¹è¯ï¼Œå› æ­¤ AI Search ç»å¸¸é‡åˆ°è¿™ç§è§„æ¨¡çš„å¯¹è¯ï¼Œæ— æ³•è¯»å–æ¯ä¸€ä¸ª token。

不过，大多数问题并不需要所有这些 tokenã€‚è®¸å¤šé—®é¢˜å ³ä¹Žç”¨æˆ·é—®äº†ä»€ä¹ˆä»¥åŠæ™ºèƒ½ä½“å¦‚ä½•å›žå¤ã€‚åœ¨ä¸­ä½å¯¹è¯ä¸­ï¼Œå ¶ 72K 个 token 中约有 2K 来自用户消息和智能体回复。约 85% æ˜¯å·¥å ·è¾“å‡ºï¼Œä¸»è¦æ˜¯æ–‡ä»¶è¯»å–å’Œ shell 命令。

💡 å³ä½¿è¿½è¸ªæ•°æ®è¶ è¿‡ä¸€ç™¾ä¸‡ tokenï¼Œè®¸å¤šå ³äºŽæ™ºèƒ½ä½“è¡Œä¸ºçš„é—®é¢˜ä¹Ÿå¯ä»¥ç”¨å‡ åƒä¸ª token 来回答。

‍

每条轨迹都会获得固定的 token é¢„ç®—ï¼ŒæŒ‰ä¼˜å ˆçº§é¡ºåºå¡«å ã€‚ç”¨æˆ·æ¶ˆæ¯å’Œæ™ºèƒ½ä½“å¯¹ç”¨æˆ·çš„å›žå¤ä¼˜å ˆæ”¾å ¥ã€‚å‰©ä½™é¢„ç®—åˆ†é ç»™å ¶ä»–æ‰€æœ‰å† å®¹ï¼šä¸­é—´ AI æ¶ˆæ¯ï¼ˆæ™ºèƒ½ä½“çš„æŽ¨ç†å’Œå·¥å ·è°ƒç”¨ï¼‰ã€å·¥å ·ç»“æžœå’Œç³»ç»Ÿæ¶ˆæ¯ã€‚å¦‚æžœä¸‹ä¸€æ¡æ¶ˆæ¯åªèƒ½éƒ¨åˆ†æ”¾å ¥ï¼Œåˆ™å¯¹å ¶è¿›è¡Œè£å‰ªä»¥å¡«æ»¡é¢„ç®—ï¼Œå ¶åŽçš„å† å®¹åˆ™è¢«ä¸¢å¼ƒã€‚

AI Search æŒ‰ä¼˜å ˆçº§é¡ºåºå¡«å 8K token 预算，然后按原始顺序将保留的消息发送给决策模型。

æœç´¢å¿ é¡»åœ¨å¤§è§„æ¨¡ä¸‹ä¿æŒå¿«é€Ÿ

SmithDB 旨在摄取并扫描大量 agent trace æ•°æ®ã€‚å½“ä½ è¿è¡Œæœç´¢æ—¶ï¼Œç»“æž„åŒ–è¿‡æ»¤å™¨ä¼šå ˆç¼©å°å€™é€‰èŒƒå›´ã€‚éšåŽï¼Œå†³ç­–æ¨¡åž‹ä¼šæ ¹æ®ä½ çš„æè¿°é€ä¸€æ£€æŸ¥å‰©ä½™çš„è½¨è¿¹ï¼Œè®¸å¤šæ£€æŸ¥æ˜¯å¹¶è¡Œè¿›è¡Œçš„ã€‚å½“æ¨¡åž‹æ£€æŸ¥ä¸€æ‰¹è½¨è¿¹æ—¶ï¼ŒSmithDB å·²ç»åœ¨èŽ·å–å¹¶å‡†å¤‡ä¸‹ä¸€æ‰¹ã€‚åŒ¹é ç»“æžœä¸€ç»å‘çŽ°ä¾¿ä¼šæµå¼è¿”å›žï¼Œå› æ­¤ä½ æ— éœ€ç­‰å¾ å®Œæ•´æ‰«æç»“æŸã€‚

ç»“æž„åŒ–è¿‡æ»¤å™¨ç¼©å°å€™é€‰èŒƒå›´ï¼Œæ¨¡åž‹é€ä¸€æ£€æŸ¥æ¯æ¡è½¨è¿¹ï¼ŒåŒ¹é ç»“æžœä¸€ç»å‘çŽ°ä¾¿æµå¼è¾“å‡ºã€‚

接下来是什么

æˆ‘ä»¬ä»åœ¨äº†è§£äººä»¬æœ€å¸¸æå‡ºå“ªäº›é—®é¢˜ã€‚æœ€éš¾åˆ†ç±»çš„å¯¹è¯æ˜¯é‚£äº›å·®å¼‚å¾®å¦™çš„å¯¹è¯ã€‚åŒºåˆ†â€œç”¨æˆ·æ”¾å¼ƒäº†â€å’Œâ€œç”¨æˆ·å¾—åˆ°äº†æ‰€éœ€å† å®¹åŽç¦»å¼€â€ï¼Œå¯èƒ½å–å†³äºŽä¸€æ®µé•¿è½¨è¿¹ä¸­çš„å‡ ä¸ªå›žåˆã€‚æˆ‘ä»¬æƒ³çœ‹çœ‹ï¼Œä¸€ä¸ªåœ¨è½¨è¿¹ä¸Šå¾®è°ƒè¿‡çš„æ¨¡åž‹èƒ½å¦æ›´å¯é åœ°åŒºåˆ†å®ƒä»¬ã€‚

当答案存在于用户和 agent 所说的话中时，token é¢„ç®—æ•ˆæžœå¾ˆå¥½ã€‚å ¶ä»–é—®é¢˜åˆ™éœ€è¦ä¸åŒçš„è¯æ®ã€‚agent å¿½ç•¥å·¥å ·é”™è¯¯ï¼Œåªä¼šä½“çŽ°åœ¨å·¥å ·ç»“æžœä¸­ã€‚æˆ‘ä»¬æ­£åœ¨æŽ¢ç´¢æ ¹æ®é—®é¢˜é€‰æ‹©ä¸Šä¸‹æ–‡çš„æ–¹æ³•ï¼Œä»¥åŠèƒ½æ˜¾ç¤ºæ¨¡åž‹ä½•æ—¶ä¸ç¡®å®šçš„ä¿¡å·ï¼Œä»¥ä¾¿å®ƒèƒ½å¸¦ç€æ›´å¤šä¸Šä¸‹æ–‡è¿›è¡Œç¬¬äºŒè½®å¤„ç†ã€‚

æˆ‘ä»¬è¿˜å¸Œæœ›è¶ è¶Šç®€å•çš„åŒ¹é åˆ—è¡¨ï¼Œé€šè¿‡å°†ç›¸ä¼¼ç»“æžœåˆ†ç»„æˆ–æ€»ç»“å®ƒä»¬çš„å ±åŒç‚¹æ¥å®žçŽ°ã€‚

开始使用

AI Search 已在 LangSmith Cloud 的 GCP ç¾Žå›½ã€æ¬§ç›Ÿå’Œäºšå¤ªåŒºåŸŸå ¬å¼€æµ‹è¯•ï¼Œæ— éœ€é¢å¤–è´¹ç”¨ã€‚ç»„ç»‡ç®¡ç†å‘˜å¯ä»¥åœ¨è®¾ç½®ä¸­å¼€å¯å®ƒï¼ŒéšåŽå®ƒä¾¿ä¼šå‡ºçŽ°åœ¨ tracing 页面上。 AI Search 文档 ä¸­æœ‰è¯¦ç»†ä¿¡æ¯ã€‚å‘Šè¯‰æˆ‘ä»¬ä½ æœç´¢äº†ä»€ä¹ˆã€‚

来源： LangChain：Blog · langchain.com

Agent 智能体

产品更新

#

Agent

搜索