Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%

Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90% · AIHOT

Baseten 工程博客

·

2026-10-03 05:09

1 小时前

精选

AI 评分

64

Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%

Agentic inference optimization: 50-90% faster engines

AI 导读

Baseten 工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4ï¼Œå•å¼ B200）自动构建推理引擎 VibeQwenï¼Œå•æµè§£ç æ¯” vLLM 0.25.1 å¿« 90%，首 token 从 28ms 降至 12ms，并发 32 时吞吐高 71%。

推荐理由

ä½œè€ äº²æµ‹ç”¨æ™ºèƒ½ä½“ç”Ÿæˆå®šåˆ¶æŽ¨ç†å¼•æ“Žï¼Œç»™å‡ºäº†ç›¸å¯¹ vLLM çš„å ·ä½“æ€§èƒ½æ•°æ®å’Œæˆæœ¬ï¼Œå¯å¸®åŠ©è¯»è€ è¯„ä¼°è‡ªåŠ¨ä¼˜åŒ–çš„å®žé™ å¯è¡Œæ€§ã€‚

正文 · AI 翻译

Baseten 就是那种会有像 #ai-papers-discuss 和 #model-performance-reading-group è¿™æ ·çš„ Slack é¢‘é“çš„åœ°æ–¹ï¼Œè€Œæœ€è¿‘æ­£æ˜¯åœ¨å ¶ä¸­ä¸€ä¸ªé¢‘é“é‡Œï¼Œä¸€ç¯‡è®ºæ–‡å¼•èµ·äº†æˆ‘çš„æ³¨æ„ï¼š MetaInferï¼šä¸€ä¸ªä» é çŸ¥è¯†é©±åŠ¨çš„ LLM 推理引擎生成器 SKILL å·¥å ·ç®± 。

åœ¨è®ºæ–‡ä¸­ï¼Œä½œè€ æä¾›äº†ä¸€ä¸ªä» é æŠ€èƒ½ï¼ˆskills-onlyï¼‰çš„æ¡†æž¶ï¼Œç”¨äºŽä»Žé›¶å¼€å§‹æž„å»ºè‡ªå®šä¹‰æŽ¨ç†å¼•æ“Žï¼Œå¹¶å£°ç§°ä»–ä»¬çš„ç»“æžœåœ¨å¸¸è§çš„æŽ¨ç†æ€§èƒ½æŒ‡æ ‡ï¼ˆå¦‚æ¯è¾“å‡º token 时间，TPOT）上击败了 vLLM 等 SoTA å¼€æºæ–¹æ¡ˆã€‚è¿™é‡Œçš„â€œä» é æŠ€èƒ½â€æ„å‘³ç€æ²¡æœ‰æ¨¡åž‹åŽè®­ç»ƒï¼Œä¹Ÿæ²¡æœ‰ä¸“é—¨çš„æµ‹è¯•æ¡†æž¶ã€‚æˆ‘æ‰¿è®¤ï¼Œæˆ‘ä¸€å¼€å§‹æ˜¯æŒæ€€ç–‘æ€åº¦çš„ï¼Œä½†ä»–ä»¬æä¾›äº†ä¸€ä¸ªåŒ å«æŠ€èƒ½å·¥å ·åŒ çš„ä»£ç ä»“åº“ï¼Œè€Œä¸”æˆ‘ä»¬è¿™é‡Œä¾ç„¶è¿‡ç€æ— é™ token 的美好生活，所以我想在一个热门模型上试一试，看看效果如何。

åœ¨å•å¼ B200 上以 NVFP4 精度运行 Qwen-3.6-35B-A3B 时，我们由 LLM ç”Ÿæˆçš„æŽ¨ç†å¼•æ“Žåœ¨å•æµè§£ç é€Ÿåº¦ä¸Šæ¯” vLLM 0.25.1（实验时的最新版本）最高快 90%，TTFT å¿« 2.33 å€ï¼Œä¸ºè¯¥æ¨¡åž‹å¼€è¾Ÿäº†æ­¤å‰ä¸åˆ‡å®žé™ çš„è¶ ä½Žå»¶è¿Ÿæ–°ç”¨ä¾‹ã€‚

AI è¾ åŠ©æŽ¨ç†ä¼˜åŒ–çš„å ´èµ·

ç›®å‰æœ‰å‡ å¤§è¶‹åŠ¿æ­£åœ¨æ±‡èšï¼Œä¸º MetaInfer è¿™æ ·çš„å‘çŽ°å’ŒæŠ€æœ¯åˆ›é€ äº†æ²ƒåœŸã€‚

✕

四大汇聚趋势：更智能的模型、智能体协调、可度量的优化，以及推理需求。

随着 Anthropic 的 Mythos 5 和 Fable 5 æ¨¡åž‹å‘å¸ƒï¼Œæ¨¡åž‹æ­£å˜å¾—è¶Šæ¥è¶Šæ™ºèƒ½ï¼Œåœ¨é•¿å‘¨æœŸä»»åŠ¡ä¸Šè¡¨çŽ°æ›´å¥½ï¼Œè¿™æ ‡å¿—ç€åœ¨é‚£äº›å¯ä»¥å¯é å§”æ‰˜ç»™ AI ç³»ç»Ÿçš„ä»»åŠ¡ä¸Šè¿ˆå‡ºäº†æœ‰æ„ä¹‰çš„ä¸€æ­¥ã€‚æˆ‘è®°å¾—ä¸Šä¸€ä¸ªè¿™æ ·çš„æ—¶åˆ»æ˜¯ 2025 年底 Opus 4.5 çš„å‘å¸ƒï¼Œå½“æ—¶åŒ æ‹¬æˆ‘åœ¨å† çš„è®¸å¤šå·¥ç¨‹å¸ˆï¼Œä»ŽæŠŠ AI ç¼–ç å·¥å ·å½“ä½œèŠ±å“¨çš„è‡ªåŠ¨è¡¥å ¨ï¼Œè½¬å‘æŠŠ Claude Code è¿™æ ·çš„ç¼–ç æ¡†æž¶ä½œä¸ºä¸»è¦å·¥ä½œç•Œé¢æ¥é©±åŠ¨ã€‚

ä¸Žæ­¤åŒæ—¶ï¼Œæ™ºèƒ½ä½“åè°ƒå·¥ä½œæµå’ŒåŽŸè¯­æ­£è¢«ç›´æŽ¥æ‰“åŒ è¿›æµè¡Œçš„æ¡†æž¶ä¸­ï¼Œä½¿å¤æ‚çš„å¤šæ™ºèƒ½ä½“å·¥ä½œæµæ›´æ˜“èŽ·å–ã€æ›´æ˜“æ“ä½œã€‚å ¶ä¸­ä¸€ä¸ªé‡è¦åŠŸèƒ½æ˜¯ Claude Code 和 Codex 都提供的“Goalsâ€ï¼Œå®ƒèƒ½è®©æ¨¡åž‹åœ¨é•¿æ—¶é—´å† æŒç»­å·¥ä½œå¹¶ä¸“æ³¨äºŽå¯åº¦é‡çš„ç›®æ ‡ã€‚æˆ‘å¤§çº¦ 6 个月前在 Karpathy 的 Autoresearch é¡¹ç›®ä¸­é¦–æ¬¡é‡åˆ°è¿™ç§â€œå®žéªŒâ€”åº¦é‡â€”è¿­ä»£â€å¾ªçŽ¯ï¼Œä½†å¦‚ä»Šå®ƒå·²æˆä¸ºå¸¸è§„ç¼–ç æ¡†æž¶çš„ä¸€éƒ¨åˆ†ã€‚

AI 推理需求正在复利式增长。来源：Google I/O 2026。

随着 AI 系统能力不断增强，市场对推理服务的需求也在增长，这带来了持续改进成本和性能的巨大压力。

ç»¼åˆæ‰€æœ‰è¿™äº›å› ç´ ï¼ŒæŠŠ LLM 指向定义明确的优化问题、让它们不断打磨解决方案，就变得非常合理了。推理性能恰恰是这类自动化优化的理想领域。问题空间在 TTFT、TPOTã€æ¯èŠ¯ç‰‡åžåé‡å’Œæ‰€éœ€å† å­˜ç­‰å¯é‡åŒ–æŒ‡æ ‡æ–¹é¢å®šä¹‰æ˜Žç¡®ã€‚ç”šè‡³æ­£ç¡®æ€§ä¹Ÿå¯ä»¥å¯¹ç §æ¨¡åž‹çš„å ¨ç²¾åº¦å‚è€ƒå®žçŽ°è¿›è¡Œæ•°å€¼éªŒè¯ï¼Œä»¥ç¡®ä¿æ€§èƒ½æå‡ä¸ä»¥ç‰ºç‰²å‡†ç¡®æ€§ä¸ºä»£ä»·ã€‚

è¿™ç§å®¢è§‚å¯éªŒè¯æ€§å¯¹äºŽè‡ªä¸»ä¼˜åŒ–çš„æˆåŠŸè‡³å ³é‡è¦ã€‚æˆ‘ä»¬è¿˜çŸ¥é“ï¼Œå½“å‰ SoTA æ€§èƒ½ä¸Žå ‰é€Ÿç†è®ºæœ€å¤§æ€§èƒ½ä¹‹é—´å­˜åœ¨ 巨大差距 ã€‚æ­¤å¤–ï¼ŒæŽ¨ç†æžå ¶å¤æ‚ï¼Œä¼˜åŒ–çš„æœç´¢ç©ºé—´éžå¸¸åºžå¤§ï¼Œä»Žåº•å±‚ CUDA å† æ ¸ç¼–å†™ä¸€ç›´åˆ°åŠ¨æ€æ‰¹å¤„ç†ç­‰æœåŠ¡å±‚ä¼˜åŒ–ï¼Œæ— æ‰€ä¸åŒ ã€‚

约束解空间

LLM å¯èƒ½éžå¸¸æ“ é•¿è§£å†³å®šä¹‰æ˜Žç¡®çš„ä¼˜åŒ–é—®é¢˜ï¼Œä½†çŽ°åœ¨çš„æŒ‘æˆ˜è½¬å˜ä¸ºå¦‚ä½•å°†ä½ çš„é—®é¢˜è¡¨è¿°ä¸ºä¸€ä¸ªå®šä¹‰æ˜Žç¡®çš„ä¼˜åŒ–é—®é¢˜ã€‚ä½ éœ€è¦èƒ½å¤Ÿå¾ˆå¥½åœ°å®šä¹‰çº¦æŸæ¡ä»¶ï¼Œå¹¶è°¨æ Žé€‰æ‹©ä¼˜åŒ–ç›®æ ‡ã€‚æ™ºèƒ½ä½“ç»å¯¹ä¼šè¯•å›¾é’»ç©ºå­æ¥â€œé€šè¿‡â€ç›®æ ‡ï¼Œå› æ­¤ä½œä¸ºå·¥ç¨‹å¸ˆï¼Œä½ éœ€è¦è®¾è®¡å¥½è¿™ä¸ªæ¸¸æˆï¼Œä½¿æ™ºèƒ½ä½“çš„æˆåŠŸçœŸæ­£ä¸Žä½ çš„éœ€æ±‚ç›¸ä¸€è‡´ã€‚ä¸¾ä¸ªä¾‹å­ï¼Œå¦‚æžœä½ ä¸è®¾ç½®ä¿æŒç²¾åº¦çš„çº¦æŸï¼Œä½ çš„â€œæ¨¡åž‹â€å°†æ”¶æ•›åˆ°ï¼š

while
True
:
yield
"a"

è¿™æ ·ä¸€ä¸ªç®€å•çš„æ¨¡åž‹å°†æ‹¥æœ‰ä»¤äººéš¾ä»¥ç½®ä¿¡çš„ä¼˜ç§€ TTFT 和 TPOT åˆ†æ•°ï¼Œä½†ä¸å†æœ‰ä»»ä½•å®žé™ ç”¨é€”ã€‚

现有的开源推理引擎如 vLLM、SGLang 和 TensorRT-LLM åœ¨å¤šç§åŠ é€Ÿå™¨ä¸Šä»¥å•†ä¸šå¯æŽ¥å—çš„æ€§èƒ½æ°´å¹³æœåŠ¡å„ç§æ¨¡åž‹æ–¹é¢æ•´ä½“è¡¨çŽ°å‡ºè‰²ã€‚ç„¶è€Œï¼Œå®ƒä»¬åœ¨é€šç”¨æ€§å’Œæ˜“ç”¨æ€§æ–¹é¢å¸¦æ¥çš„ä¼˜åŠ¿ä¹Ÿä¼´éšç€æƒè¡¡ï¼šå®ƒä»¬å¹¶æœªé’ˆå¯¹ä»»ä½•ç‰¹å®šçš„ï¼ˆæ¨¡åž‹ + åŠ é€Ÿå™¨ + å·¥ä½œè´Ÿè½½ï¼‰ç»„åˆè¿›è¡Œè¶ ä¼˜åŒ–ã€‚MetaInfer çš„å‰ææ˜¯ï¼Œå¯¹äºŽä»»ä½•ç‰¹å®šéƒ¨ç½²ï¼Œä¸€ä¸ªé«˜åº¦ä¸“ä¸šåŒ–ï¼ˆå³å—çº¦æŸï¼‰çš„å¼•æ“Žå¯ä»¥è¶ è¶Šè¿™äº›é€šç”¨å¼•æ“Žã€‚

在原始的 MetaInfer è®ºæ–‡ä¸­ï¼Œä»–ä»¬è¦æ±‚çŽ°æˆçš„æ™ºèƒ½ä½“ä»Žå¥‘çº¦å’Œçº¦æŸçš„çŸ¥è¯†åº“ä¸­æž„å»ºæŽ¨ç†å¼•æ“Žï¼Œä¸”æ— æ³•ç›´æŽ¥è®¿é—®å¼€æºå¼•æ“Žçš„æºä»£ç ã€‚è¿™ç±»æºä»£ç æžæœ‰å¯èƒ½åœ¨æ¨¡åž‹è®­ç»ƒæœŸé—´å‡ºçŽ°è¿‡ï¼Œä½†æ™ºèƒ½ä½“æ²¡æœ‰ç›´æŽ¥çš„æ–‡ä»¶çº§è®¿é—®æƒé™ã€‚æ™ºèƒ½ä½“åœ¨å·¥ä½œè¿‡ç¨‹ä¸­æ‰©å±•çŸ¥è¯†åº“ï¼Œä¸»åŠ¨è¯†åˆ«ç¼ºå£å¹¶é€šè¿‡ç»“æž„åŒ–å®žéªŒå’ŒéªŒè¯æ¥å¡«è¡¥å®ƒä»¬ã€‚

è™½ç„¶ä½œè€ ä»¬æ‰€è¿½æ±‚çš„å®žéªŒçº¯ç²¹æ€§ä»¤äººé’¦ä½©ä¸”æœ‰è¶£ï¼Œä½†æˆ‘ä»¬åœ¨ Baseten éžå¸¸æ³¨é‡ç»“æžœï¼Œå› æ­¤æˆ‘ç¡®å®žå è®¸æˆ‘çš„æ™ºèƒ½ä½“åœ¨éœ€è¦æ—¶è®¿é—® SoTA å¼€æºè§£å†³æ–¹æ¡ˆä½œä¸ºå‚è€ƒï¼ŒåŒ æ‹¬åœ¨å¯ç”¨æ—¶ä»Ž vLLM 和 TensorRT-LLM ä¸­å¯»æ‰¾é¢„ä¼˜åŒ–çš„å† æ ¸ï¼Œä» åœ¨éœ€è¦æ—¶ç¼–å†™è‡ªå·±çš„å† æ ¸ã€‚æ­¤å¤–ï¼Œè™½ç„¶åŽŸå§‹è®ºæ–‡ä» å ³æ³¨æŽ¨ç†å¼•æ“Žç»„ä»¶ï¼Œä½†æˆ‘å°†èŒƒå›´æ‰©å±•åˆ°äº†å®Œæ•´çš„æœåŠ¡æ ˆï¼Œæœ€ç»ˆç»“æžœä»¥è´Ÿè½½å‡è¡¡å™¨åŽé¢çš„å·²éƒ¨ç½²å¤šå‰¯æœ¬æœåŠ¡ä¸ºè¡¡é‡æ ‡å‡†ï¼Œä½¿ç”¨ AIPerf 生成负载并测量性能。

在原始论文和我的扩展中，结果都是两个交付物：推理引擎本身，以及可在后续运行中使用的知识库的可复用扩展。

第一个实验：Qwen-3.6-35B-A3B 推理

设置

在启动实验时，我让 Claude Code é åˆ Fable 5 访问了论文和 MetaInfer 仓库 ，并通过 SSH 访问了一台 NVIDIA B200 å·¥ä½œç«™ã€‚æˆ‘å‘Šè¯‰å®ƒç›®æ ‡ç¡¬ä»¶ï¼Œå¹¶æä¾›äº† Hugging Face ä»“åº“çš„é“¾æŽ¥ï¼ŒåŒ æ‹¬æˆ‘æƒ³ç”¨äºŽ Qwen-3.6-35B-A3B 的 NVFP4 量化权重 ，以及用作精度基准的 åŽŸå§‹å ¨ç²¾åº¦æƒé‡ 。该智能体还能将候选引擎部署到 Baseten，并针对部署的端点运行 AIPerf 性能分析。

æˆ‘ä»¬æœ‰å† éƒ¨çš„æ™ºèƒ½ä½“æŠ€èƒ½å’Œ MCPï¼Œå¯ä»¥æ”¯æŒæ‰€æœ‰å¿ éœ€çš„ Baseten 交互，智能体也可以使用这些。我设置了一个 /goal ï¼Œå‘Šè¯‰å®ƒæˆ‘å¸Œæœ›åœ¨æ‰€æœ‰æ€§èƒ½æŒ‡æ ‡ä¸Šæ¯” vLLM 提升 20%，同时相比 NVFP4 基线不损失精度。

最终结果以及所需的人工干预相对较少，这让我既惊讶又印象深刻。Claude 在这个项目上基本自主工作了大约 1 å‘¨ï¼Œæˆ‘å¶å°”æä¾›æŒ‡å¯¼ï¼Œé˜²æ­¢å®ƒè¿‡åº¦æ‰§ç€äºŽæŸä¸€ç§ç‰¹å®šçš„æµé‡å½¢æ€ï¼Œå¹¶è®©å®ƒä¸“æ³¨äºŽç”Ÿäº§æŽ¨ç†æ€§èƒ½ï¼Œè€Œä¸ä» ä» æ˜¯å­¤ç«‹çš„å¼•æ“ŽåŸºå‡†æµ‹è¯•ã€‚MetaInfer 框架使用一系列不可变的门禁和检查，从而支持这种富有成效的长周期工作。

Claude ä¼šå®šæœŸæš‚åœï¼Œè®©æˆ‘æ‰¹å‡†ä»»ä½•ä¼šå¸¦æ¥ç²¾åº¦å·®å¼‚çš„æ›´æ”¹ã€‚æœ€ç»ˆæˆ‘å è®¸å®ƒä¸Žå‚è€ƒ NVFP4 实现产生细微的数值差异输出，只要相对于 BF16 åŸºçº¿çš„æ•´ä½“ç²¾åº¦è‡³å°‘ä¸€æ ·å¥½ã€‚

结果

除了要求它在早期较小模型结果令人失望后对所有子智能体使用 Fable 5 ä¹‹å¤–ï¼Œæˆ‘å‡ ä¹Žæ²¡æœ‰æ‰‹åŠ¨ç®¡ç†æ™ºèƒ½ä½“åè°ƒæˆ–ä¸Šä¸‹æ–‡ç®¡ç†ã€‚å®ƒç»åŽ†äº†å¤šæ¬¡è‡ªåŠ¨ä¸Šä¸‹æ–‡åŽ‹ç¼©ï¼Œæ¶ˆè€—äº†å¤§çº¦ 17 亿个 tokenï¼ˆç»å¤§å¤šæ•°æ˜¯ç¼“å­˜çš„è¾“å ¥ token）和约 200 个 B200 å°æ—¶ã€‚å®ƒå®žé™ ä¸Šåœ¨æœ€åˆå‡ å¤©å† å°±ç›¸å¯¹è¾ƒå¿«åœ°è¾¾åˆ°äº†ä¸Ž vLLM 相当的水平，但为了科学，我让它继续努力。

最终，生成的引擎，名为 VibeQwen ，在所有测试的流量形态上都优于 vLLMï¼Œåœ¨æŸäº›æƒ å†µä¸‹ä¼˜åŠ¿éžå¸¸å¤§ã€‚åœ¨å•å° B200 上的正面对比中，VibeQwen åœ¨å•æµã€é€‚åˆæŽ¨æµ‹è§£ç çš„æ–‡æœ¬ï¼ˆé‡å¤ä¸”ç»“æž„åŒ–ï¼‰ä¸Šè¾¾åˆ°äº†æ¯ç§’ 1,792 个 token（TPS），而经过良好调优的 vLLM 部署为 943 TPS（提升 90%）。在测试语料上，它还在 12 æ¯«ç§’å† è¿”å›žé¦–ä¸ª token，而 vLLM 为 28 毫秒，提升了 2.3 倍。在并发数为 32 的单副本吞吐量下，VibeQwen 比 vLLM 高出 71%，输出 TPS 为 10,307，而 vLLM 为 6,030 输出 TPS。

VibeQwen，即 Claude 为 NVFP4 æ ¼å¼çš„ Qwen-3.6-35B-A3B 生成的推理引擎，在单台 B200 上与经过调优的 vLLM 0.25.1 éƒ¨ç½²è¿›è¡Œäº†å¯¹æ¯”æµ‹è¯•ã€‚å®ƒåœ¨å•æµæ–‡æœ¬ä¸Šçš„è§£ç é€Ÿåº¦æé«˜äº† 90%，并将首个 token 的时间从 28 毫秒缩短到 12 毫秒。在并发数为 32 时，它的输出吞吐量提高了 71%。

第二个实验：使用 SAM 3.1 进行图像分割

第一个实验的结果如此令人鼓舞，以至于我决定使用从 VibeQwen å®žéªŒä¸­ç”Ÿæˆçš„æ–°æ‰©å±•çŸ¥è¯†åº“ï¼Œåœ¨å¦ä¸€ä¸ªå®Œå ¨ä¸åŒç±»åž‹çš„æ¨¡åž‹ä¸Šå°è¯•ã€‚è¿™æ¬¡æˆ‘æƒ³è¦ä¸€ä¸ªé’ˆå¯¹ SAM 3.1 çš„ä¼˜åŒ–æŽ¨ç†æœåŠ¡å™¨ï¼Œè¿™æ˜¯ä¸€ä¸ªæœ€å ˆè¿›çš„å›¾åƒåˆ†å‰²æ¨¡åž‹ã€‚

在这个案例中，我使用 Facebook 的参考服务器 ä½œä¸ºåŸºçº¿ã€‚å°½ç®¡æ¨¡åž‹æž¶æž„å’Œæ¨¡æ€å®Œå ¨ä¸åŒï¼Œæ•´ä¸ªè¿‡ç¨‹è¿è¡Œå¾—éžå¸¸å¥½ï¼Œæˆ‘ä»¬åœ¨å•å— H100 上实现了每秒 91 å¼ å›¾åƒçš„å¤„ç†é€Ÿåº¦ï¼Œç›¸æ¯”åŸºçº¿åžåé‡æå‡äº† 50%ï¼Œè€Œè¿™åªç”¨äº†å‡ å¤©æ—¶é—´å’Œçº¦ 2 亿个 token。

第二个实验名为 Sammie ，比最初的 VibeQwen é¡¹ç›®æ›´å¿«ã€æˆæœ¬æ›´ä½Žï¼Œä½†ç”±äºŽæ¨¡åž‹æž¶æž„ä¸åŒã€åŠ é€Ÿå™¨ç±»åž‹ä¸åŒï¼Œä¸”æ²¡æœ‰è¿›è¡Œå¯¹ç §æµ‹è¯•ï¼Œå®ƒåªèƒ½æä¾›æç¤ºæ€§è€Œéžå†³å®šæ€§çš„è¯æ®ï¼Œè¡¨æ˜ŽçŸ¥è¯†åº“å¤ç”¨å ·æœ‰ä»·å€¼ã€‚

Sammie 是 Claude 为 SAM 3.1 æž„å»ºçš„æŽ¨ç†æœåŠ¡å™¨ï¼Œå®ƒæŽ¥æ”¶ä¸€å¼ å›¾åƒå’Œä¸€æ®µç®€çŸ­çš„æ–‡æœ¬æç¤ºï¼Œå¹¶ä¸ºæ¯ä¸ªåŒ¹é çš„å¯¹è±¡è¿”å›žä¸€ä¸ªæŽ©ç ã€‚åœ¨å•å— H100 上，Sammie 每秒处理 91 å¼ å›¾åƒï¼Œæ¯” Meta 的参考服务器快 50%。

迈向自主推理优化

虽然 VibeQwen 和 Sammie 仍处于实验阶段，目前都没有承载生产流量，但相比 SoTA åŸºçº¿çš„æ€§èƒ½æå‡ç›¸å½“æ˜¾è‘—ã€‚å®ƒä»¬çš„äº¤ä»˜æ—¶é—´ä¹Ÿç›¸å¯¹è¾ƒçŸ­ï¼ˆæ•°å¤©ï¼‰ï¼ŒäººåŠ›æŠ•å ¥æžå°‘ï¼ˆæ•°å°æ—¶ï¼‰ï¼Œæˆæœ¬ä¹Ÿè¶³å¤Ÿä½Žï¼ˆSammie ä¸ºæ•°ç™¾ç¾Žå ƒï¼ŒVibeQwen ä¸ºæ•°åƒç¾Žå ƒï¼‰ï¼Œåœ¨ä¸€ä¸ªä¼ä¸šæ¯å¹´åœ¨æŽ¨ç†ä¸ŠèŠ±è´¹æ•°åƒä¸‡ç”šè‡³æ•°äº¿ç¾Žå ƒçš„ä¸–ç•Œé‡Œï¼Œè¿™æžå ·å¸å¼•åŠ›ã€‚åœ¨å¦‚æ­¤å¤§çš„è§„æ¨¡ä¸‹ï¼Œå³ä½¿æ˜¯ä¸ªä½æ•°çš„ç™¾åˆ†æ¯”æå‡ä¹Ÿå¯èƒ½æ„å‘³ç€æ•°ç™¾ä¸‡ç¾Žå ƒçš„èŠ‚çœï¼Œä½¿å¾—æŠ•èµ„å¾ˆå®¹æ˜“è¢«è¯æ˜Žæ˜¯åˆç†çš„ã€‚

AI åœ¨ä¼˜åŒ–é—®é¢˜ä¸­åˆ›é€ ä»·å€¼çš„ç©ºé—´æ˜¯å·¨å¤§çš„ï¼Œè€Œæ­£å¦‚æˆ‘ä»¬æ‰€çœ‹åˆ°çš„ï¼ŒAI ç³»ç»Ÿæœ¬èº«å°±æ˜¯è¿™äº›è‡ªä¸»ä¼˜åŒ–çš„ç»ä½³å€™é€‰å¯¹è±¡ã€‚éšç€æŽ¨ç†ç³»ç»Ÿå˜å¾—æ›´åŠ é«˜æ•ˆï¼Œä»¥åŠæ›´å¤šæ¨¡åž‹è¾¾åˆ°æˆåŠŸå®Œæˆè¯¥ä»»åŠ¡æ‰€éœ€çš„æ™ºèƒ½æ°´å¹³ï¼Œè¿™æ ·åšçš„æˆæœ¬å°†ç»§ç»­ä¸‹é™ã€‚

虽然 VibeQwen 和 Sammie 是在 7 月底用 Fable 5 构建的，但现在是 10 æœˆï¼Œå¼€æ”¾å‰æ²¿å‡ ä¹Žå·²ç»èµ¶ä¸Šï¼Œåƒ Kimi K3 和 GLM-5.3 è¿™æ ·çš„æ¨¡åž‹åœ¨è®¸å¤šåŸºå‡†æµ‹è¯•ä¸Šçš„å¾—åˆ†å·²ç»éžå¸¸æŽ¥è¿‘æœ€å¥½çš„é—­æºæ¨¡åž‹ã€‚éšç€æ¨¡åž‹æ™ºèƒ½çš„æå‡ã€æŽ¨ç†æˆæœ¬çš„ä¸‹é™ï¼Œä»¥åŠå¯å¤ç”¨çŸ¥è¯†åº“å¸¦æ¥çš„æ•ˆçŽ‡å¢žç›Šï¼Œä¸éš¾æƒ³è±¡åœ¨ä¸ä¹ çš„å°†æ¥ï¼Œè¿™äº›ä¼˜åŒ–ä¼šå˜å¾—å¦‚æ­¤å»‰ä»·å’Œå¯é ï¼Œä»¥è‡³äºŽæˆä¸ºæ¨¡åž‹éƒ¨ç½²ç”Ÿå‘½å‘¨æœŸä¸­çš„æ ‡å‡†ç»„æˆéƒ¨åˆ†ã€‚

来源： Baseten 工程博客 · baseten.co

Anthropic / Claude

Agent 智能体

部署工程

教程实践

#

教程/实践

部署/工程

Agent

Anthropic