🎙️ How I AI: Jev for beginners + I left Claude for months, Opus 5.5 brought me back + Opus 5.5 vs. GPT-6 Sol bench

🎙️ 我的AI之路：我离开Claude数月，Opus 5.5让我回归 + Opus 5.5与GPT-6 Sol基准测试对比

我的AI之路

🎙️ 我的AI之路：Jev入门指南 + 我离开Claude数月，Opus 5.5让我回归 + Opus 5.5与GPT-6 Sol基准测试对比

How I AI每周精选内容，来自Lenny’s Podcast Network

Lenny Rachitsky

2026年9月28日

Jev入门：如何使用以及可以构建什么

现在收听：YouTube • Spotify • Apple Podcasts

由OpenArt提供支持 —— 一站式AI创作平台，涵盖图像、视频、音乐、音频等

在这期独白节目中，Claire测试了Jev，这是TypeSafe AI推出的新型决策模型，它返回结构化选择、评分和概率，而非生成文本。她用它分析了1700个拉取请求仅花费9美分，绘制Claude和Codex使用情况图谱，处理电子邮件分类，搜索4500条YouTube评论，并处理约20万个分类任务仅花费4美元。她还解释了为什么Jev与前沿模型配合使用效果最佳，以及其速度和定价如何使全新类型的实时应用和大规模分析变得可行。

#### 最重要发现：

• Jev是决策模型而非语言模型，这一区别可使许多任务成本大幅降低。它不生成文本，而是返回预定义值如类别、评分或概率。Claire认为这覆盖了软件工作流实际需求的约90%，每百万输入令牌仅需4美分且无输出令牌费用。

• Claire仅花费9美分就弄清了两年工程工作的去向。她用Jev比较了1700个ChatPRD拉取请求的17000对数据，随后让Gemini Flash Lite标记生成的聚类结果。大约两分钟内，她发现公司近30%的工程工作都用于平台、安全和基础设施。

• 一些最有价值的分析已经存储在本地计算机中。Claude Code和Codex会将过往会话存储在本地，使Jev能在数分钟内完成分类。Claire发现她的AI使用比例从1月的近100%工程工作，到9月已降至不足40%，代理和媒体发布填补了空白。

• 当与前沿模型配合使用时，Jev的威力显著提升。Claire用Jev对大型数据集进行分类、聚类、过滤和路由，然后仅将最重要的组发送给GPT-6 Astra进行深度推理。对于ChatPRD的产品洞察图谱，这种方法在Jev端处理了1100个信号并完成20万次操作，仅花费约4美元。

• Jev的定价改变了哪些创意值得构建的判断标准。由于它返回小规模预定义值而非生成长文本，TypeSafe对输出令牌不收费。Claire本周在Jev上花费不足10美元，使原本在大规模处理时昂贵的分类任务几乎变得免费。

• Jev使实时AI循环变得切实可行。Claire开发了一款语音应用，能将口语短语转换为颜色，根据情感匹配名言，并几乎即时显示所有内容。Jev的决策速度如此之快，以至于名言API成为了工作流中最慢的部分。

• YouTube 评论分析是任何播客团队的直接应用场景。Claire 按情感分类了 4500 条 How I AI 评论，从中识别出包含节目创意的 58 条评论，并构建了关键词搜索功能，可在一秒内扫描完整数据集。结果显示观众对 "Grok 与 Muse 对比" 有强烈需求，且 "Claude Code for product managers" 节目获得了 80% 的正面反馈。

• 真正的技巧在于识别流程中只需做出决策的环节。Jev 不会编写文档或设计界面，但能快速且低成本地对海量数据集进行排序、路由、排名和过滤。现在 Claire 在每次构建前都会问一个问题：这个工作流中哪些环节只需要做出决策？这就是 Jev 的用武之地。

#### 本期博客及详细工作流解析：

Jev: AI 数据分析与产品洞察：https://www.chatprd.ai/how-i-ai/jev-ai-data-analysis-product-insights ↳ Jev GitHub PR 分析：https://www.chatprd.ai/how-i-ai/workflows/jev-github-pr-analysis ↳ Jev YouTube 评论分析：https://www.chatprd.ai/how-i-ai/workflows/jev-youtube-comment-analysis ↳ Jev 多模型产品洞察：https://www.chatprd.ai/how-i-ai/workflows/jev-multi-model-product-insights

我离开 Claude 几个月后，Opus 5.5 让我重新回来。

Claire 在离开 Claude 几个月后重新测试了 Claude Opus 5.5。她通过长时间代理任务、前端原型设计、写作、SVG 插画、计算机使用和视频编辑等场景，验证其是否值得重新纳入工作流。她还分享了为何要搭配 Codex 进行跨模型代码审查，指出 Claude 的安全限制仍存在阻碍，以及哪些任务仍属于 Codex 的专长领域。

• 模型的个性可能与其智能同样重要。Claire 因 Claude 回答冗长、说教性强且过于啰嗦而停止使用了数月。Opus 5.5 是 Claude 家族中首个不再让她感到烦躁的模型，这种改进虽难以量化，但意义重大。

• Opus 5.5 更低的价格和更快的性能使长时间代理任务更具可行性。它比 Opus 5 便宜 40%，Claire 发现其速度明显提升。它成功完成了四项复杂任务，涵盖收件箱分类、后端开发、研究和计算机使用，包括单次提示下长达 82 步的运行。

• 长时间任务中的静默会带来独特的用户体验问题。Opus 5.5 有时会连续保持静默 8-9 分钟，让用户不确定其是否仍在运行。这提醒我们，感知延迟与实际延迟同样重要，尤其在代理长时间运行时。

• Opus 5.5 是 Claire 目前测试过的最强前端设计师。它设计的 ChatPRD 首页改版大胆且精致，她计划直接上线。模型在层级结构、留白处理和视觉节奏上表现优异，但在消费级应用美学方面仍有不足，若未明确指示会默认使用 "Claude 橙色" 风格。

• SVG 插画是 Opus 5.5 的意外优势。它是 Claire 测试中唯一能生成风格统一、生动且可动画化的角色 SVG 的模型，不同表情下都能保持视觉连贯性，角色解剖结构也基本合理。

• Opus 5.5拥有明确的安全立场，有时这意味着说"不"。当Claire要求它跳过测试直接推送至生产环境时，它拒绝了，甚至可能将网络安全工作路由到Opus 4.8。这种边界设定是令人安心还是令人沮丧，取决于具体的工作流程，但其原则始终保持一致。

• Opus 5.5最出色的应用场景可能是作为其他模型的对抗性评审者。现在Claire让Codex和Opus相互评审彼此的工作，而不是用其中一个取代另一个。这种跨模型的协作机制能发现单个模型可能遗漏的问题，当质量要求较高时，这种额外成本是值得的。

• 在Claire的工作流程中，计算机使用和视频编辑仍属于Codex的强项。Opus 5.5在ElevenLabs MCP视频测试中出现了色彩分级薄弱、转场镜头过少、叠加效果粗糙等问题。在她当前的配置中，Codex在计算机使用方面依然表现更优，这让她没有理由将这两个类别转移到Claude上。

• Claude已回归，但它尚未取代Codex成为Claire的日常主力工具。Opus 5.5已在代码审查、架构问题和前端开发中获得了一席之地。Codex在桌面体验、计算机使用和工作流集成方面的优势，仍使其保持核心地位。

Claude Opus 5.5评测：https://www.chatprd.ai/how-i-ai/claude-opus-5-5-review ↳ Claude Opus 5.5 SVG插图：https://www.chatprd.ai/how-i-ai/workflows/claude-opus-5-5-svg-illustrations ↳ Claude Opus 5.5前端原型：https://www.chatprd.ai/how-i-ai/workflows/claude-opus-5-5-frontend-prototypes

Opus 5.5与GPT-6 Sol：哪个模型赢得了我的盲测？

Claire带着How I AI基准测试工具现场演示，将GPT-6 Astra、GPT-6 Sol、Claude Opus 5.5等模型在她实际工作中进行对比。她对写作、前端原型、代理人格和SVG插图进行盲测评分，由AI评委协助评估后端工作、长期运行代理和计算机使用。她还测试了视频编辑和3D芭比游戏构建。过程中她解释了为什么Astra赢得了她的心，Opus 5.5赢得了她的一周，而Sol虽然结果参差不齐，但仍是日常工作的首选。

• 将基准测试从两个类别扩展到八个，改变了Claire的观察视角。最初的How I AI Vibe评测聚焦在PRD和前端原型。加入收件箱分类等个人生产力任务，以及后端开发、长期代理任务、计算机使用、SVG和视频编辑后，清晰暴露了Claire在设计工作中偏好的模型与交互体验更佳的模型之间的差异。

• Opus 5.5重新进入Claire的工作流程是出于人机交互的考量，而非基准测试结果。在多次要求Claude像普通人一样沟通后，她发现Opus 5.5的表达更加简洁清晰且不那么烦人。有段时间Claire以为旧有的烦躁感回归了，后来才意识到自己误选了Opus 5。这种区别之明显可见一斑。

• 让Opus 5.5保持更克制的表达也使其显得更慢，即使它实际上并没有变慢。长时间的沉默会让用户质疑模型是否仍在工作。在Claire的测试中，GPT-6 Sol找到了更好的平衡点，通过适度的叙述保持响应感而不产生额外干扰。

• GPT-6 Sol 更低的价格改变了团队在模型选择上的思考方式。Claire 在得知 Sol 的成本仅为 Opus 5.5 的一半后，立即改变了对工作路由的思考方式。她还认为团队应在过度关注模型选择前优先优化缓存配置，因为 ChatPRD 在缓存配置得当时已实现显著成本节约。

• 过度使用破折号的写作是 Claire 测试中的明显警示信号。两个模型因几乎所有消息都包含破折号而获得 1/5 的代理人格评分。这听起来可能过于具体，但 Claire 认为这是可靠信号——表明面向客户的代理会像通用 AI 写作而非自然协作者那样表达。

• Claire 与 AI 评审员的分歧使测试更具参考价值。评审员更青睐 Fable 而给 Sol 评分较低，而 Claire 更倾向 Astra。这种差异反映了两种质量定义：评审员奖励准确性和结构完整性，而 Claire 则衡量她实际想使用的模型程度。

• 盲测 SVG 对比改变了 Claire 的先前结论。在独立评测 Opus 5.5 时，她曾偏爱其角色插画。但在此次实时盲测中，Astra 和 Sol 在角色 SVG 表现上超越了预期，这让她在预测 Claude 胜出后感到意外。

Opus 5.5 vs. GPT-6 Sol 盲测：https://www.chatprd.ai/how-i-ai/opus-5-5-vs-gpt-6-sol-blind-test ↳ AI SVG 图标生成：https://www.chatprd.ai/how-i-ai/workflows/ai-svg-icon-generation ↳ AI 收件箱分类与邮件草稿：https://www.chatprd.ai/how-i-ai/workflows/ai-inbox-triage-email-drafts ↳ 盲测 AI 模型：https://www.chatprd.ai/how-i-ai/workflows/blind-test-ai-models

如果你喜欢这些内容，回复告诉我你最想深入了解的内容：AI 工作流、招聘、增长、产品策略——任何主题都行。

下周见，Lenny

P.S. 想第一时间获取新内容？在你最喜欢的播客应用上点击“关注”吧。

Previous