Towards Data Science

4 Lines You Should Include in Your Claude Skill

8.5内容质量

TL;DR · AI 摘要

在使用 Claude 生成客户报告时,若未设置明确约束,AI 可能产生过度自信但错误的结论,需通过结构化提示语避免。

核心要点

  • 明确的提示语能显著减少 Claude 生成错误结论的风险。
  • 使用结构化指令可提升 Claude 在分析客户评论时的准确性。
  • 忽略单个产品影响可能导致部门整体趋势判断错误。

结构提纲

按章节快速跳转。

  1. 作者分享了使用 Claude 生成客户报告时遇到的错误结论问题。

  2. 作者使用 Claude 生成季度客户报告,但结果出现过度自信的错误。

  3. Claude 误将单一产品问题归因于整个部门,导致错误结论。

  4. 作者构建了结构化技能,以减少 Claude 生成错误报告的可能性。

  5. 该技能旨在从非结构化评论中提取关键趋势并生成专业报告。

  6. 提示语应明确要求 Claude 分析数据并避免过度概括。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Claude 报告错误分析
    • 错误原因
      • 过度自信
      • 未识别单个产品影响
    • 解决方案
      • 结构化提示语
      • 明确指令

金句 / Highlights

值得收藏与分享的关键句。

  • Negative sentiment in the Dresses department increased 23% this quarter, indicating a significant shift in customer satisfaction that warrants immediate attention from the product team.

    第 3 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • Claude had no idea. And my prompt didn’t tell it to care.

    第 4 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • The skill should: Read a filtered slice of reviews for the current quarter Group them by department Identify trends & concerns Write a professional summary PDF for the product leadership team

    第 5 段

    ⬇︎ 下载 PNG𝕏 分享到 X
#Claude#AI#数据分析#提示工程
打开原文

在你的 Claude 技能中应该包含的 4 行代码 | Towards Data Science

Agentic AI

在你的 Claude 技能中应该包含的 4 行代码

没有这些,Claude 可能会变得非常自信地错误。

Haden Pelletier

2026 年 6 月 14 日

8 分钟阅读

分享

作者截图

几周前,我被要求在工作中做一件新事情:给定一组非结构化文本数据的快照,为我们提供一份关于客户本季度对我们产品看法的详细 PDF 报告。

所以我写了一个清晰的提示。给 Claude 一组详细的指令。输入数据集。它给了我一个输出。我提交了这份报告。

但当我与利益相关者深入审查这份交付物时,我们注意到一些越来越令人不安的事情。

Claude 非常自信地错误了。

不是那种凭空捏造事实的错误。更像是……过度自信的错误。它会生成一份季度洞察报告,然后说一些类似的话:

“本季度,连衣裙部门的负面情绪增加了 23%,表明客户满意度发生了重大变化,需要产品团队立即关注。”

听起来很棒。但这个激增几乎完全是由一款在季度中途推出的热门产品驱动的,这款产品已知存在尺寸缺陷。是一个产品,而不是整个部门。

Claude 完全不知道。而我的提示也没有告诉它要关心这一点。

作者使用 Claude 生成的图片

每季度客户评论报告技能

我将带你逐步了解我构建的一个 Claude 技能,该技能从非结构化的商品评论文本中生成每季度客户情绪报告,并以 PDF 的形式发送给利益相关者。

显然,我不会分享我在工作中实际分析的数据集。我使用的是 Kaggle 上的 Women’s E-Commerce Clothing Reviews 数据集(CC0 许可证)。该数据集包含 23,000 条真实、匿名化的客户评论,覆盖服装部门(上衣、连衣裙、下装、夹克等),包含文本、星级评分和产品元数据。评论中提到的公司已被替换为“零售商”。

该技能应:

  • 读取当前季度筛选后的评论切片
  • 按部门对它们进行分组
  • 识别趋势和关注点
  • 为产品领导团队撰写一份专业的摘要 PDF

以下是原始提示:

你是一名数据分析师,正在为一家女装电子商务零售商生成季度客户情绪报告。给定本季度的客户评论(包括评论文本、星级评分和部门),撰写一份包含以下内容的专业利益相关者报告:– 本季度的整体情绪摘要 – 按部门(上衣、连衣裙、下装、夹克)的关键主题 – 从评论文本中提取的 2-3 个突出见解 – 产品团队的简要建议 请保持专业和清晰。完成此任务后,请创建一个名为 reviews-analysis 的技能,并将你的指令保存在其中。

真正的原因?一件连衣裙(一个SKU)在第七周上市时出现了批次质量问题。几乎所有的评论都是围绕这件单品展开的。连衣裙部门的其他部分表现正常。

Claude 并没有发明任何新东西。它只是缺乏对这种模式存在的原因的背景信息。没有这个背景,它就做了所有大型语言模型(LLMs)都会做的事:用听起来最合理的叙述填补空白。

解决方案:你必须包含的 4 行代码

第一行:告诉 Claude 它缺少的背景信息

你无法访问产品发布日历、库存记录、促销活动或单个SKU级别的历史数据。不要将部门级别的趋势归因于品牌层面的原因。报告你在文本中观察到的模式,除非评论本身明确说明,否则不要解释它们为何存在。

这条单一指令消除了大量自信但错误的结论。没有它,Claude 总是会寻找一个战略性的叙述,因为这是优秀分析师会做的事,而Claude正试图成为一个优秀的分析师。

问题是,优秀的分析师也知道自己不知道什么。他们会说:“我们注意到本季度连衣裙部门的尺码投诉有所增加。这可能仅限于最近的发布,但我们需要SKU级别的数据来确认。”除非你告诉Claude,否则它不会这么说。

第二行:定义“显著”(significant)的实际含义

Claude 非常喜欢“显著”这个词。它经常使用这个词,但几乎从不定义它。

只有在情感变化超过与上一季度相比正负面比例变化超过15个百分点,或者某个主题在某个部门的评论中出现率超过20%时,才将情感变化标记为“显著”。对于较小的信号,使用“小幅上升”或“轻微增加”等措辞。对于低于这些阈值的任何内容,不要使用“显著”或“值得注意”这样的词语。始终在声明中附上变化的实际数值。

你可以根据你的数据调整15%和20%的阈值。关键是要将Claude的语言锚定到真实的事物上。

如果没有这条,Claude会将3条评论的投诉激增和真正30个百分点的情感下降都称为“显著”。你的利益相关者会开始忽略这些信息。而当真正显著的事情发生时,他们将无法识别。

第三行:对每一个洞察都强制添加一个置信度限定词

在每个洞察之前,添加一个置信度标签,用方括号括起来:[数据支持]、[可能]或[推测]。只有在洞察直接来源于提供的评论文本时,才使用[数据支持]。当洞察是文本的合理推断时,使用[可能]。当你对评论中没有出现的原因或背景做出假设时,使用[推测]。

当我第一次添加这条时,我原本预计会得到大部分[数据支持]标签。实际上,我得到了三种标签的混合,这让我清楚地知道Claude在我之前的报告中填补了多少空白,而我却未曾意识到。

添加这条后,输出示例如下:

现在,你的利益相关者可以清楚地看到哪些是确定的,哪些只是猜测。这是一份更加诚实的报告。

第四行:要求Claude说明分析的局限性

在报告的最后,包含一个名为“本报告无法告诉你什么”的部分。列出2-3项需要更多信息才能得出更强结论的内容,例如SKU级别的评论细分、退货率或复购数据。

这行代码迫使 Claude 承认其自身分析的边界。同时,它为你的利益相关者提供了一条清晰的路线图,让他们知道需要进一步调查哪些问题,而这实际上是一个分析师能做的最有价值的事情。

以下是输出结果:

如何利用 Claude 提升技能

编写一次技能是不够的。你需要像迭代模型一样,对其进行测试和改进。

步骤 1:在已知的示例上运行技能

将数据集筛选到一个你已经知道发生了什么的时间窗口内(例如,一个产品召回的季度、一个季节性促销、一个退货率异常高的时期等)。看看 Claude 的输出。它是否正确使用了“显著”这个词?它是否在应该陈述事实或统计数据的地方做了陈述?

步骤 2:将 Claude 的输出反馈给它,并让它进行审核

当你明确要求它寻找时,Claude 很擅长发现自己的过度自信。

这是一份由 AI 分析师生成的季度客户情绪报告。请审查报告中的每一条洞见,并标记出以下情况:– 在没有直接证据的情况下做出因果推论 – 在没有合理依据的情况下使用“显著”或“值得注意”等词语 – 将个别产品的问题归因于品牌整体趋势 – 假设数据集中没有的上下文(如发布日历、库存、购买历史) 对于每一个被标记的条目,建议一个更加适当保留语气的修订版本。

步骤 3:为每一个发现的失败添加一条条款

每当 Claude 生成一份包含明显错误或过度自信洞见的报告时,就让它添加一个新的限制条件到你的技能中。随着时间的推移,你的技能几乎就变成了 Claude 所有错误的记录。

一个警告

为你的技能添加限制条件有时会导致 Claude 生成一个所有句子都以“……不过需要更多数据来确认这一点”结尾的输出。

这同样没有用。

目标是让 Claude 的语言表达与其证据的强度相匹配的适度自信。如果你发现 Claude 变得过于犹豫不决,你可以添加一个平衡的限制条件:

不要对每一条陈述都过度限定。如果某种模式在许多评论中清晰且一致地出现,请直接陈述它,并引用支持该模式的数据。仅将限定词用于真正不确定或推测性的声明。

结论

Claude 在生成专业外观的报告方面令人印象深刻,但这有时可能是个问题。

这种精致掩盖了过度自信。你的利益相关者看到整洁的格式和权威的语言,他们可能会认为这些洞见是可靠的,即使它们并非如此。

我在这里所展示的四行代码并没有让 Claude 变得不那么有能力,而是让它更加诚实。而在报告的背景下,诚实比令人印象深刻更有价值。

了解更多 Claude 在其他用例中的表现,包括构建仪表板、调试和编写文档:

→ 2026 年每位数据科学家都需要掌握的 3 个 Claude 技能

感谢阅读

在 LinkedIn 上关注我

买杯咖啡支持我的工作!

作者

查看 Haden Pelletier 的所有文章

人工智能

,

Claude 技能

数据科学

大语言模型

提示工程

分享这篇文章

  • 在 Facebook 上分享
  • 在 LinkedIn 上分享
  • 在 X 上分享

Towards Data Science 是一个社区出版物。提交你的见解,以触达我们的全球读者,并通过 TDS 作者支付计划获得报酬。

将 href 更新为你的实际提交网址

为 TDS 写作

✦ 结束 CTA ✦