Milvus(@milvusio)
When RAG gives a wrong answer, the team's first move is usually a bigger model or more prompt tweaki...
8.5Score
TL;DR · AI 摘要
诊断 RAG 系统问题应优先优化检索而非直接扩大模型规模，通过分桶分析定位具体问题。
核心要点
- 分桶分析可精确定位 RAG 系统中不同查询类型的失败原因。
- 多跳查询失败通常与数据分块或候选集大小不足有关。
- 长尾查询效果差可能需要引入查询重写或调整文档术语以匹配用户语言。
结构提纲
按章节快速跳转。
- §问题定位
RAG 系统问题通常源于检索而非模型规模。
通过构建分类型查询集，评估每类查询的 Recall@k。
针对不同弱桶提供优化建议，如混合搜索、调整分块策略或引入查询重写。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- RAG 问题诊断
金句 / Highlights
值得收藏与分享的关键句。
The weak bucket usually tells you where to look first.
Exact-term bucket low → dense retrieval's blind spot for exact strings.
Long-tail low → users' wording doesn't match the docs' terminology.
#RAG#检索增强生成#Milvus#模型优化
打开原文当 RAG 给出错误答案时，团队的第一反应通常是扩大模型规模或调整提示词。但首要解决的问题通常是检索环节。以下是三步诊断法，帮助定位实际故障点：
构建黄金查询集，按查询类型分类 每类准备5-10个典型查询：精确匹配项（型号、API名称、错误代码）、多跳查询、长尾查询和不可回答问题。
运行测试并检查各分类的召回率@k 不要只看整体平均值——它会掩盖薄弱分类的真实表现。
薄弱分类通常揭示首要改进方向：
精确匹配分类表现差 → 密集检索对精确字符串存在盲区。型号/错误代码等常无法与正确上下文在嵌入空间中邻近 → 需引入混合搜索（密集+BM25）。
多跳查询分类表现差 → 答案被拆分到不同片段，或候选结果数量不足 → 检查切片策略及召回结果数量。
长尾查询分类表现差 → 用户表述与文档术语不匹配 → 添加查询重写模块，或在文档中补充用户实际使用的术语。
所有分类表现均差 → 嵌入模型与领域不匹配 → 更换模型或进行领域微调。
按分类诊断的价值在于：不是笼统地说“召回率低”，而是明确哪些查询失败、为何失败、以及具体该如何修复。
