RAG 到底值不值得上？先搞清检索和生成的分工
RAG 到底值不值得上？先搞清检索和生成的分工 内部文档接入后可检索、可追溯来源 经常有人问我们，RAG 是不是把公司的文件夹丢给大模型，让它自己学一遍。不是这样。RAG（Retrieval-Augmented Generation，检索增强生成）的逻辑很朴素：用户提问后，系统先去文档库里翻出和这个问题最相关的那几段原文，再把这几段话连同问题一起交给模型，让模型照着材料回答。 分工也就清楚了。检索负责找对那一页，生成负责把找到的内容说成人话。打个不太严谨但好用的比方——这是一场开卷考试，模型是考生，文档库是那本书。考生再会写，书里没有的东西也写不出来；书里页码贴错、同一道题有三个版本互相打架，他抄出来的答案照样是错的。所以我们后面会反复讲一句话：RAG 的效果上限由文档质量决定，跟用哪个模型关系没那么大。 检索和生成，各自会怎么失败 上系统之后出的问题，八成能归到下面四个环节里的一个。分清楚是谁的责任，才不会一出问题就去换模型。 环节 它在干什么 出问题时你看到的现象 常见原因 解析入库 把 PDF、Word、网页、系统记录切成片段，附上来源和权限 答案里出现半句话、表格串行、页眉页脚混进正文 扫描件没做 OCR、按固定字数硬切、跨页表格没合并 检索召回 用向量加关键词，把最相关的几段捞出来 明明文档里有，它说不知道 切片太碎丢了上下文、同义说法没覆盖、只用了向量没上关键词 生成 把片段读成答案，标出处 答案大方向对，但张冠李戴、引用页码错 片段没带来源元数据、提示词里没写死「只根据给定材料回答」 兜底 检索不到时如实说没有 模型开始编 没有拒答规则，模型被要求「尽量给出答案」 什么场景适合上 RAG 共同特征只有一条：答案本来就躺在文档里，用户的问题是「在哪一页」，不是「怎么推」。这类需求落地周期短，通常两到四周能跑出可用版本，具体看你文档有多乱、整理意愿有多强。 制度与流程查询。报销标准、请假规则、设备报修走哪条线。这类问题要求一字不差，模型自由发挥反而是风险。 产品与技术资料问答。参数、兼容型号、常见故障码。销售和售后在一线翻 PDF 太慢，让他们打字问更快。 合同、招投标、资质库。「哪份协议约定了…