知识库问答上线后怎么评？三层指标加一份人工抽检流程

知识库问答系统上线那天通常挺热闹。两周后再问运营同事「这个机器人答得准不准」，多数人只能回一句「感觉还行，偶尔瞎答」。问题不在系统，在于没人说得清「好」是什么样子。我们的判断比较直接：不建评测集的问答系统，等于不知道自己站在什么水平线上——出了badcase只能临时打补丁，改完也不知道是变好了，还是只是换了一种错法。

下面这套三层评测，是我们给江西几家制造和商贸客户做企业知识库落地时磨出来的，不复杂，但能让你每周花两小时就摸到系统的真实水位。

命中率：先确认系统找对了文档

大模型答错，八成不是它笨，是喂给它的资料本身就不对。所以评测要从检索环节切一刀，把「找」和「答」分开看。混在一起评，你永远不知道该改文档还是改提示词。

做法是建一份问题集：从真实提问里挑 50~100 条，每条人工标注「应该命中的文档」，建议细到段落。跑一遍，看正确文档有没有出现在召回的前 3 条里（前3条叫 recall@3，前5条叫 recall@5）。企业内部知识库，recall@3 到 0.8 以上算及格，低于 0.6 就别急着调提示词了，先回头处理文档：命名混乱、一篇文章塞三个主题、扫描件没做 OCR，都会把命中率拖下来。

这里有个特别常见的坑：问题集直接从文档里摘句子改成问号。这么造出来的题，关键词几乎和原文一模一样，召回率自然漂亮，上线后客户用大白话一问立刻崩。问题集要按「员工真实怎么问」来写——「出差住宿超标了还能不能报」是提问，「差旅费用报销标准」是文档标题，两者在检索里的表现差很远。

答案准确率：找对文档也可能答歪

检索命中之后，第二刀切在生成。人工把每个回答判成三档：正确、部分正确、错误。部分正确指的是方向对但漏了条件，比如制度里写了「仅限转正员工」，答案只说了能报多少，没说适用人群——这种在业务上照样会出事。

除了三档，建议单独统计一个数：编造率。就是文档里根本没写、模型自己编出来的比例。这个数比准确率更值得盯。准确率低，用户顶多觉得不好用；编造一次，就可能有人照着错的规定去办事。统计方法不复杂，抽检表里加一列「是否有原文支撑」，答案在原文里找不到依据的，直接记编造。

还有一类要单列出来：该拒答却硬答。问一个知识库里压根没有的产品型号，正确行为是说「没查到，建议联系对应部门」，而不是扯一段听起来很合理的话。这类 case 在抽检里占比不低，因为它不显眼，用户也很难察觉。

来源可追溯：答案要能点回原文

这一层在消费级产品里算加分项，在企业内部是及格线。答案下面要挂原文出处，点开能定位到具体段落。原因有两个：员工不会无条件信任一个黑盒，看不到依据就会继续去问老同事；而你能不能在一个小时内定位到是哪份文档写错了、哪份文档过期没下架，决定了这个系统的长期维护成本。我们做私有化部署的项目里，凡是把引用做扎实的，业务方接受度明显高一截。

评测时给每条答案打「有引用、无引用、引用错误」三态。无引用的一律按不合格处理，哪怕答案本身看着对——因为它不可验证，也无法沉淀成改进线索。

一份可以直接照做的人工抽检流程

评测集和抽检不是一回事。评测集是固定题库，测的是稳定性，用来对比版本；抽检从真实日志里捞，测的是真实水位。两条线都得有。

环节	具体做法	为什么这么定
抽样来源	从后台真实提问日志随机抽，不从题库抽	题库会被人为写「顺」，日志才是员工的原话
抽多少	常规每两周 50 条，业务高峰期加密到 100 条	少于 30 条看不出错误类型的分布
谁来评	业务方 1 人 + IT 1 人，各自独立打分再对结果	只让搭系统的人自己评，会不自觉放水
记录字段	问题原文、系统答案、判定档位、有无来源、错误类型	没有错误类型的抽检，等于只统计了失败次数
错误归类	检索未命中 / 文档过期 / 文档缺失 / 切分不当 / 模型编造	五类问题对应五种改法，混着改就是白改
归因落地	每条badcase必须落到一个改动项上，并留下改动人	落不了地，说明原因还没找对
复盘节奏	每月看一次错误类型的占比变化，不只看准确率总数	总数会被平均掉，占比才能看出治理有没有生效

抽检时容易漏掉的三类问题

跨文档问题。「A产品和B产品能不能一起用」这类提问，答案要拼两份文档，检索往往只召回其中一份，回答看着完整其实缺一半。抽检时留意那些问了两样东西的问题。

时效冲突。老版本制度没下架，新旧两份同时躺在库里，模型挑哪份看运气。这不是模型问题，是知识库治理问题，得靠文档有效期和版本标记来解决。

口语化长尾。员工不会照着标题提问。比如「这个钱能不能先垫」问到的是备用金申请流程。这类问题命中率低但真实频次高，抽检时专门挑几条看看。

评测集要靠养，建一次就吃灰的做法不可取

新文档进来、切分策略调整、换模型，都要重跑同一套题。尤其是在模型 API 与成本管理上做取舍的时候，便宜模型和贵模型在准确率上到底差多少，用同一份评测集一跑就清楚，比看厂商榜单靠谱得多——榜单上的题不是你的业务题。

问题集本身也要维护，每季度补充 10~20 条来自最新日志的新问法，删掉已经过时的业务问题。三年不更新的评测集，测的是一个已经不存在的知识库。

如果你们的知识库刚上线，不用等一套完整体系搭好。这周先从后台日志里挑 30 条真实提问，人工判一遍对错、看有没有来源，你立刻就能知道该修文档还是该调系统。想一起看看抽检表和错误分类怎么设计，可以找我们聊聊，或直接打 400-873-2750。