AI 项目做完怎么复盘？一套四维框架和踩坑清单
我们做过不少企业 AI 项目，也接手过一些别人做了一半的。有个现象挺一致：项目上线那天热闹一场，群里发个红包，然后就没人再提了。半年后再问，回答通常是“在用，但好像没达到预期”。再往细问，预期是什么、差多少、为什么差，说不清。
这不是执行问题，是缺了一次复盘。不复盘的项目，第二次大概率还会踩同样的坑，因为坑没被记下来，换个人、换个场景，坑就重新长出来一遍。
AI 项目复盘，和普通 IT 项目验收不一样在哪
传统项目验收看功能清单打勾。AI 项目打不了勾：功能都在，输出质量可能只有 70 分；而 70 分的输出，一线员工会绕开不用。所以复盘要往前多走两步，既看输出质量，也看人到底用没用。
维度一：目标达成度，先把目标重写一遍
复盘现场最容易卡住的地方，是没人说得清当初的目标是什么。“提升客服效率”算目标吗？不算，它没法判断达成与否。
实操做法：开场花十分钟，把当初的目标用可验证的句式重写。写成“工单首响时间从 4 小时降到 1 小时内”“合同初稿审阅从 90 分钟降到 30 分钟”这种。哪怕这个目标是事后补的，也比没有强。补完之后你往往会发现，有些项目从立项起目标就模糊，这本身就是一条复盘结论。
接着分三层看：
- 能不能用：稳定性、响应速度、错误率。这层通常都能过。
- 有没有人用：周活跃人数、任务渗透率。这层是照妖镜。上线三个月，周活低于目标使用人数的三成，基本等于没上线，后面那一层就不用算了。
- 值不值：省下的工时、降低的返工率、减少的外包量，折算成钱和总投入比一比。
采用率低的时候，别急着归因到“员工不接受新事物”。多数情况是入口太远、输出要改的地方太多，或者干脆没嵌进原有操作路径。这块可以对照 AI 工作流自动化 的做法：把 AI 塞在已有流程的节点上，而不是让人专门去开一个新系统。
维度二：成本对账，token 只是账单的一部分
预算表和实际支出对不上，几乎是必然的，因为立项时习惯只算模型调用费。真实账单长这样：
| 成本项 | 预估时常怎么算 | 实际要对哪些账 |
|---|---|---|
| 模型调用费 | 单次问答 token 单价 × 次数 | 一次 RAG 问答往往要发 3-5 次请求（查询改写、检索、重排、生成），失败重试再翻一遍 |
| 向量库与存储 | 按文档量估 | 重切分、重建索引、测试与生产双份副本 |
| 私有化硬件 | 一次性采购价 | 折旧、闲置率、运维人力；调用量没上去时，自建单价远高于用 API |
| 集成开发 | 按接口数量估 | 权限打通、老系统没接口只能人工兜底，这部分工时常常翻倍 |
| 提示词与流程维护 | 基本没算 | 模型版本升级后原提示词失效，要重新调、重新验 |
| 员工时间 | 基本没算 | 培训、试用期效率下降、逐条核对 AI 输出 |
有个常见误判：为了“数据安全”直接上私有化，结果调用量根本没到需要自建的量级，卡闲着，模型版本还比云端落后一代。私有化和 API 不是立场问题，是算术问题——把年调用量、单次 token 数、硬件折旧年限摆一起算，拐点在哪一目了然。取舍标准我们在 私有化部署 里写过更细的版本。
成本这块建议留个台账，不用复杂，三列就够：每日调用量、失败重试率、单任务平均成本。有这三列，下次做预算能少猜一半。要长期做，可以参考 模型 API 与成本管理 的做法。
维度三：意外问题清单，这才是最值钱的一页
复盘纪要里写“项目顺利完成”没什么价值，写“哪里出乎意料”才有。我们习惯让每个人会前独立写三条“我没想到的”，开会时合并去重。反复出现的就这几类：
- 数据侧：文档版本过期没人管、扫描件识别率差、权限没对齐导致检索到不该看的内容。
- 人的侧：有人完全不用；有人全盘照抄 AI 输出不做核对；还有人绕过系统自己另建一套表格。
- 流程侧：AI 出了初稿但没定复核责任人，出错后返工成本比原来更高。
- 供应商侧：模型版本静默升级、提示词效果变差；接口限流偏挑业务高峰期暴露。
每条写四栏：现象、根因、当时怎么处理的、是否需要根治以及谁负责。只写现象不写根因的清单，第二次照样没用。
维度四：可复用经验，不落成文件等于没有
复盘的产出如果只停在会议纪要里，三个月后谁也找不着。至少要沉淀三样东西：
- 提示词与工作流模板库：跑通过的提示词、参数、适用场景和失效条件，统一放一个共享位置，别散在个人微信收藏里。
- 验收检查清单：这次上线前漏测了什么，下次就加一条。清单是越用越厚的。
- 数据源与责任人清单：哪些文档喂进了系统、谁负责更新、多久更新一次。知识库用着用着就烂掉，九成是这一栏空着，企业知识库 项目尤其明显。
复盘会怎么开：90 分钟，四个人，一页纸
时间点选在上线后第 2 周（看可用性）和第 3 个月（看采用率与成本）各一次；实在没精力就合并成一次，但别拖过半年，细节全忘。
到场的人：业务负责人、一线使用者代表（必须有，且不能是主管）、实施或 IT、供应商或内部开发。少了使用者代表，这会一定开成甩锅会。
开场先立一条规矩：只谈系统和流程，不谈人。否则后面所有人开始自我保护，意外问题一条都听不到。
产出控制在一页纸：四个维度各三到五条，末尾写清三件“下个项目直接拿去用”的东西，再列一份“这次没做但应该做”的待办。这一页纸归档，比几十页汇报 PPT 有用得多。
很多团队愿意为上线花钱花时间，不愿意为复盘花半天。但从我们接手的项目看，第二、第三个 AI 场景之间的效率差距，大多是在第一次复盘里拉开的。
下一步可以这么开始
挑一个已经上线的场景，哪怕只是一个知识库问答或工单分类，两周内做一次 90 分钟复盘。会前让每人写三条“我没想到的”，会中把采用率和成本两个数字摆到桌面上，会后留一页纸。跑完这一次，你大概就知道自己团队缺的是工具、数据还是流程。
内部推不动，或者想找个外部的人陪你把第一次复盘跑通，可以打 400-873-2750，或走 联系我们。我们也做 企业 AI 培训，其中有一节就是带着团队现场做复盘，比讲概念管用。