企业 AI 智能体部署清单:五个阶段、责任人与验收指标

做过几个智能体项目就会发现,拖慢进度的通常不是模型选型,而是「上线那天才发现没准备」:知识文档还在某个人电脑里,接口对接人出差了,验收标准是老板一句「感觉还行」。下面这份清单,是我们在南昌本地和外地远程项目里反复用的一版,按五个阶段展开,每项都写清谁负责、交出什么,最后给可量化的验收口径。你可以直接拿去当项目检查表。
阶段一 需求确认:把「不做」也写下来
「做一个能回答客户问题的机器人」这句话拆不出任何工作量。我们一般要求把场景收敛到一个可数的任务集合:智能体处理哪几类问题、每类每天大概多少量、答不上来时它该做什么动作。第三点最常被跳过,但它是后面人工介入率能不能降下来的关键。
谁负责:业务负责人主笔,IT 与实施方只负责质疑,不代笔。业务不签字的《场景边界说明》,后面所有扯皮都是从这里长出来的。
交付物:一页纸,三块内容——任务清单(含明确「本期不做」的部分)、知识来源范围、人工兜底路径;外加至少 20 条真实用户提问样本。
踩过的坑:样本从聊天记录里随手一抽,全是「在吗」「好的」,没有参考价值。要按问题类型分层抽,长尾难例保留五分之一以上,这批样本才是后面调优的底料。
阶段二 数据与权限:知识库不等于把文件丢进去
很多项目在这里返工。文件收上来了,但谁都能改、版本对不上、扫描件是图片没法检索。我们的做法是先定「唯一可信源」,其他位置的同主题文档一律标注为过期,避免模型检索到两个互相矛盾的答案。具体做法在企业知识库的落地路径里有更细的说明。
- 文档清单与责任人(知识库管理员):每份文档要有归属部门和到期复核时间,没有责任人的文档不进库。
- 切片与召回策略(实施方):交付物是切片规则说明和一份召回测试集,20 条问题里至少 15 条能召回正确段落再往下走。
- 账号与审计(IT):智能体能访问哪些系统、用谁的权限访问、日志留多久,写成一张权限矩阵表。这里宁可先收紧,后面再放开。
如果涉及内网部署和数据不出域,权限这块的工作量会比想象中大,可以对照私有化部署的环境要求提前排期。
阶段三 系统对接:接口清单先落地再谈联调
智能体要真正干活,就得连 OA、CRM、工单、订单这些系统。我们要求在开发前先出一张接口清单表,字段包括:系统名、接口地址、认证方式、谁提供测试环境、限流规则、失败重试策略。缺哪一列,联调当天就会卡在哪一列。
谁负责:IT 出接口与账号,实施方出调用逻辑,双方共同确认字段映射。
交付物:接口清单表 + 字段映射表 + 一份「写操作白名单」。涉及下单、改状态、发通知这类有副作用的动作,我们默认只开通一到两个,且必须带幂等键,重复调用不产生第二条记录。
常见坑:测试环境和生产环境字段不一致,或者生产接口有限流,白天一压就超时。上线前用接近真实峰值的量压一轮,别等业务反馈「它老是转圈」。
阶段四 上线验收:四个指标,不看「感觉好用」
验收谈不拢,八成是因为标准是主观的。我们固定看四个数,且都在真实流量下取,不用演示环境的漂亮数据。参考区间只作为讨论起点,实际以业务场景和方案确认为准。
| 指标 | 怎么算 | 怎么测 | 讨论起点 |
|---|---|---|---|
| 任务成功率 | 完整走完流程且结果正确的会话数 ÷ 总会话数 | 抽 100 条真实会话人工复核,建议双人交叉判 | 先定基线再定目标,别一上来就要求九成以上 |
| 人工介入率 | 触发转人工或人工改写的会话数 ÷ 总会话数 | 直接读日志里的转人工事件 | 上线首月通常高于预期,逐周看下降趋势 |
| 响应耗时 | 看 P50 与 P95,不看平均值 | 网关侧埋点,区分检索耗时与模型耗时 | 内部工具和面向客户的标准不一样,分开定 |
| 单任务成本 | (模型调用 + 检索 + 人工介入折算)÷ 任务数 | 按周出账,按场景拆开看 | 不同模型、不同上下文长度差异大,以实际报价为准 |
成本这一项最容易被忽略。同样一个任务,上下文从 2K 涨到 20K,账单可能是几倍关系。我们在模型 API 与成本管理里一般会做路由分级:简单问答走小模型,复杂推理才上大模型,配合缓存,单任务成本能压下来一截。这笔账要在验收前算清楚,而不是等财务来问。
交付物:一份验收报告,四个指标各一张趋势图,加一页「已知问题与不适用范围」。写清哪些问题这期不修,比假装都修好了更有用。
阶段五 后续运维:明确谁盯着它
智能体不是上线就完事,知识会过期、接口会改、用户问法会变。项目结束时必须落到一个人头上,哪怕是兼职。
- 业务侧(场景 owner):每周抽看 20 条失败会话,判断是知识缺失还是流程设计问题。
- IT 侧:监控接口可用性和错误率,模型或接口升级前先在灰度环境跑一轮。
- 实施方:约定响应时效和月度复盘节奏,交付物是月度运行报告。
一个具体建议:在知识库里留一个「未解决问题池」,用户问到答不上的内容自动进池子,每月清理一次。这比任何一次性的调优都管用。
下一步可以这样开始
如果你正准备启动,先别急着选模型。拿这份清单当模板,把阶段一的场景边界和阶段四的四个指标先写出来,找业务和 IT 各签一次字。这两页纸定了,后面选型、报价、排期都会顺很多。我们做AI 智能体私有化部署时,通常也是从这两页开始对齐,需要人一起过一遍清单,打 400-873-2750 或走联系我们都行,先把场景聊清楚再谈方案。