企业做 Agent 最典型的失败路径是这样的:花两周做出一个能对话的 Demo,老板看完很兴奋;再花两个月接数据、接系统,上线一周后发现它开始一本正经地编造报价,于是被降级成一个「只能查 FAQ 的搜索框」。
问题几乎从来不在于模型不够强,而在于三件事没做完:场景没选对、知识库没整理、验收没有标准。这篇按落地顺序讲。
一、场景选型:先用三个条件筛,别用「激动程度」筛
任何流程都可以接 AI,但不是每个接完都划算。我们内部用三个条件同时筛,三个都满足才做:
- 高频:每天发生 20 次以上。低频场景做出来没人用,也攒不出评测样本。
- 有标准答案:正确答案是唯一的,或者至少资深员工之间能达成一致。如果十个老销售给出十个答案,Agent 学不会,也不该学。
- 数据齐全且可读:答案能找到出处。文档散落在个人微信收藏、截图和口口相传里的场景,先补文档再谈 Agent。
按这个标准,最先能做起来的通常是三类:售前重复咨询、客服工单分级与回复、内部流程查询(谁能审批、走什么流程、上次怎么处理的)。
二、知识库:切片的颗粒度决定了回答的上限
大多数人以为 RAG 的难点是向量库选型,实际上真正的坑在切片。切得太碎,一个完整规则被拆成三段,召回时只拿到其中一段,答案就是残缺的;切得太长,召回的段落里 80% 是无关内容,模型容易被干扰。
我们现在的做法是「按答案单元切」而不是「按字数切」:
- 一条规则、一个流程、一个常见问题,各自作为一个切片,保持语义完整。
- 切片头部强制带上上下文标签(产品线、版本、适用客户类型),召回时一并进入提示词。
- 表格类内容单独处理,不按普通文本切,否则行列关系会丢。
- 每片保留原文锚点(文档 ID + 段落号),回答时必须能指回去。
另外一个现实问题:知识库会过期。价格、政策、活动规则每月都在变。所以切片要带生效时间,检索时过滤掉过期内容——这一步没做,Agent 会用去年的价格回答今年的客户。
三、工具调用:让它能查能改,但每一改都要留痕
只会说话的 Agent 价值有限,能查订单、能建工单、能改地址的 Agent 才真正省人力。但一旦给了写权限,风险就来了。
- 读操作放开,写操作分级。查询类接口直接放行;修改类操作先返回「我准备做这件事,确认吗」,由人点确认。
- 参数必须结构化校验。模型输出的订单号要先校验格式与归属,再传给接口。不要让模型生成的内容直接进数据库。
- 全链路留痕。每次工具调用记录:谁触发、调了什么、参数、返回、耗时。出问题要能复盘到具体一步。
- 兜底路径明确。接口超时或返回异常时,Agent 应该转人工而不是编一个答案。
四、评测集:没有它,验收就只能靠「感觉还不错」
这是最容易被跳过、也最不该跳过的一步。做法很朴素:从真实历史咨询里抽 50–200 条,人工标注标准答案,形成评测集。之后每次改提示词、换模型、更新知识库,都跑一遍。
| 指标 | 怎么算 | 参考线 | 不达标时先改什么 |
|---|---|---|---|
| 准确率 | 答案与标注一致(或语义等价)的比例 | ≥ 85% | 切片与召回,其次才是提示词 |
| 拒答率 | 知识库无覆盖时正确拒答的比例 | ≥ 90% | 拒答阈值与兜底话术 |
| 时延 | 首字返回 P95 | ≤ 3 秒 | 检索召回数量、模型档位 |
特别说一句拒答率。企业最怕的不是「不知道」,而是「不知道却编了一个」。我们宁可让 Agent 说「这个问题我需要转给同事确认」,也不要它给出一个像模像样的错误答案。评测集里必须专门放一批「知识库没有覆盖」的问题,专门测这个。
五、上线不是终点:护栏与回归
- 内容护栏:敏感词、竞品对比、承诺性表述(如「保证」「一定」)做硬拦截,不依赖模型自觉。
- 灰度与回滚:先放 10% 流量,观察一周再全量;保留上一版提示词与知识库快照,随时可回退。
- 回归测试:知识库每次更新后自动跑评测集,准确率掉 5 个点以上就先不回滚知识库,而是查是哪一批切片出了问题。
- 人工接管率:把它当成核心指标盯着。接管率突然上升,通常意味着知识库过期或某个接口挂了。
六、成本与组织:比模型价格更贵的是维护
算成本时不要只算 token。真正的大头是三块:知识库的持续维护(谁负责更新、多久更新一次)、评测集的人工标注、以及上线后的问题跟进。经验上,一次性开发成本与首年维护成本大致是 1:1。
所以组织上要提前定一个「知识库 owner」,通常是业务侧最懂产品的那个人,而不是技术。技术负责让系统跑起来,业务负责让知识是对的——这两件事分开,Agent 才能活过三个月。
一个可执行的 6 周节奏
- 第 1 周:按三个条件筛场景,定一个,写清楚「什么叫答对了」。
- 第 2–3 周:文档结构化、切片、建检索;同步抽 80 条评测样本。
- 第 4 周:接 1–2 个只读接口,跑通主流程;开始看准确率。
- 第 5 周:补写操作(带确认),加护栏,10% 灰度。
- 第 6 周:全量,交付评测集、运维文档与回滚方案。
最后一句:Agent 不是一个「更聪明的客服」,而是一套需要被维护的知识资产。愿意维护它,它才愿意替你干活。
作者:Terry,增长洞察 CTO,负责 Agent 开发与数据基建。本文整理自内部项目复盘,为演示内容。