企业做 Agent 最典型的失败路径是这样的:花两周做出一个能对话的 Demo,老板看完很兴奋;再花两个月接数据、接系统,上线一周后发现它开始一本正经地编造报价,于是被降级成一个「只能查 FAQ 的搜索框」。

问题几乎从来不在于模型不够强,而在于三件事没做完:场景没选对、知识库没整理、验收没有标准。这篇按落地顺序讲。

一、场景选型:先用三个条件筛,别用「激动程度」筛

任何流程都可以接 AI,但不是每个接完都划算。我们内部用三个条件同时筛,三个都满足才做:

  • 高频:每天发生 20 次以上。低频场景做出来没人用,也攒不出评测样本。
  • 有标准答案:正确答案是唯一的,或者至少资深员工之间能达成一致。如果十个老销售给出十个答案,Agent 学不会,也不该学。
  • 数据齐全且可读:答案能找到出处。文档散落在个人微信收藏、截图和口口相传里的场景,先补文档再谈 Agent。

按这个标准,最先能做起来的通常是三类:售前重复咨询、客服工单分级与回复、内部流程查询(谁能审批、走什么流程、上次怎么处理的)。

一个反例:「让 Agent 帮我们做战略决策」这类需求,三个条件一个都不满足——低频、无标准答案、数据不可读。它看起来很性感,但做出来没人敢用。

二、知识库:切片的颗粒度决定了回答的上限

大多数人以为 RAG 的难点是向量库选型,实际上真正的坑在切片。切得太碎,一个完整规则被拆成三段,召回时只拿到其中一段,答案就是残缺的;切得太长,召回的段落里 80% 是无关内容,模型容易被干扰。

我们现在的做法是「按答案单元切」而不是「按字数切」:

  • 一条规则、一个流程、一个常见问题,各自作为一个切片,保持语义完整。
  • 切片头部强制带上上下文标签(产品线、版本、适用客户类型),召回时一并进入提示词。
  • 表格类内容单独处理,不按普通文本切,否则行列关系会丢。
  • 每片保留原文锚点(文档 ID + 段落号),回答时必须能指回去。

另外一个现实问题:知识库会过期。价格、政策、活动规则每月都在变。所以切片要带生效时间,检索时过滤掉过期内容——这一步没做,Agent 会用去年的价格回答今年的客户。

三、工具调用:让它能查能改,但每一改都要留痕

只会说话的 Agent 价值有限,能查订单、能建工单、能改地址的 Agent 才真正省人力。但一旦给了写权限,风险就来了。

  • 读操作放开,写操作分级。查询类接口直接放行;修改类操作先返回「我准备做这件事,确认吗」,由人点确认。
  • 参数必须结构化校验。模型输出的订单号要先校验格式与归属,再传给接口。不要让模型生成的内容直接进数据库。
  • 全链路留痕。每次工具调用记录:谁触发、调了什么、参数、返回、耗时。出问题要能复盘到具体一步。
  • 兜底路径明确。接口超时或返回异常时,Agent 应该转人工而不是编一个答案。

四、评测集:没有它,验收就只能靠「感觉还不错」

这是最容易被跳过、也最不该跳过的一步。做法很朴素:从真实历史咨询里抽 50–200 条,人工标注标准答案,形成评测集。之后每次改提示词、换模型、更新知识库,都跑一遍。

我们用的三项验收指标(数值为内部参考线,非行业标准)
指标怎么算参考线不达标时先改什么
准确率答案与标注一致(或语义等价)的比例≥ 85%切片与召回,其次才是提示词
拒答率知识库无覆盖时正确拒答的比例≥ 90%拒答阈值与兜底话术
时延首字返回 P95≤ 3 秒检索召回数量、模型档位

特别说一句拒答率。企业最怕的不是「不知道」,而是「不知道却编了一个」。我们宁可让 Agent 说「这个问题我需要转给同事确认」,也不要它给出一个像模像样的错误答案。评测集里必须专门放一批「知识库没有覆盖」的问题,专门测这个。

五、上线不是终点:护栏与回归

  • 内容护栏:敏感词、竞品对比、承诺性表述(如「保证」「一定」)做硬拦截,不依赖模型自觉。
  • 灰度与回滚:先放 10% 流量,观察一周再全量;保留上一版提示词与知识库快照,随时可回退。
  • 回归测试:知识库每次更新后自动跑评测集,准确率掉 5 个点以上就先不回滚知识库,而是查是哪一批切片出了问题。
  • 人工接管率:把它当成核心指标盯着。接管率突然上升,通常意味着知识库过期或某个接口挂了。

六、成本与组织:比模型价格更贵的是维护

算成本时不要只算 token。真正的大头是三块:知识库的持续维护(谁负责更新、多久更新一次)、评测集的人工标注、以及上线后的问题跟进。经验上,一次性开发成本与首年维护成本大致是 1:1。

所以组织上要提前定一个「知识库 owner」,通常是业务侧最懂产品的那个人,而不是技术。技术负责让系统跑起来,业务负责让知识是对的——这两件事分开,Agent 才能活过三个月。

一个可执行的 6 周节奏

  • 第 1 周:按三个条件筛场景,定一个,写清楚「什么叫答对了」。
  • 第 2–3 周:文档结构化、切片、建检索;同步抽 80 条评测样本。
  • 第 4 周:接 1–2 个只读接口,跑通主流程;开始看准确率。
  • 第 5 周:补写操作(带确认),加护栏,10% 灰度。
  • 第 6 周:全量,交付评测集、运维文档与回滚方案。

最后一句:Agent 不是一个「更聪明的客服」,而是一套需要被维护的知识资产。愿意维护它,它才愿意替你干活。

作者:Terry,增长洞察 CTO,负责 Agent 开发与数据基建。本文整理自内部项目复盘,为演示内容。