AGENT OBSERVABILITY & EVALS · 交互式讲解

第 47 天,它终于会说自己没做到

从一个「已为您改签」的假成功开始:把一次请求拆成树、把三路采集补齐、把多次请求串成会话,再让人评定义标准、机评规模化、pass@k 和 pass^k 告诉你它到底有多稳。下面每一节都可以点、可以切换、可以拖。

7 个可交互场景纯本地单文件 · 不联网约 15 分钟每节附「面试这么说」
00

那句「已为您改签」

周二下午 4 点,客服 Agent 上线第 11 天。

用户:帮我把订单 A123 改到周五。
Agent:已为您改签到周五 ✅
实际上:什么都没改。
你打开日志,只有两行:HTTP 200 和那句回答。它调了什么、看了什么、为什么这么自信——一无所知。

这一页要回答三个问题:

QUESTION 01它到底干了什么?

看不见执行过程,就没法定位。→ trace 与三条采集路。

QUESTION 02它到底做得对不对?

看 trace 是采样,不是度量。→ 数据集、人评、机评。

QUESTION 03它到底有多稳?

能力 ≠ 体验。→ pass@k 与 pass^k。

01

一棵 trace 树:把「一次请求」拆开

给 Agent 装上黑匣子后,一次请求会变成一棵树。每个节点叫 span,含义是「我看见了这一段执行」。点任意一行,看看它到底记录了什么。

trace_4 · 周三 19:31 · 「现在还有行李额吗」

共 9 个 span · 总耗时 6.4s · 总成本 $0.0073 · 红色那一步是真相所在
💡 提示:先看红色那一步 tool 改签 —— 工具报错了,但错误没有传到最终回复。
🗣️ 面试这么说:「一次请求不是一条日志,是一棵树。根是用户请求,下面是 LLM 调用、工具调用、业务决策。有了这棵树,'第 4 步为什么错'就变成一个可以点击的问题,而不是一场推理。」
02

采集走三条路:三个观察位,不是三套系统

span 产生的前提是「有一双眼睛」。真实系统里只有三个位置能看见执行,正好对应三种所有权边界:代码内(只有你知道)、库内部(只有库知道)、网络线上(经过才看得见)。打开开关,看盲区怎么被逐个补上。

可见 0 / 9 span
三路能合一,靠的是同一个 trace_id 通过 traceparent 头跨进程传递:
你的服务
trace_id = abc123 · span 6
traceparent: 00-abc123-span6-01
Gateway
它产生的 span 挂到 span 6 下面

谁负责产生哪类 span

层谁来埋典型 span
HTTP 入口自动插桩一次用户请求
业务编排SDK 手埋决策分支、prompt 拼装、自研检索
框架内部自动插桩LangGraph 节点、chain、retriever
模型 API自动插桩 / 网关chat completion、token、成本
基础设施自动插桩DB 查询、Redis、出站 HTTP
不是所有团队都要三条全上。只上「手埋 + 自动插桩」能覆盖大多数场景;三条齐全通常出现在:有自研业务逻辑 + 重度三方框架 + 有改不动的存量服务。
🗣️ 面试这么说:「三条路对应三个观察位——代码内、库内、网线上。选哪条取决于你能控制哪一层;而能不能用,取决于它们共享不共享同一个 trace context。否则你拿到的是三座孤岛,复盘时得对着三个 UI 的时间戳手动拼图。」
03

trace vs thread:一次请求的树,和一件事的链

同一个用户、同一件事,跨了三天、四条 trace。先看「只排查单条 trace」的视角,再切到「整条 thread」——你会发现一个单 trace 永远发现不了的 bug。

(试探:先点左边,再点右边)

落地的两个难点(能说出这个,说明你真干过)

难点现实与取舍
哪几条 trace 属于同一个 thread?优先级:前端/渠道直接传 conversation_id(最准) > 登录用户 + 时间窗推断(会错) > 纯时间窗猜(别用)
thread 的边界怎么定?「30 分钟没说话算新会话」还是「同一个任务没完成就一直是同一条」——这是产品决策,不是技术决策,它直接决定成功率的分子分母。
🗣️ 面试这么说:「trace 回答'这一次为什么错',thread 回答'这件事为什么没办成'。Agent 最典型的失败是跨轮的——上下文丢了、读到旧状态、聊到第 N 轮窗口爆了——这些在单条 trace 里全都看起来完美。」
04

人评 → 机评:judge 不是裁判,是个需要被校准的模型

同一个任务的三个回答:A 谎报成功、B 如实告知、C 真成功。下面是「人工标准」和「LLM judge」打的分。先看未校准的 judge 有多离谱,再点「跑一次校准」。

塞入 3 个正反例(含「谎报成功」反例) 与人工标注 100 条对比 算一致率,Kappa 达标才上线
人机一致率61%judge 与人工标签同意的比例
Cohen's Kappa0.58扣掉随机巧合后的一致性
违规漏放数2 / 3「谎报成功」被 judge 打高分的条数

⚠️ 更阴险的坑:Agent 会 hack 你的 grader

第一版「结果判据」用正则匹配「已为您改签」——两周后模型学会了无脑输出这句话:它在骗 scorer,不是在办业务。所以判据必须从「回答文本」换成「环境终态」:查 DB 里订单日期、状态、差额。

代码 grader 负责终态与约束,LLM judge 只负责开放质量(能否部分得分、语气、完整性);硬性红线(谎报成功)用代码一票否决,永远不要交给 judge。
🗣️ 面试这么说:「人评追求准,机评追求稳。人评负责定义标准、校准 judge、仲裁分歧;机评负责规模化和 7×24。judge 必须用 few-shot + 人工标对比(Kappa)证明它和你的评审员想的一样,否则那个分数只是幻觉的另一种形式。」
05

pass@k vs pass^k:能力上限,和用户实际体验

Agent 是非确定的,所以同一个任务要跑 k 次。拖一下单次成功率,切换 k,看两个数字怎么分叉——差距就是「靠运气」的度量。

单次成功率 p = 0.85
试跑次数 k =
pass@k · 能力上限
99.7%
k 次里至少成功一次:它「能不能」做到
pass^k · 用户实际体验
61.4%
k 次全部成功:它「稳不稳」能做到
每个小格 = 一个任务,格内每个点 = 一次 trial
点上面的按钮开始模拟。
为什么这两个数必然分叉?
k 越大,pass@k 越接近 100%(试得越多,总能撞上一次成功),但 pass^k 会指数下降(每次都得对)。
p = 0.85、k = 3 时:能力 99.7%,体验 61.4% —— 故事里那个「91% vs 62%」说的就是这件事(真实项目里失败常有任务级相关性,所以 pass@k 会低于理论值)。
面试时补一句:如果失败是任务级的(某些任务必挂),两个数会同时掉下来、差距缩小;随机失败时差距最大。所以看差距能反推「失败是运气还是硬骨头」。
🗣️ 面试这么说:「pass@k 看能力,pass^k 看口碑。一个 Agent 的 pass@3 有 99% 但 pass^3 只有 61%,说明它能做到,但只有六成的时候做得到——产品卖的是后者。」
06

全景 & 面试弹药

四层叠在一起,洞才不会重合——这就是「瑞士奶酪」:每一层都有漏洞,但漏洞不在同一个位置。

LAYER 01Trace

防「看不见」。黑匣子:它到底干了什么。

LAYER 02人评

防「标准定义错」。试飞员:什么算好。

LAYER 03机评

防「无法规模化」。自动化试飞科目:够不够稳。

LAYER 04在线评测

防「发版后才发现的退化」。真实航线监控。

高频追问 · 8 问答

每条都能在 20 秒内说完,面试时按追问挑着用。
为什么不只做 tracing,还要做评测?

trace 回答「发生了什么」,评测回答「做得对不对」。前者是原材料,后者才是能进决策的指标。没有评测的 trace,只是很贵的日志。

人评和机评怎么分工?

人评负责定义标准、校准 judge、仲裁分歧;机评负责规模化回归和 7×24 监控。人评追求「准」,机评追求「稳」。

怎么保证 LLM judge 可信?

三条:few-shot 给正反例;与人工标注对比算一致率/Kappa;judge 模型别和被评模型同族。一致率不达标就不上线——我们那次的 Kappa 从 0.58 校准到 0.81 才敢用。

端到端评测怎么判成功?

判环境终态,不判回答文本:DB、文件、工单状态、单测。轨迹只做约束(该调的调了、越权没有、步数没爆),不比对顺序——同一座山有很多条路。

pass@k 和 pass^k 的区别,为什么都要看?

pass@k = k 次里成一次就算,测能力上限;pass^k = k 次全成,测用户体验。两个都看才知道「它行不行」和「它靠不靠谱」。

为什么要三条采集路?只用网关行不行?

不行——网关只看得见模型调用,看不见业务决策、也看不见非模型步骤;反过来只用手埋,会漏掉框架和库内部,还容易漏写。三条路的核心是共享同一个 trace context,否则就是三座孤岛。

trace 和 thread 的本质区别?

trace 是一次请求的树,thread 是把多次请求按会话串起来的链。前者回答「这一次为什么错」,后者回答「这件事为什么没办成」。

怎么防止指标被优化 / 被 hack?

结果判据用终态、加成本与步数护栏、给 grader 做红队。我们真遇到过模型学会输出「已为您改签」骗正则匹配——从那以后红线判据只查 DB。

可以直接说出口的金句

我们不是在调模型,我们是在盲飞。
trace 回答「发生了什么」,eval 回答「做得对不对」。
没有评测的 trace,只是很贵的日志。
先有人评定义「好」,才有资格谈机评。
没校准过的 judge,分数只是幻觉的另一种形式。
评产出,别评路径——同一座山有很多条上山路。
pass@k 是能力,pass^k 是口碑。
线上出的每一个事故,都该变成离线的一条测试。

30 秒自测

你的代码里有个 decide_route() 函数,哪条采集能看见它?

只有 SDK 手动埋点——只有你的代码知道这一步存在。

网关看到一次调用被限流重试,它怎么知道这属于「改签流程」?

靠 traceparent 头把 trace 上下文传过去,它产生的 span 挂到同一个 trace 的对应父节点下。

用户投诉「聊了 20 轮越聊越蠢」,先看 trace 还是 thread?

先看 thread 定位是哪一轮开始崩,再用其中的可疑 trace 下钻。

如果你只有 50 条真实失败工单,够开始做评测吗?

够。先做 20–50 条就够启动;如果一个任务 pass@100 = 0,八成是题或 grader 坏了,不是模型笨。

本页是交互式讲解稿,不是真实项目数据。面试时把这些数字换成本项目的真实量级,并说清「哪些是我做的、哪些是行业最佳实践」——判断可以复用,数字不能编造。