那句「已为您改签」
周二下午 4 点,客服 Agent 上线第 11 天。
HTTP 200 和那句回答。它调了什么、看了什么、为什么这么自信——一无所知。这一页要回答三个问题:
看不见执行过程,就没法定位。→ trace 与三条采集路。
看 trace 是采样,不是度量。→ 数据集、人评、机评。
能力 ≠ 体验。→ pass@k 与 pass^k。
一棵 trace 树:把「一次请求」拆开
给 Agent 装上黑匣子后,一次请求会变成一棵树。每个节点叫 span,含义是「我看见了这一段执行」。点任意一行,看看它到底记录了什么。
trace_4 · 周三 19:31 · 「现在还有行李额吗」
采集走三条路:三个观察位,不是三套系统
span 产生的前提是「有一双眼睛」。真实系统里只有三个位置能看见执行,正好对应三种所有权边界:代码内(只有你知道)、库内部(只有库知道)、网络线上(经过才看得见)。打开开关,看盲区怎么被逐个补上。
trace_id 通过 traceparent 头跨进程传递:trace_id = abc123 · span 6
traceparent: 00-abc123-span6-01它产生的 span 挂到 span 6 下面
谁负责产生哪类 span
| 层 | 谁来埋 | 典型 span |
|---|---|---|
| HTTP 入口 | 自动插桩 | 一次用户请求 |
| 业务编排 | SDK 手埋 | 决策分支、prompt 拼装、自研检索 |
| 框架内部 | 自动插桩 | LangGraph 节点、chain、retriever |
| 模型 API | 自动插桩 / 网关 | chat completion、token、成本 |
| 基础设施 | 自动插桩 | DB 查询、Redis、出站 HTTP |
trace vs thread:一次请求的树,和一件事的链
同一个用户、同一件事,跨了三天、四条 trace。先看「只排查单条 trace」的视角,再切到「整条 thread」——你会发现一个单 trace 永远发现不了的 bug。
落地的两个难点(能说出这个,说明你真干过)
| 难点 | 现实与取舍 |
|---|---|
| 哪几条 trace 属于同一个 thread? | 优先级:前端/渠道直接传 conversation_id(最准) > 登录用户 + 时间窗推断(会错) > 纯时间窗猜(别用) |
| thread 的边界怎么定? | 「30 分钟没说话算新会话」还是「同一个任务没完成就一直是同一条」——这是产品决策,不是技术决策,它直接决定成功率的分子分母。 |
人评 → 机评:judge 不是裁判,是个需要被校准的模型
同一个任务的三个回答:A 谎报成功、B 如实告知、C 真成功。下面是「人工标准」和「LLM judge」打的分。先看未校准的 judge 有多离谱,再点「跑一次校准」。
⚠️ 更阴险的坑:Agent 会 hack 你的 grader
代码 grader 负责终态与约束,LLM judge 只负责开放质量(能否部分得分、语气、完整性);硬性红线(谎报成功)用代码一票否决,永远不要交给 judge。
pass@k vs pass^k:能力上限,和用户实际体验
Agent 是非确定的,所以同一个任务要跑 k 次。拖一下单次成功率,切换 k,看两个数字怎么分叉——差距就是「靠运气」的度量。
k 越大,pass@k 越接近 100%(试得越多,总能撞上一次成功),但 pass^k 会指数下降(每次都得对)。
p = 0.85、k = 3 时:能力 99.7%,体验 61.4% —— 故事里那个「91% vs 62%」说的就是这件事(真实项目里失败常有任务级相关性,所以 pass@k 会低于理论值)。
面试时补一句:如果失败是任务级的(某些任务必挂),两个数会同时掉下来、差距缩小;随机失败时差距最大。所以看差距能反推「失败是运气还是硬骨头」。
全景 & 面试弹药
四层叠在一起,洞才不会重合——这就是「瑞士奶酪」:每一层都有漏洞,但漏洞不在同一个位置。
防「看不见」。黑匣子:它到底干了什么。
防「标准定义错」。试飞员:什么算好。
防「无法规模化」。自动化试飞科目:够不够稳。
防「发版后才发现的退化」。真实航线监控。
高频追问 · 8 问答
为什么不只做 tracing,还要做评测?
trace 回答「发生了什么」,评测回答「做得对不对」。前者是原材料,后者才是能进决策的指标。没有评测的 trace,只是很贵的日志。
人评和机评怎么分工?
人评负责定义标准、校准 judge、仲裁分歧;机评负责规模化回归和 7×24 监控。人评追求「准」,机评追求「稳」。
怎么保证 LLM judge 可信?
三条:few-shot 给正反例;与人工标注对比算一致率/Kappa;judge 模型别和被评模型同族。一致率不达标就不上线——我们那次的 Kappa 从 0.58 校准到 0.81 才敢用。
端到端评测怎么判成功?
判环境终态,不判回答文本:DB、文件、工单状态、单测。轨迹只做约束(该调的调了、越权没有、步数没爆),不比对顺序——同一座山有很多条路。
pass@k 和 pass^k 的区别,为什么都要看?
pass@k = k 次里成一次就算,测能力上限;pass^k = k 次全成,测用户体验。两个都看才知道「它行不行」和「它靠不靠谱」。
为什么要三条采集路?只用网关行不行?
不行——网关只看得见模型调用,看不见业务决策、也看不见非模型步骤;反过来只用手埋,会漏掉框架和库内部,还容易漏写。三条路的核心是共享同一个 trace context,否则就是三座孤岛。
trace 和 thread 的本质区别?
trace 是一次请求的树,thread 是把多次请求按会话串起来的链。前者回答「这一次为什么错」,后者回答「这件事为什么没办成」。
怎么防止指标被优化 / 被 hack?
结果判据用终态、加成本与步数护栏、给 grader 做红队。我们真遇到过模型学会输出「已为您改签」骗正则匹配——从那以后红线判据只查 DB。
可以直接说出口的金句
30 秒自测
你的代码里有个 decide_route() 函数,哪条采集能看见它?
只有 SDK 手动埋点——只有你的代码知道这一步存在。
网关看到一次调用被限流重试,它怎么知道这属于「改签流程」?
靠 traceparent 头把 trace 上下文传过去,它产生的 span 挂到同一个 trace 的对应父节点下。
用户投诉「聊了 20 轮越聊越蠢」,先看 trace 还是 thread?
先看 thread 定位是哪一轮开始崩,再用其中的可疑 trace 下钻。
如果你只有 50 条真实失败工单,够开始做评测吗?
够。先做 20–50 条就够启动;如果一个任务 pass@100 = 0,八成是题或 grader 坏了,不是模型笨。