多轮评测功能调研
1. 调研背景
本次调研主要围绕 Agent 多轮评测能力 展开,重点调研以下两个对象:
-
agent-mock-gateway Skill(名称已脱敏)- 该 Skill 解决什么问题;
- 提供了哪些功能;
- 整体执行流程是什么;
- 与多轮评测之间有什么关系。
-
Langfuse 多轮评测
- Langfuse 中涉及多轮评测的方案是什么;
- 模拟式多轮评测是如何实现的;
- 多轮对话过程中各组件分别承担什么职责。
本次 Langfuse 调研主要关注官方提供的 Simulated Multi-turn Conversations(模拟式多轮对话评测) 实践。
2. agent-mock-gateway Skill
相关资源:
- 内部 Mock 平台(链接已脱敏)
- 内部 Skill 源码仓库(链接已脱敏)
2.1 调研结论
agent-mock-gateway 是一个面向测试环境的 消息渠道 Agent 链路调试 Skill。
传统的消息渠道 Mock 调试过程中,需要人工在页面发送消息、等待 Agent 回复、查询历史消息,并手动匹配当前请求与对应回复。
当链路出现异常时,还需要继续结合 requestId、trace_id 等信息查询 Langfuse、测试环境日志和 Agent 链路追踪系统。
agent-mock-gateway 对这一过程进行了封装,将原本依赖人工操作的链路收敛为统一的工具调用,同时对后续异常排查流程进行了标准化。
其核心解决的问题可以概括为:
如何方便、稳定地向消息渠道 Agent 发送 Mock 用户消息,并获取与本次请求对应的 Agent 回复。
2.2 主要功能与执行流程
agent-mock-gateway 主要提供三个操作能力。
send
负责发送一条 Mock 用户消息,不等待 Agent 返回结果。
主要用于模拟用户向 Agent 发送消息并触发 Agent 执行。
支持两种发送路径:
- 消息网关路径;
- Agent 后端路径。
messages
负责查询指定会话中的历史消息。
主要用于:
- 获取用户与 Agent 的历史对话;
- 查询 Agent 是否已经产生回复;
- 为当前请求与 Agent 回复的匹配提供数据。
roundtrip
负责完成一次完整的用户与 Agent 交互。
其执行过程为:
- 发送一条 Mock 用户消息;
- 获取当前请求对应的
trace_id; - 持续查询历史消息;
- 根据
trace_id匹配当前请求对应的 Agent 回复; - 返回本轮交互结果。
因此,roundtrip 可以理解为对 发送消息、等待 Agent 执行、获取对应回复 这一完整交互过程的封装。
整体执行流程如下:
发送 Mock 用户消息 │ ▼消息渠道 Mock 网关 / Agent 后端 │ ▼Agent 接收并处理消息 │ ▼Agent 产生回复 │ ▼查询历史消息 │ ▼根据 trace_id 匹配本次回复 │ ▼返回本轮交互结果如果链路出现异常,则可以继续结合相关 Trace 信息查询 Langfuse、测试环境日志和 Agent 链路追踪系统,进一步定位问题。
因此,这个 Skill 不只是简单增加了几个 Python 脚本,而是将消息渠道 Agent 的链路调试过程进行了统一封装和标准化。
2.3 与多轮评测的关系
agent-mock-gateway 本身并不是一个多轮评测 Skill。
它主要负责真实 Agent 的消息发送与回复获取,并不负责:
- 模拟用户消息生成;
- 多轮对话编排;
- 判断评测任务是否完成;
- 对 Agent 表现进行评分。
但是,多轮评测中的每一轮交互都需要将模拟用户生成的消息发送给真实 Agent,并获得对应回复。
因此,agent-mock-gateway 可以作为未来多轮评测中的 Agent 交互执行层。
在这种模式下:
- 模拟用户模块负责决定下一轮用户发送什么内容;
agent-mock-gateway负责将消息发送给真实 Agent 并获取回复;- 多轮评测模块负责组织完整的对话流程,并在结束后执行评估。
总结:
agent-mock-gateway 的定位是消息渠道 Agent 链路调试 Skill,本身与多轮评测没有直接绑定关系,但其 roundtrip 等能力可以作为多轮评测过程中调用真实 Agent 的底层交互能力。
3. Langfuse 多轮评测
相关资源:
3.1 调研结论
Langfuse 官方提供了一种基于 Simulated Multi-turn Conversations 的模拟式多轮评测实践。
这种多轮评测并不是 Langfuse 内部提供了一个独立的“多轮评测执行模块”,而是在原有 Dataset、Experiment、Evaluator 等能力基础上,引入 OpenEvals、LLM 和外部编排代码,实现模拟用户与真实 Agent 之间的多轮交互。
相比普通评测中提前确定测试 Input 的方式,模拟式多轮评测最核心的变化是增加了一个 User Simulator(模拟用户)。
模拟用户根据:
- 当前评测场景;
- 用户画像;
- 已经发生的历史对话;
动态生成下一轮用户消息。
因此,后续用户输入不再提前固定,而是会受到 Agent 实际回复的影响,从而形成动态的多轮对话。
3.2 多轮评测实现方式
整个多轮评测过程可以分为三个阶段。
1. 定义评测场景
首先在 Langfuse Dataset 中准备当前评测 Case 的背景信息,主要包括:
scenario:需要测试的业务场景;persona:模拟用户的用户画像。
与普通单轮评测相比,这里的 Dataset 重点不再只是保存一个固定的用户问题,而是用于描述:
需要模拟一个什么样的用户,在什么场景下与 Agent 进行交互。
这些信息随后会作为 User Simulator 生成用户消息的背景信息。
2. 模拟用户与 Agent 进行多轮交互
外部代码从 Langfuse Dataset 中读取 scenario 和 persona,并配置 OpenEvals 的多轮 Simulation。
OpenEvals 使用 LLM 扮演模拟用户。
每一轮生成用户消息时,LLM 都会结合:
- Scenario;
- Persona;
- Conversation History.
生成下一条用户消息。
随后调用真实的被测 Agent,并将 Agent 的回复继续加入历史对话。
下一轮生成用户消息时,又会基于更新后的完整历史生成新的消息。
因此:
多轮评测中的后续用户消息不是提前写死的,而是根据 Agent 前面真实返回的内容动态生成。
如果 Agent 在某一轮返回了不同结果,User Simulator 后续的行为也可能随之发生变化。
3. 控制多轮执行并完成评估
OpenEvals 的 run_multiturn_simulation() 负责控制多轮 Simulation 的执行。
执行过程中可以配置:
- 最大对话轮数;
- 对话停止条件。
最大轮数主要用于限制一次 Simulation 最多执行多少轮,避免对话无限持续。
停止条件则用于判断当前多轮任务是否已经结束。
同时,OpenEvals 本身并不知道实际业务 Agent 应该如何调用,因此还需要由开发者提供 Agent 调用逻辑。Simulation 每生成一条用户消息,就通过该逻辑调用一次真实 Agent,并获取对应回复。
整个多轮评测的核心执行链路如下:
Langfuse DatasetScenario + Persona │ ▼初始化 OpenEvals User Simulator │ ▼LLM 生成用户消息 │ ▼调用被测 Agent │ ▼获取 Agent 回复 │ ▼更新 Conversation History │ ▼┌──────────────────────┐│ 是否满足停止条件? │└──────────┬───────────┘ │ ┌────┴────┐ │ │ 否 是 │ │ │ ▼ │ 结束多轮对话 │ │ │ ▼ │ Langfuse Experiment │ │ │ ▼ │ Evaluator │ └──────────────► 回到「LLM 生成用户消息」从这条链路可以看出,多轮评测真正新增的核心过程,是:
模拟用户与真实 Agent 之间持续循环交互,并维护完整的 Conversation History。
如果应用到前面调研的消息渠道 Agent 场景,agent-mock-gateway 提供的 roundtrip 能力理论上可以承担其中调用真实 Agent、获取 Agent 回复的部分。
3.3 各组件职责
整个方案中的职责划分如下:
| 组件 | 主要职责 |
|---|---|
| Langfuse Dataset | 保存 Scenario、Persona 等评测 Case 信息 |
| OpenEvals | 提供多轮 Conversation Simulation 能力 |
| LLM | 扮演模拟用户,根据场景和历史对话生成下一轮消息 |
| 被测 Agent | 接收模拟用户消息并返回真实回复 |
| 外部编排代码 | 串联 Dataset、OpenEvals 与真实 Agent |
| Langfuse Experiment | 记录多轮评测运行结果 |
| Langfuse Evaluator | 对实验运行结果进行评估 |
从职责上看,OpenEvals + LLM + 外部编排代码 主要负责完成多轮 Conversation 本身。
Langfuse 更多承担:
- 评测 Case 管理;
- 实验结果记录;
- 结果评估。
因此,Langfuse 在这一方案中更像是整个评测体系的管理与评估平台,而不是直接负责驱动每一轮对话。
3.4 总结
Langfuse 的模拟式多轮评测,本质上是在原有 Agent 评测流程中增加一个 User Simulator。
普通评测通常由提前确定的 Input 直接调用 Agent,而模拟式多轮评测则由 User Simulator 根据 Scenario、Persona 和 Conversation History 动态生成用户输入,并与真实 Agent 持续交互。
整个方案中:
- Dataset 用于定义测试场景和用户画像;
- LLM 负责模拟用户;
- OpenEvals 提供多轮 Simulation 能力;
- 外部代码负责调用真实 Agent 并组织多轮执行流程;
- Langfuse 负责管理评测数据、记录 Experiment 并执行后续 Evaluator 评估。
因此,从现有评测系统扩展到这种模拟式多轮评测时,核心需要新增的能力主要集中在:
模拟用户生成能力 + 多轮对话编排能力
而已有的 Dataset、Agent 调用以及 Evaluator 等能力可以继续复用。