koyomi315的头像
koyomi315
北京邮电大学硕士,关注后端开发、AI Agent 与 Agent Evaluation。
2449 字
12 分钟
多轮评测调研

多轮评测功能调研#

1. 调研背景#

本次调研主要围绕 Agent 多轮评测能力 展开,重点调研以下两个对象:

  1. agent-mock-gateway Skill(名称已脱敏)

    • 该 Skill 解决什么问题;
    • 提供了哪些功能;
    • 整体执行流程是什么;
    • 与多轮评测之间有什么关系。
  2. Langfuse 多轮评测

    • Langfuse 中涉及多轮评测的方案是什么;
    • 模拟式多轮评测是如何实现的;
    • 多轮对话过程中各组件分别承担什么职责。

本次 Langfuse 调研主要关注官方提供的 Simulated Multi-turn Conversations(模拟式多轮对话评测) 实践。


2. agent-mock-gateway Skill#

相关资源:

  • 内部 Mock 平台(链接已脱敏)
  • 内部 Skill 源码仓库(链接已脱敏)

2.1 调研结论#

agent-mock-gateway 是一个面向测试环境的 消息渠道 Agent 链路调试 Skill。

传统的消息渠道 Mock 调试过程中,需要人工在页面发送消息、等待 Agent 回复、查询历史消息,并手动匹配当前请求与对应回复。

当链路出现异常时,还需要继续结合 requestId、trace_id 等信息查询 Langfuse、测试环境日志和 Agent 链路追踪系统。

agent-mock-gateway 对这一过程进行了封装,将原本依赖人工操作的链路收敛为统一的工具调用,同时对后续异常排查流程进行了标准化。

其核心解决的问题可以概括为:

如何方便、稳定地向消息渠道 Agent 发送 Mock 用户消息,并获取与本次请求对应的 Agent 回复。


2.2 主要功能与执行流程#

agent-mock-gateway 主要提供三个操作能力。

send#

负责发送一条 Mock 用户消息,不等待 Agent 返回结果。

主要用于模拟用户向 Agent 发送消息并触发 Agent 执行。

支持两种发送路径:

  • 消息网关路径;
  • Agent 后端路径。

messages#

负责查询指定会话中的历史消息。

主要用于:

  • 获取用户与 Agent 的历史对话;
  • 查询 Agent 是否已经产生回复;
  • 为当前请求与 Agent 回复的匹配提供数据。

roundtrip#

负责完成一次完整的用户与 Agent 交互。

其执行过程为:

  1. 发送一条 Mock 用户消息;
  2. 获取当前请求对应的 trace_id;
  3. 持续查询历史消息;
  4. 根据 trace_id 匹配当前请求对应的 Agent 回复;
  5. 返回本轮交互结果。

因此,roundtrip 可以理解为对 发送消息、等待 Agent 执行、获取对应回复 这一完整交互过程的封装。

整体执行流程如下:

发送 Mock 用户消息
│
▼
消息渠道 Mock 网关 / Agent 后端
│
▼
Agent 接收并处理消息
│
▼
Agent 产生回复
│
▼
查询历史消息
│
▼
根据 trace_id 匹配本次回复
│
▼
返回本轮交互结果

如果链路出现异常,则可以继续结合相关 Trace 信息查询 Langfuse、测试环境日志和 Agent 链路追踪系统,进一步定位问题。

因此,这个 Skill 不只是简单增加了几个 Python 脚本,而是将消息渠道 Agent 的链路调试过程进行了统一封装和标准化。


2.3 与多轮评测的关系#

agent-mock-gateway 本身并不是一个多轮评测 Skill。

它主要负责真实 Agent 的消息发送与回复获取,并不负责:

  • 模拟用户消息生成;
  • 多轮对话编排;
  • 判断评测任务是否完成;
  • 对 Agent 表现进行评分。

但是,多轮评测中的每一轮交互都需要将模拟用户生成的消息发送给真实 Agent,并获得对应回复。

因此,agent-mock-gateway 可以作为未来多轮评测中的 Agent 交互执行层。

在这种模式下:

  • 模拟用户模块负责决定下一轮用户发送什么内容;
  • agent-mock-gateway 负责将消息发送给真实 Agent 并获取回复;
  • 多轮评测模块负责组织完整的对话流程,并在结束后执行评估。

总结:

agent-mock-gateway 的定位是消息渠道 Agent 链路调试 Skill,本身与多轮评测没有直接绑定关系,但其 roundtrip 等能力可以作为多轮评测过程中调用真实 Agent 的底层交互能力。


3. Langfuse 多轮评测#

相关资源:

3.1 调研结论#

Langfuse 官方提供了一种基于 Simulated Multi-turn Conversations 的模拟式多轮评测实践。

这种多轮评测并不是 Langfuse 内部提供了一个独立的“多轮评测执行模块”,而是在原有 Dataset、Experiment、Evaluator 等能力基础上,引入 OpenEvals、LLM 和外部编排代码,实现模拟用户与真实 Agent 之间的多轮交互。

相比普通评测中提前确定测试 Input 的方式,模拟式多轮评测最核心的变化是增加了一个 User Simulator(模拟用户)。

模拟用户根据:

  • 当前评测场景;
  • 用户画像;
  • 已经发生的历史对话;

动态生成下一轮用户消息。

因此,后续用户输入不再提前固定,而是会受到 Agent 实际回复的影响,从而形成动态的多轮对话。


3.2 多轮评测实现方式#

整个多轮评测过程可以分为三个阶段。

1. 定义评测场景#

首先在 Langfuse Dataset 中准备当前评测 Case 的背景信息,主要包括:

  • scenario:需要测试的业务场景;
  • persona:模拟用户的用户画像。

与普通单轮评测相比,这里的 Dataset 重点不再只是保存一个固定的用户问题,而是用于描述:

需要模拟一个什么样的用户,在什么场景下与 Agent 进行交互。

这些信息随后会作为 User Simulator 生成用户消息的背景信息。

2. 模拟用户与 Agent 进行多轮交互#

外部代码从 Langfuse Dataset 中读取 scenario 和 persona,并配置 OpenEvals 的多轮 Simulation。

OpenEvals 使用 LLM 扮演模拟用户。

每一轮生成用户消息时,LLM 都会结合:

  • Scenario;
  • Persona;
  • Conversation History.

生成下一条用户消息。

随后调用真实的被测 Agent,并将 Agent 的回复继续加入历史对话。

下一轮生成用户消息时,又会基于更新后的完整历史生成新的消息。

因此:

多轮评测中的后续用户消息不是提前写死的,而是根据 Agent 前面真实返回的内容动态生成。

如果 Agent 在某一轮返回了不同结果,User Simulator 后续的行为也可能随之发生变化。

3. 控制多轮执行并完成评估#

OpenEvals 的 run_multiturn_simulation() 负责控制多轮 Simulation 的执行。

执行过程中可以配置:

  • 最大对话轮数;
  • 对话停止条件。

最大轮数主要用于限制一次 Simulation 最多执行多少轮,避免对话无限持续。

停止条件则用于判断当前多轮任务是否已经结束。

同时,OpenEvals 本身并不知道实际业务 Agent 应该如何调用,因此还需要由开发者提供 Agent 调用逻辑。Simulation 每生成一条用户消息,就通过该逻辑调用一次真实 Agent,并获取对应回复。

整个多轮评测的核心执行链路如下:

Langfuse Dataset
Scenario + Persona
│
▼
初始化 OpenEvals User Simulator
│
▼
LLM 生成用户消息
│
▼
调用被测 Agent
│
▼
获取 Agent 回复
│
▼
更新 Conversation History
│
▼
┌──────────────────────┐
│ 是否满足停止条件? │
└──────────┬───────────┘
│
┌────┴────┐
│ │
否 是
│ │
│ ▼
│ 结束多轮对话
│ │
│ ▼
│ Langfuse Experiment
│ │
│ ▼
│ Evaluator
│
└──────────────► 回到「LLM 生成用户消息」

从这条链路可以看出,多轮评测真正新增的核心过程,是:

模拟用户与真实 Agent 之间持续循环交互,并维护完整的 Conversation History。

如果应用到前面调研的消息渠道 Agent 场景,agent-mock-gateway 提供的 roundtrip 能力理论上可以承担其中调用真实 Agent、获取 Agent 回复的部分。


3.3 各组件职责#

整个方案中的职责划分如下:

组件主要职责
Langfuse Dataset保存 Scenario、Persona 等评测 Case 信息
OpenEvals提供多轮 Conversation Simulation 能力
LLM扮演模拟用户,根据场景和历史对话生成下一轮消息
被测 Agent接收模拟用户消息并返回真实回复
外部编排代码串联 Dataset、OpenEvals 与真实 Agent
Langfuse Experiment记录多轮评测运行结果
Langfuse Evaluator对实验运行结果进行评估

从职责上看,OpenEvals + LLM + 外部编排代码 主要负责完成多轮 Conversation 本身。

Langfuse 更多承担:

  • 评测 Case 管理;
  • 实验结果记录;
  • 结果评估。

因此,Langfuse 在这一方案中更像是整个评测体系的管理与评估平台,而不是直接负责驱动每一轮对话。


3.4 总结#

Langfuse 的模拟式多轮评测,本质上是在原有 Agent 评测流程中增加一个 User Simulator。

普通评测通常由提前确定的 Input 直接调用 Agent,而模拟式多轮评测则由 User Simulator 根据 Scenario、Persona 和 Conversation History 动态生成用户输入,并与真实 Agent 持续交互。

整个方案中:

  • Dataset 用于定义测试场景和用户画像;
  • LLM 负责模拟用户;
  • OpenEvals 提供多轮 Simulation 能力;
  • 外部代码负责调用真实 Agent 并组织多轮执行流程;
  • Langfuse 负责管理评测数据、记录 Experiment 并执行后续 Evaluator 评估。

因此,从现有评测系统扩展到这种模拟式多轮评测时,核心需要新增的能力主要集中在:

模拟用户生成能力 + 多轮对话编排能力

而已有的 Dataset、Agent 调用以及 Evaluator 等能力可以继续复用。

多轮评测调研
https://example.com/posts/多轮评测功能调研/
作者
koyomi315
发布于
2026-08-17
许可协议
CC BY-NC-SA 4.0

一只小鲸鱼正在游过来…

ⓘ
DeepSeek 同人鲸鱼娘

角色原作:上善无形
二次设计:ZipZipPipe
Live2D:氵六青

素材未修改 · CC BY-NC-SA 4.0

模型来源 ↗