koyomi315的头像
koyomi315
北京邮电大学硕士,关注后端开发、AI Agent 与 Agent Evaluation。
1310 字
7 分钟

自动定时 Agent 评测的生命周期设计

手动评测适合探索阶段:选择样本、配置被测 Agent 和评分器,然后观察结果。但当团队希望持续发现线上退化,评测需要从一次性操作变成可重复运行的任务。

自动定时评测的难点不在 Cron 表达式,而在于如何定义一次运行的生命周期,保证样本、配置、结果和失败状态都可追溯。

本文只讨论通用架构,示例不对应任何真实公司、客户或内部系统。

从手动评测到周期任务#

一次手动评测通常包含:

  1. 选择一组对话或测试样本;
  2. 固化为评测数据集;
  3. 运行被测 Agent;
  4. 使用规则或模型评分;
  5. 查看低分样本并沉淀问题。

周期任务在此基础上增加了时间维度:用户需要配置运行频率、数据窗口、评分器、阈值、启停状态和保留策略。

把“任务”和“运行”分开#

调度配置与某一次执行不应混为一张记录。

Task:长期配置#

  • 运行计划;
  • 是否启用;
  • 数据筛选条件;
  • 评测配置引用;
  • 下一计划时间;
  • 配置版本。

Execution:一次运行#

  • 本次计划时间;
  • 实际开始和结束时间;
  • 数据时间窗口;
  • 使用的配置快照;
  • 当前状态和失败原因;
  • 数据集、运行和结果引用。

Task 可以长期存在,Execution 则是一条不可混淆的运行历史。这种拆分也允许修改未来配置而不篡改过去结果。

调度判定应当是纯计算#

给定计划配置和当前时间,调度器需要回答:

  • 当前计划点在过去、现在还是未来;
  • 下一计划点是什么;
  • 本次执行对应哪个数据窗口;
  • 任务是否已经错过一个或多个周期。

尽量把这些规则写成纯函数,不在计算过程中访问数据库。这样时区、夏令时、补跑和边界时间更容易测试。

扫描与派发#

调度入口可以周期扫描到期任务,但扫描本身不应执行完整评测。它只负责:

  1. 锁定或条件更新到期任务;
  2. 创建本次 Execution;
  3. 推进 Task 的下一计划时间;
  4. 向异步执行系统投递运行 ID。

扫描频率不必与任务频率完全一致。真正需要保证的是:同一计划点只产生一个逻辑 Execution,并且漏扫后能够恢复。

样本固化#

如果评测直接读取不断变化的线上对话,稍后重跑可能得到另一组数据。运行开始后,应把本次时间窗口内的输入固化为独立快照:

  • 原始输入和必要上下文;
  • 数据来源与时间;
  • 评测时使用的可公开标识;
  • 过滤或采样规则版本。

固化过程应分页进行,避免大时间窗口一次加载到内存。稳定 ID 可以防止中断重入时重复创建相同样本。

运行评测#

准备完成后,Execution 进入评测阶段:

Pending → Preparing → Running → Collecting → Succeeded
↘ Failed

实际状态可以更细,但每个状态需要明确:

  • 谁负责进入;
  • 进入前置条件;
  • 完成条件;
  • 超时和失败如何收敛;
  • 是否允许重试。

不要只依赖异步工作流自身的状态。业务层仍需要一个可查询、可恢复的运行状态机。

结果归集#

评测完成后,结果归集可以计算:

  • 通过率和分数分布;
  • 不同评分器的结果;
  • 低分或失败样本;
  • 与历史运行的变化;
  • 可沉淀为回归集的问题样本。

归集使用的结果集合应与本次 Execution 绑定,避免读取后来重跑或人工修改后的数据。

数据保留与删除#

周期运行会持续产生样本快照、评测过程和结果。保留策略需要区分:

  • 用户明确沉淀的长期评测资产;
  • 某次运行专属的临时数据;
  • 可由其他数据重新生成的中间结果;
  • 审计所需的最小历史记录。

删除任务不应直接同步遍历全部数据。更安全的方式是先进入 Deleting 状态,停止新调度,再由可重试的异步流程分批清理自有资产。

可观测性#

至少需要观察:

  • 到期任务数、派发数和延迟;
  • 各状态停留时长;
  • 样本准备速度和失败数;
  • 评测运行耗时;
  • 卡住、重试和最终失败数量;
  • 删除积压和数据保留量。

周期系统最危险的问题不是立即报错,而是悄悄不再运行。因此还需要检测“应该产生 Execution 但没有产生”的情况。

总结#

自动定时评测是一条数据与状态都需要固化的业务流水线。把调度配置和单次运行分开,把时间计算保持为纯逻辑,把样本、配置和结果绑定到 Execution,才能让每次评测可解释、可恢复、可比较。

自动定时 Agent 评测的生命周期设计
https://example.com/posts/scheduled-agent-evaluation/
作者
koyomi315
发布于
2026-09-14
许可协议
CC BY-NC-SA 4.0

一只小鲸鱼正在游过来…

ⓘ
DeepSeek 同人鲸鱼娘

角色原作:上善无形
二次设计:ZipZipPipe
Live2D:氵六青

素材未修改 · CC BY-NC-SA 4.0

模型来源 ↗