自动定时 Agent 评测的生命周期设计
手动评测适合探索阶段:选择样本、配置被测 Agent 和评分器,然后观察结果。但当团队希望持续发现线上退化,评测需要从一次性操作变成可重复运行的任务。
自动定时评测的难点不在 Cron 表达式,而在于如何定义一次运行的生命周期,保证样本、配置、结果和失败状态都可追溯。
本文只讨论通用架构,示例不对应任何真实公司、客户或内部系统。
从手动评测到周期任务
一次手动评测通常包含:
- 选择一组对话或测试样本;
- 固化为评测数据集;
- 运行被测 Agent;
- 使用规则或模型评分;
- 查看低分样本并沉淀问题。
周期任务在此基础上增加了时间维度:用户需要配置运行频率、数据窗口、评分器、阈值、启停状态和保留策略。
把“任务”和“运行”分开
调度配置与某一次执行不应混为一张记录。
Task:长期配置
- 运行计划;
- 是否启用;
- 数据筛选条件;
- 评测配置引用;
- 下一计划时间;
- 配置版本。
Execution:一次运行
- 本次计划时间;
- 实际开始和结束时间;
- 数据时间窗口;
- 使用的配置快照;
- 当前状态和失败原因;
- 数据集、运行和结果引用。
Task 可以长期存在,Execution 则是一条不可混淆的运行历史。这种拆分也允许修改未来配置而不篡改过去结果。
调度判定应当是纯计算
给定计划配置和当前时间,调度器需要回答:
- 当前计划点在过去、现在还是未来;
- 下一计划点是什么;
- 本次执行对应哪个数据窗口;
- 任务是否已经错过一个或多个周期。
尽量把这些规则写成纯函数,不在计算过程中访问数据库。这样时区、夏令时、补跑和边界时间更容易测试。
扫描与派发
调度入口可以周期扫描到期任务,但扫描本身不应执行完整评测。它只负责:
- 锁定或条件更新到期任务;
- 创建本次 Execution;
- 推进 Task 的下一计划时间;
- 向异步执行系统投递运行 ID。
扫描频率不必与任务频率完全一致。真正需要保证的是:同一计划点只产生一个逻辑 Execution,并且漏扫后能够恢复。
样本固化
如果评测直接读取不断变化的线上对话,稍后重跑可能得到另一组数据。运行开始后,应把本次时间窗口内的输入固化为独立快照:
- 原始输入和必要上下文;
- 数据来源与时间;
- 评测时使用的可公开标识;
- 过滤或采样规则版本。
固化过程应分页进行,避免大时间窗口一次加载到内存。稳定 ID 可以防止中断重入时重复创建相同样本。
运行评测
准备完成后,Execution 进入评测阶段:
Pending → Preparing → Running → Collecting → Succeeded ↘ Failed实际状态可以更细,但每个状态需要明确:
- 谁负责进入;
- 进入前置条件;
- 完成条件;
- 超时和失败如何收敛;
- 是否允许重试。
不要只依赖异步工作流自身的状态。业务层仍需要一个可查询、可恢复的运行状态机。
结果归集
评测完成后,结果归集可以计算:
- 通过率和分数分布;
- 不同评分器的结果;
- 低分或失败样本;
- 与历史运行的变化;
- 可沉淀为回归集的问题样本。
归集使用的结果集合应与本次 Execution 绑定,避免读取后来重跑或人工修改后的数据。
数据保留与删除
周期运行会持续产生样本快照、评测过程和结果。保留策略需要区分:
- 用户明确沉淀的长期评测资产;
- 某次运行专属的临时数据;
- 可由其他数据重新生成的中间结果;
- 审计所需的最小历史记录。
删除任务不应直接同步遍历全部数据。更安全的方式是先进入 Deleting 状态,停止新调度,再由可重试的异步流程分批清理自有资产。
可观测性
至少需要观察:
- 到期任务数、派发数和延迟;
- 各状态停留时长;
- 样本准备速度和失败数;
- 评测运行耗时;
- 卡住、重试和最终失败数量;
- 删除积压和数据保留量。
周期系统最危险的问题不是立即报错,而是悄悄不再运行。因此还需要检测“应该产生 Execution 但没有产生”的情况。
总结
自动定时评测是一条数据与状态都需要固化的业务流水线。把调度配置和单次运行分开,把时间计算保持为纯逻辑,把样本、配置和结果绑定到 Execution,才能让每次评测可解释、可恢复、可比较。