koyomi315的头像
koyomi315
北京邮电大学硕士,关注后端开发、AI Agent 与 Agent Evaluation。
1391 字
7 分钟

可靠 Agent 评测任务:幂等、状态机与可恢复执行

异步评测任务会面对一个现实:消息可能重复,进程可能重启,外部调用可能超时,旧版本 Worker 也可能在升级窗口继续消费。可靠性设计的目标不是假设这些情况不会发生,而是让它们发生后系统仍能收敛到明确状态。

本文使用抽象名称讨论通用方法,不包含真实业务、内部队列、模块或数据模型。

幂等首先需要定义“同一件事”#

要避免重复执行,系统必须为一个逻辑动作提供稳定身份。例如一次定时运行可以由下面的组合确定:

execution_key = task_id + scheduled_at + config_revision

数据库为该键建立唯一约束。多个扫描器同时发现到期任务时,即使都尝试创建 Execution,也只有一个能够成功。

幂等不能只依赖“投递前查询一次”。查询与创建之间仍有并发窗口,最终约束必须落在能够原子判断的存储层。

状态机限制非法跳转#

如果任何代码都能把 Execution 更新成任意状态,失败恢复会迅速失控。状态转移应明确列举:

Pending → Preparing → Running → Collecting → Succeeded
│ │ │ │
└──────────┴──────────┴──────────┴→ Failed

更新时同时检查当前状态和版本:

update execution
set state = :next_state,
revision = revision + 1
where id = :id
and state = :expected_state
and revision = :expected_revision;

受影响行数为零表示记录已经被其他执行者推进,当前 Worker 不应覆盖新状态。

投递与状态更新之间的空隙#

常见故障有两种:

  1. 数据库创建了 Execution,但消息没有成功投递;
  2. 消息已经投递,但进程在记录成功前崩溃,导致重复投递。

可以选择事务消息、Outbox,或依靠周期扫描重新发现未派发记录。无论采用哪种方式,消费者都必须按 Execution 的稳定 ID 幂等处理。

中断重入要细化到步骤#

仅在 Execution 级别判断“是否完成”不够。样本准备可能处理了数千条记录后中断,如果重试从头开始,会产生重复资产或浪费大量计算。

可恢复处理需要:

  • 稳定的样本 ID;
  • 分页游标或分片编号;
  • 已完成批次记录;
  • 创建操作的唯一约束;
  • 能够重复执行的 upsert 或条件写入。

每一步都应满足“执行一次和执行多次得到相同逻辑结果”。

超时不是简单标记失败#

长时间停留在某状态可能来自 Worker 崩溃、外部服务阻塞或回调丢失。扫描器可以定期寻找超时 Execution,但处理前要判断:

  • 是否仍有有效租约或心跳;
  • 当前步骤是否支持重试;
  • 重试是否会产生重复副作用;
  • 是否已经超过最大尝试次数;
  • 是否需要转人工检查。

对于可重试步骤,可以回到待执行状态;对于结果不确定的外部写入,应先查询远端状态,而不是盲目重放。

配置版本避免运行中漂移#

用户可能在 Execution 运行时修改任务配置。如果执行过程每一步都读取最新 Task,前半段和后半段可能使用不同评分器或阈值。

创建 Execution 时应固化配置快照或版本引用。后续修改只影响新的计划点,历史运行仍可解释。

兼容升级窗口#

发布新任务类型时,旧 Worker 可能暂时仍在运行。稳妥做法包括:

  • 消息中携带 schema 或任务版本;
  • Worker 明确声明可处理的版本;
  • 不支持的类型进入可观察的拒绝或延迟队列;
  • 先部署消费者兼容能力,再启用新生产逻辑;
  • 监控未知类型和反序列化失败。

不要让旧 Worker 把未知消息当成普通失败无限重试。

异步删除也是状态机#

删除周期任务可能涉及多个运行和临时资产。同步删除容易超时,也难以恢复。

可以先把 Task 转为 Deleting:

  1. 清空下一计划时间,阻止新运行;
  2. 记录删除版本;
  3. 投递删除工作;
  4. 分批删除任务自有的临时资产;
  5. 保留已经被用户沉淀或外部引用的资产;
  6. 全部完成后删除或封存 Task。

每个批次仍需要稳定游标和幂等删除。扫描器也应持续发现停滞的 Deleting 记录并重新派发。

至少一次语义下的业务保证#

很多消息系统提供的是至少一次投递:消息不容易丢,但可能重复。业务层因此需要组合:

  • 稳定业务键;
  • 唯一约束;
  • 条件状态更新;
  • 幂等副作用;
  • 可恢复游标;
  • 完整审计记录。

这些机制共同提供“逻辑上只发生一次”,而不是寄希望于消息绝不重复。

总结#

可靠异步任务的核心是把不确定性显式建模。稳定身份解决重复,状态机限制跳转,版本控制并发更新,可恢复步骤处理中断,配置快照保持历史一致,超时扫描和异步删除负责最终收敛。做到这些,评测平台才不会在规模增长后被偶发故障拖入无法解释的中间状态。

可靠 Agent 评测任务:幂等、状态机与可恢复执行
https://example.com/posts/reliable-agent-evaluation-jobs/
作者
koyomi315
发布于
2026-09-14
许可协议
CC BY-NC-SA 4.0

一只小鲸鱼正在游过来…

ⓘ
DeepSeek 同人鲸鱼娘

角色原作:上善无形
二次设计:ZipZipPipe
Live2D:氵六青

素材未修改 · CC BY-NC-SA 4.0

模型来源 ↗