可靠 Agent 评测任务:幂等、状态机与可恢复执行
异步评测任务会面对一个现实:消息可能重复,进程可能重启,外部调用可能超时,旧版本 Worker 也可能在升级窗口继续消费。可靠性设计的目标不是假设这些情况不会发生,而是让它们发生后系统仍能收敛到明确状态。
本文使用抽象名称讨论通用方法,不包含真实业务、内部队列、模块或数据模型。
幂等首先需要定义“同一件事”
要避免重复执行,系统必须为一个逻辑动作提供稳定身份。例如一次定时运行可以由下面的组合确定:
execution_key = task_id + scheduled_at + config_revision数据库为该键建立唯一约束。多个扫描器同时发现到期任务时,即使都尝试创建 Execution,也只有一个能够成功。
幂等不能只依赖“投递前查询一次”。查询与创建之间仍有并发窗口,最终约束必须落在能够原子判断的存储层。
状态机限制非法跳转
如果任何代码都能把 Execution 更新成任意状态,失败恢复会迅速失控。状态转移应明确列举:
Pending → Preparing → Running → Collecting → Succeeded │ │ │ │ └──────────┴──────────┴──────────┴→ Failed更新时同时检查当前状态和版本:
update executionset state = :next_state, revision = revision + 1where id = :id and state = :expected_state and revision = :expected_revision;受影响行数为零表示记录已经被其他执行者推进,当前 Worker 不应覆盖新状态。
投递与状态更新之间的空隙
常见故障有两种:
- 数据库创建了 Execution,但消息没有成功投递;
- 消息已经投递,但进程在记录成功前崩溃,导致重复投递。
可以选择事务消息、Outbox,或依靠周期扫描重新发现未派发记录。无论采用哪种方式,消费者都必须按 Execution 的稳定 ID 幂等处理。
中断重入要细化到步骤
仅在 Execution 级别判断“是否完成”不够。样本准备可能处理了数千条记录后中断,如果重试从头开始,会产生重复资产或浪费大量计算。
可恢复处理需要:
- 稳定的样本 ID;
- 分页游标或分片编号;
- 已完成批次记录;
- 创建操作的唯一约束;
- 能够重复执行的 upsert 或条件写入。
每一步都应满足“执行一次和执行多次得到相同逻辑结果”。
超时不是简单标记失败
长时间停留在某状态可能来自 Worker 崩溃、外部服务阻塞或回调丢失。扫描器可以定期寻找超时 Execution,但处理前要判断:
- 是否仍有有效租约或心跳;
- 当前步骤是否支持重试;
- 重试是否会产生重复副作用;
- 是否已经超过最大尝试次数;
- 是否需要转人工检查。
对于可重试步骤,可以回到待执行状态;对于结果不确定的外部写入,应先查询远端状态,而不是盲目重放。
配置版本避免运行中漂移
用户可能在 Execution 运行时修改任务配置。如果执行过程每一步都读取最新 Task,前半段和后半段可能使用不同评分器或阈值。
创建 Execution 时应固化配置快照或版本引用。后续修改只影响新的计划点,历史运行仍可解释。
兼容升级窗口
发布新任务类型时,旧 Worker 可能暂时仍在运行。稳妥做法包括:
- 消息中携带 schema 或任务版本;
- Worker 明确声明可处理的版本;
- 不支持的类型进入可观察的拒绝或延迟队列;
- 先部署消费者兼容能力,再启用新生产逻辑;
- 监控未知类型和反序列化失败。
不要让旧 Worker 把未知消息当成普通失败无限重试。
异步删除也是状态机
删除周期任务可能涉及多个运行和临时资产。同步删除容易超时,也难以恢复。
可以先把 Task 转为 Deleting:
- 清空下一计划时间,阻止新运行;
- 记录删除版本;
- 投递删除工作;
- 分批删除任务自有的临时资产;
- 保留已经被用户沉淀或外部引用的资产;
- 全部完成后删除或封存 Task。
每个批次仍需要稳定游标和幂等删除。扫描器也应持续发现停滞的 Deleting 记录并重新派发。
至少一次语义下的业务保证
很多消息系统提供的是至少一次投递:消息不容易丢,但可能重复。业务层因此需要组合:
- 稳定业务键;
- 唯一约束;
- 条件状态更新;
- 幂等副作用;
- 可恢复游标;
- 完整审计记录。
这些机制共同提供“逻辑上只发生一次”,而不是寄希望于消息绝不重复。
总结
可靠异步任务的核心是把不确定性显式建模。稳定身份解决重复,状态机限制跳转,版本控制并发更新,可恢复步骤处理中断,配置快照保持历史一致,超时扫描和异步删除负责最终收敛。做到这些,评测平台才不会在规模增长后被偶发故障拖入无法解释的中间状态。