koyomi315的头像
koyomi315
北京邮电大学硕士,关注后端开发、AI Agent 与 Agent Evaluation。
1327 字
7 分钟

OnCall Agent 的工具调用与排障工作流

在运维排障场景中,RAG 只能回答“文档怎么说”。要理解当前系统发生了什么,Agent 还需要查询告警、指标和日志,并把多次观察组织成证据链。

这篇文章基于学习型 OnCall Agent 原型,重点讨论工具和工作流设计,不把原型描述成已经接入生产环境的系统。

工具不是越多越好#

原型中的工具可以保持精简:

  • 获取当前时间,为时间窗口计算提供基准;
  • 检索知识库,返回相关文档和来源;
  • 查询告警或指标;
  • 查询指定范围的日志。

每个工具应该只承担一个清晰职责。把“查询监控、分析日志并给出结论”包装成单个工具,会让模型失去中间决策过程,也难以判断错误发生在哪一步。

工具返回值要面向下一步决策#

直接返回大段原始日志既昂贵又难以使用。工具结果可以分成三层:

  1. 摘要:本次查询是否成功、发现多少项异常;
  2. 结构化数据:时间、对象、指标、级别和关键字段;
  3. 原始证据引用:需要深入检查时再按 ID 或时间范围读取。

例如日志工具可以返回:

{
"window": "relative-time-window",
"matched": 12,
"groups": [
{
"pattern": "connection timeout",
"count": 9,
"firstSeen": "relative-start",
"lastSeen": "relative-end"
}
],
"truncated": false
}

示例使用相对时间而非真实系统数据,重点是让模型知道结果范围和是否被截断。

为什么原型阶段使用 Mock 工具#

接入真实监控和日志平台需要部署采集、权限、网络和测试数据。若项目目标是验证 Agent 的排障推理流程,可以先用 Mock 工具模拟稳定场景。

Mock 的合理边界是:

  • 输入和输出结构与未来真实工具一致;
  • 不在 Mock 内直接编码最终答案;
  • 同一场景下告警、指标和日志能够相互对应;
  • 覆盖正常、失败、超时、空结果和权限拒绝;
  • 文档中明确说明它是原型而非生产接入。

Mock 验证的是工作流,不证明真实平台集成已经完成。

从告警到结论的证据链#

一个简单排障过程可以拆成:

接收告警
→ 明确服务、时间和异常指标
→ 查询同一时间窗口的相关日志
→ 根据错误模式检索知识库
→ 必要时扩大或缩小查询范围
→ 汇总假设、证据和不确定性

每个结论都应指向前面的观察。例如“数据库连接池耗尽”需要同时说明:连接相关指标出现什么变化、日志出现什么错误、知识库中的处理建议来自哪里。

如果证据不足,输出应区分:

  • 已确认的事实;
  • 基于事实形成的假设;
  • 为验证假设还需要执行的动作。

任务规划不应无限展开#

Agent 可以根据当前结果决定下一步,但需要停止条件:

  • 已形成足够证据的结论;
  • 连续多次查询没有新增信息;
  • 达到工具调用或时间预算;
  • 下一步需要高风险权限;
  • 用户主动中止。

否则排障循环可能不断扩大日志范围、重复检索或在多个相似假设之间来回切换。

权限和安全边界#

查询类工具也可能泄露敏感信息。工具层应强制:

  • 只允许查询授权服务;
  • 限制最大时间范围和结果量;
  • 对日志字段做脱敏;
  • 记录调用人、参数摘要和时间;
  • 不让模型直接拼接任意查询语句;
  • 将重启、扩容和配置修改等动作放到独立的高风险工具中。

对于会改变生产状态的操作,默认只生成建议,由人确认后再执行。

如何评测工具工作流#

除了最终答案,还可以检查中间过程:

  • 是否选择了正确工具;
  • 参数中的服务、时间范围是否正确;
  • 是否在没有证据时跳到结论;
  • 是否重复调用相同工具;
  • 是否引用了真实返回结果;
  • 是否在高风险操作前请求确认。

这种轨迹级评测比只比较最终文本更容易定位问题:错误可能来自规划、工具选择、参数构造、工具数据或结果解释。

下一步工程化方向#

从原型走向真实接入,优先补齐:

  1. 参数化和结构化返回;
  2. 真实监控、日志平台的只读适配器;
  3. 告警到日志的统一服务标识和时间窗口;
  4. 权限、审计和结果脱敏;
  5. 工具超时、重试和降级;
  6. 基于真实故障回放的评测集。

总结#

OnCall Agent 的价值不只是“会调用监控工具”,而是能够围绕一个故障持续收集证据,同时守住权限和不确定性边界。把工具接口、Mock 策略、证据链和停止条件设计清楚,才有可能让原型逐步演进为可信的辅助排障系统。

OnCall Agent 的工具调用与排障工作流
https://example.com/posts/oncall-agent-tools/
作者
koyomi315
发布于
2026-05-14
许可协议
CC BY-NC-SA 4.0

一只小鲸鱼正在游过来…

ⓘ
DeepSeek 同人鲸鱼娘

角色原作:上善无形
二次设计:ZipZipPipe
Live2D:氵六青

素材未修改 · CC BY-NC-SA 4.0

模型来源 ↗