OnCall Agent 的工具调用与排障工作流
在运维排障场景中,RAG 只能回答“文档怎么说”。要理解当前系统发生了什么,Agent 还需要查询告警、指标和日志,并把多次观察组织成证据链。
这篇文章基于学习型 OnCall Agent 原型,重点讨论工具和工作流设计,不把原型描述成已经接入生产环境的系统。
工具不是越多越好
原型中的工具可以保持精简:
- 获取当前时间,为时间窗口计算提供基准;
- 检索知识库,返回相关文档和来源;
- 查询告警或指标;
- 查询指定范围的日志。
每个工具应该只承担一个清晰职责。把“查询监控、分析日志并给出结论”包装成单个工具,会让模型失去中间决策过程,也难以判断错误发生在哪一步。
工具返回值要面向下一步决策
直接返回大段原始日志既昂贵又难以使用。工具结果可以分成三层:
- 摘要:本次查询是否成功、发现多少项异常;
- 结构化数据:时间、对象、指标、级别和关键字段;
- 原始证据引用:需要深入检查时再按 ID 或时间范围读取。
例如日志工具可以返回:
{ "window": "relative-time-window", "matched": 12, "groups": [ { "pattern": "connection timeout", "count": 9, "firstSeen": "relative-start", "lastSeen": "relative-end" } ], "truncated": false}示例使用相对时间而非真实系统数据,重点是让模型知道结果范围和是否被截断。
为什么原型阶段使用 Mock 工具
接入真实监控和日志平台需要部署采集、权限、网络和测试数据。若项目目标是验证 Agent 的排障推理流程,可以先用 Mock 工具模拟稳定场景。
Mock 的合理边界是:
- 输入和输出结构与未来真实工具一致;
- 不在 Mock 内直接编码最终答案;
- 同一场景下告警、指标和日志能够相互对应;
- 覆盖正常、失败、超时、空结果和权限拒绝;
- 文档中明确说明它是原型而非生产接入。
Mock 验证的是工作流,不证明真实平台集成已经完成。
从告警到结论的证据链
一个简单排障过程可以拆成:
接收告警 → 明确服务、时间和异常指标 → 查询同一时间窗口的相关日志 → 根据错误模式检索知识库 → 必要时扩大或缩小查询范围 → 汇总假设、证据和不确定性每个结论都应指向前面的观察。例如“数据库连接池耗尽”需要同时说明:连接相关指标出现什么变化、日志出现什么错误、知识库中的处理建议来自哪里。
如果证据不足,输出应区分:
- 已确认的事实;
- 基于事实形成的假设;
- 为验证假设还需要执行的动作。
任务规划不应无限展开
Agent 可以根据当前结果决定下一步,但需要停止条件:
- 已形成足够证据的结论;
- 连续多次查询没有新增信息;
- 达到工具调用或时间预算;
- 下一步需要高风险权限;
- 用户主动中止。
否则排障循环可能不断扩大日志范围、重复检索或在多个相似假设之间来回切换。
权限和安全边界
查询类工具也可能泄露敏感信息。工具层应强制:
- 只允许查询授权服务;
- 限制最大时间范围和结果量;
- 对日志字段做脱敏;
- 记录调用人、参数摘要和时间;
- 不让模型直接拼接任意查询语句;
- 将重启、扩容和配置修改等动作放到独立的高风险工具中。
对于会改变生产状态的操作,默认只生成建议,由人确认后再执行。
如何评测工具工作流
除了最终答案,还可以检查中间过程:
- 是否选择了正确工具;
- 参数中的服务、时间范围是否正确;
- 是否在没有证据时跳到结论;
- 是否重复调用相同工具;
- 是否引用了真实返回结果;
- 是否在高风险操作前请求确认。
这种轨迹级评测比只比较最终文本更容易定位问题:错误可能来自规划、工具选择、参数构造、工具数据或结果解释。
下一步工程化方向
从原型走向真实接入,优先补齐:
- 参数化和结构化返回;
- 真实监控、日志平台的只读适配器;
- 告警到日志的统一服务标识和时间窗口;
- 权限、审计和结果脱敏;
- 工具超时、重试和降级;
- 基于真实故障回放的评测集。
总结
OnCall Agent 的价值不只是“会调用监控工具”,而是能够围绕一个故障持续收集证据,同时守住权限和不确定性边界。把工具接口、Mock 策略、证据链和停止条件设计清楚,才有可能让原型逐步演进为可信的辅助排障系统。