koyomi315的头像
koyomi315
北京邮电大学硕士,关注后端开发、AI Agent 与 Agent Evaluation。
1330 字
7 分钟

OnCall Agent 的知识库构建与检索

这是一项面向运维排障场景的学习型 Agent 原型。目标不是替代完整的监控平台,而是验证 Agent 能否结合运维文档、告警和日志,形成一条可追溯的辅助排障流程。

其中,RAG 知识库负责把静态运维手册转化为可以检索和引用的上下文。

为什么不直接把整份文档交给模型#

把长文档完整放入 Prompt 会带来三个问题:

  • 上下文成本随文档长度增长;
  • 无关内容稀释真正相关的信息;
  • 文档更新后难以增量维护和追踪来源。

RAG 将过程拆成离线构建和在线检索:

离线:加载 → 清洗 → 分块 → Embedding → 向量存储
在线:问题向量化 → 召回 → 重排/过滤 → 组装上下文 → 生成回答

文档加载与清洗#

原型首先支持 Markdown,因为标题、列表和代码块能够提供清晰的结构边界。加载阶段不仅要读取正文,还要保留元数据:

  • 来源文件;
  • 标题层级;
  • 章节路径;
  • 文档版本;
  • 分块序号。

清洗不等于删除所有格式。标题、代码块、告警示例和步骤编号往往正是检索所需的语义信息。

分块首先要保护语义完整性#

固定字符数切分实现简单,但可能把“问题描述”和“解决方案”拆到两个块里。对于运维手册,更合适的策略是:

  1. 先按标题层级划分章节;
  2. 在章节内部按段落聚合;
  3. 达到目标长度后结束当前块;
  4. 使用少量 overlap 保留跨块上下文;
  5. 对代码块、表格和完整操作步骤设置不可拆边界。

分块大小没有适用于所有文档的固定答案。块太小会缺少上下文,块太大则会带入噪声并增加 Token 成本。

Embedding 与向量存储#

Embedding 模型把问题和文档块映射到向量空间。语义相近的内容在某种距离度量下更接近,检索时便可以返回相似块。

一个文档块的存储结构通常包括:

字段作用
id块的稳定标识
vector用于相似度检索的向量
content返回给模型的原文
source来源文件和章节
version支持文档更新和重建
chunkIndex定位相邻块

原型使用向量数据库保存这些内容。选择索引时需要在召回率、延迟、内存和构建成本之间权衡,不能只根据数据规模之外的经验值固定参数。

参数应该用评测集选择#

分块策略、召回数量和距离阈值会相互影响。比“凭感觉设置 topK”更可靠的方法是建立一组检索评测样本:

  • 用户问题;
  • 预期相关文档或段落;
  • 可接受的答案证据。

然后比较:

  • Recall@K:相关块是否出现在前 K 个结果中;
  • MRR:第一个相关结果出现得是否足够靠前;
  • 无答案问题的误召回率;
  • 检索延迟和上下文长度。

只有生成答案的评分而没有检索评分,会掩盖“模型碰巧答对但证据错误”的问题。

混合检索与重排#

向量检索擅长语义相似,但对错误码、主机名和精确命令等关键词可能不够敏感。关键词检索正好相反。

运维场景可以组合:

  1. 向量召回语义相关段落;
  2. 关键词召回精确术语;
  3. 合并并去重候选;
  4. 使用重排模型或规则重新排序;
  5. 根据阈值决定是否把结果交给生成模型。

当没有足够可信的证据时,系统应明确返回“知识库中没有找到”,而不是强迫模型生成结论。

更新与删除同样重要#

知识库不是一次性导入。文档更新时需要避免旧版本和新版本同时被召回。

常见做法是为文档内容生成稳定哈希:

  • 内容没有变化则跳过;
  • 内容变化则生成新版本并替换旧块;
  • 文档删除时清理对应块;
  • 构建失败时保持旧版本可用。

这使知识库构建成为一条可重入的数据管道,而不是不可追踪的批量写入。

答案必须能够回到证据#

最终 Prompt 应把检索结果与来源信息一起交给模型,并要求回答引用对应章节。页面展示时也应允许用户查看:

  • 使用了哪些文档块;
  • 每个块来自哪个文件和标题;
  • 检索分数与重排结果;
  • 模型是否使用了检索之外的知识。

对于排障建议,可追溯性往往比语言流畅更重要。

总结#

RAG 的难点不在于“调用一次向量搜索”,而在于分块是否保留语义、参数是否经过评测、文档能否增量更新,以及答案能否追溯到证据。把这些基础工程做好,Agent 才有机会在真实排障流程中提供稳定帮助。

OnCall Agent 的知识库构建与检索
https://example.com/posts/oncall-agent-rag/
作者
koyomi315
发布于
2026-05-14
许可协议
CC BY-NC-SA 4.0

一只小鲸鱼正在游过来…

ⓘ
DeepSeek 同人鲸鱼娘

角色原作:上善无形
二次设计:ZipZipPipe
Live2D:氵六青

素材未修改 · CC BY-NC-SA 4.0

模型来源 ↗