OnCall Agent 的知识库构建与检索
这是一项面向运维排障场景的学习型 Agent 原型。目标不是替代完整的监控平台,而是验证 Agent 能否结合运维文档、告警和日志,形成一条可追溯的辅助排障流程。
其中,RAG 知识库负责把静态运维手册转化为可以检索和引用的上下文。
为什么不直接把整份文档交给模型
把长文档完整放入 Prompt 会带来三个问题:
- 上下文成本随文档长度增长;
- 无关内容稀释真正相关的信息;
- 文档更新后难以增量维护和追踪来源。
RAG 将过程拆成离线构建和在线检索:
离线:加载 → 清洗 → 分块 → Embedding → 向量存储在线:问题向量化 → 召回 → 重排/过滤 → 组装上下文 → 生成回答文档加载与清洗
原型首先支持 Markdown,因为标题、列表和代码块能够提供清晰的结构边界。加载阶段不仅要读取正文,还要保留元数据:
- 来源文件;
- 标题层级;
- 章节路径;
- 文档版本;
- 分块序号。
清洗不等于删除所有格式。标题、代码块、告警示例和步骤编号往往正是检索所需的语义信息。
分块首先要保护语义完整性
固定字符数切分实现简单,但可能把“问题描述”和“解决方案”拆到两个块里。对于运维手册,更合适的策略是:
- 先按标题层级划分章节;
- 在章节内部按段落聚合;
- 达到目标长度后结束当前块;
- 使用少量 overlap 保留跨块上下文;
- 对代码块、表格和完整操作步骤设置不可拆边界。
分块大小没有适用于所有文档的固定答案。块太小会缺少上下文,块太大则会带入噪声并增加 Token 成本。
Embedding 与向量存储
Embedding 模型把问题和文档块映射到向量空间。语义相近的内容在某种距离度量下更接近,检索时便可以返回相似块。
一个文档块的存储结构通常包括:
| 字段 | 作用 |
|---|---|
id | 块的稳定标识 |
vector | 用于相似度检索的向量 |
content | 返回给模型的原文 |
source | 来源文件和章节 |
version | 支持文档更新和重建 |
chunkIndex | 定位相邻块 |
原型使用向量数据库保存这些内容。选择索引时需要在召回率、延迟、内存和构建成本之间权衡,不能只根据数据规模之外的经验值固定参数。
参数应该用评测集选择
分块策略、召回数量和距离阈值会相互影响。比“凭感觉设置 topK”更可靠的方法是建立一组检索评测样本:
- 用户问题;
- 预期相关文档或段落;
- 可接受的答案证据。
然后比较:
- Recall@K:相关块是否出现在前 K 个结果中;
- MRR:第一个相关结果出现得是否足够靠前;
- 无答案问题的误召回率;
- 检索延迟和上下文长度。
只有生成答案的评分而没有检索评分,会掩盖“模型碰巧答对但证据错误”的问题。
混合检索与重排
向量检索擅长语义相似,但对错误码、主机名和精确命令等关键词可能不够敏感。关键词检索正好相反。
运维场景可以组合:
- 向量召回语义相关段落;
- 关键词召回精确术语;
- 合并并去重候选;
- 使用重排模型或规则重新排序;
- 根据阈值决定是否把结果交给生成模型。
当没有足够可信的证据时,系统应明确返回“知识库中没有找到”,而不是强迫模型生成结论。
更新与删除同样重要
知识库不是一次性导入。文档更新时需要避免旧版本和新版本同时被召回。
常见做法是为文档内容生成稳定哈希:
- 内容没有变化则跳过;
- 内容变化则生成新版本并替换旧块;
- 文档删除时清理对应块;
- 构建失败时保持旧版本可用。
这使知识库构建成为一条可重入的数据管道,而不是不可追踪的批量写入。
答案必须能够回到证据
最终 Prompt 应把检索结果与来源信息一起交给模型,并要求回答引用对应章节。页面展示时也应允许用户查看:
- 使用了哪些文档块;
- 每个块来自哪个文件和标题;
- 检索分数与重排结果;
- 模型是否使用了检索之外的知识。
对于排障建议,可追溯性往往比语言流畅更重要。
总结
RAG 的难点不在于“调用一次向量搜索”,而在于分块是否保留语义、参数是否经过评测、文档能否增量更新,以及答案能否追溯到证据。把这些基础工程做好,Agent 才有机会在真实排障流程中提供稳定帮助。