1531 字
8 分钟
快手 · 智能测试 Agent 开发工程师 · 一面面经
面试日期:2026 年 10 月 13 日。面试结果:未记录。
这篇面经根据本次面试的智能纪要整理,问题由回答摘要概括,并经我本人核对确认;面试官在反问环节的答复由我补充。问题以实习中的 Agent 评测平台为主,也涉及 Tool Mock 和 AI coding。
一、项目经历与实习工作
- 介绍一下你的项目经历和实习中负责的工作。
- 当时回答:实习参与内部 Agent 评测平台,主要介绍了自动定时评测和 Tool Mock 两项工作;另外介绍了运维 OnCall Agent 原型和高并发秒杀个人项目。
- Agent 评测平台解决什么问题?服务的业务 Agent 是做什么的?
- 当时回答:平台用于线上 Agent 质量巡检和迭代后的效果验证,减少能力回归风险。业务 Agent 面向外卖商家入驻,通过对话收集入驻信息,替代传统填表流程。平台供其他部门使用,我们主要按需求开发功能,本身较少参与具体评测。
二、Trace、重放与评测方式
- 平台如何收集、同步、存储 Trace,并维护评测数据集?
- 当时回答:部署 Langfuse,通过埋点收集业务 Trace,定时同步到评测平台的 MongoDB,分层保存基础信息和完整详细信息。历史 Trace 可用于构建测试集、归集 Badcase,并支持后续评测和重放。
- 离线评测如何重放业务 Agent?工具调用如何处理?
- 当时回答:基于测试输入调用业务 Agent,在重放过程中通过 Mock 处理工具调用,返回对应的模拟结果。
- 观测和评测有什么区别?线上评测与离线评测分别怎么做?
- 当时回答:观测记录真实业务运行产生的 Trace;线上评测直接对已有 Trace 评分,不需要重放 Agent;离线评测则基于自建测试集,先重放 Agent,再评价输出。
- 平台有哪些评测维度?有没有针对业务场景做专门设计?
- 当时回答:平台刚搭建,暂时沿用 Langfuse 的通用维度,例如回答简洁性,还没有针对具体业务做专门设计。后续需要结合 Agent 实际完成的任务调整维度。
- 追问:评测分数如何计算?代码评测和大模型评测分别怎么实现?
- 当时回答:支持代码评测和大模型评测。代码评测可以检查数据库状态等;大模型评测通过 Prompt 配置评测对象、内容和评分标准,嵌入对应字段后生成评分,不同维度使用相应的预置配置。
三、自动定时评测与异步任务
- 自动定时线上评测的完整流程是什么?生成的 Badcase 如何使用?
- 当时回答:定时触发任务,按配置的时间窗口归集历史 Trace 生成测试集,复用原有评测流程评分,再按阈值筛选低分 Trace,生成 Badcase 集。Badcase 可以提供 Agent 迭代方向,也可纳入测试集验证后续迭代效果。
- 追问:开发中遇到了哪些异步任务问题?如何解决幂等、并发申领和状态卡死?
- 当时回答:主要遇到重复创建任务、多个 Worker 争抢同一任务,以及异常后状态长期不更新的问题。分别通过业务唯一索引、基于前置状态的 CAS 申领,以及定时检查与状态收敛机制处理。
四、Tool Mock
- Tool Mock 如何匹配一次工具调用并返回对应结果?
- 当时回答:结合所属 Agent、测试集及用例、工具入参匹配对应的 Mock 数据,再返回模拟结果。
- 追问:业务 Agent 如何在真实工具调用与 Mock 调用之间切换?
- 当时回答:通过业务侧 SDK,根据请求头中的标记,将调用路由到真实工具或 Mock 平台。
- 追问:为什么评测需要 Tool Mock?直接调用真实工具有什么问题?
- 当时回答:真实工具调用可能占用业务资源或写入业务数据,影响真实业务;工具结果随时间变化,也会给评测引入无关变量。Mock 可以固定工具返回结果,提高不同评测之间的可比性,并改善评测速度。
- 追问:Mock 数据如何构建?能否从历史 Trace 中提取工具入参与返回结果?
- 当时回答涉及的方向:从历史 Trace 中沉淀工具调用的入参与结果,构建 Mock 数据库。纪要将这部分记为后续工作,未记录完整实现过程。
五、AI coding
- 借助 AI 完成现场开发任务时,你会如何选型、规划和推进?
- 当时思路:选择较熟悉的 Python,先完成几个较容易的功能,尽快得到可运行的首版。借助 OpenSpec 梳理遗漏的需求、比较技术方案、拆分任务和明确验收标准,并保存需求与任务材料,让后续 AI 开发能够接续上下文。
- 现场开发任务的具体要求和完成情况未记录。
六、反问环节
- 部门具体做什么业务?是否围绕风控需求开发 Agent?
- 面试官回答:部门做内容风控,检查内容,通过开发 Agent 完成相关风控工作。
- 本次知识作答和 AI coding 表现有哪些可以改进的地方?
- 面试官建议:回答最好采用“总—分”结构。
七、个人复盘:整理建议
结合面试官的反馈,后续介绍项目或回答技术问题时,可以先用一句话概括结论,再展开关键流程、技术机制和具体例子。例如介绍定时评测时,先说明它将线上 Trace 的归集、评分和 Badcase 筛选自动化,再依次讲执行流程与异常处理。
快手 · 智能测试 Agent 开发工程师 · 一面面经
https://example.com/posts/kuaishou-test-agent-engineer-round-1/