- analyze_traces.py: 按 session 时间戳配对 function_call/output, 统计单次检索耗时(avg/max)、检索总耗时及占比、首个检索前耗时、每分钟调用次数 - judge.py: 汇总报告附带检索速率段 - README: 补充检索速率指标说明与冒烟数据
RDK 知识库 Agent 评测(准确性 + 运行轨迹)
针对 RDK 测评集的 agent 评测流水线:用 codex exec 驱动挂载 RDK 知识库的 agent
逐题作答,评分聚焦事实准确性,同时完整记录运行轨迹并统计RDK 知识库被调用次数。
组成
| 文件 | 作用 |
|---|---|
prepare_dataset.py |
从 记忆/rdk_qa_dataset(1589 条社区采纳答案 QA)分层抽样出 evalset.jsonl(默认 150 条,seed=42 可复现) |
prompts/agent_prompt.md |
被测 agent 提示词:声明知识库挂载路径 + 回答要求 |
prompts/judge_prompt.md |
评分提示词:事实准确性 1-5 分,与社区采纳答案对照 |
run_agent_eval.py |
评测 runner:逐题跑 codex exec,收集回答 + 轨迹 |
judge.py |
LLM-as-judge 评分,输出 judged.jsonl + 汇总 |
analyze_traces.py |
轨迹统计:每题工具调用数、知识库调用次数、耗时 |
知识库挂载方式
runner 通过 codex exec -c 'projects."/Users/d-robotics/agent/知识检索".trust_level="trusted"'
把 RDK 知识库目录挂载进每个评测会话(trusted、可读可检索);agent 提示词中声明了
知识库根路径与关键文件(qa.jsonl 社区问答、rdk_eval/text/ 官方文档)。
轨迹采集(两层)
- 本地:每题保存
results/<run_id>/events/<qid>.jsonl—codex exec --json事件流results/<run_id>/sessions/*.jsonl— codex session 完整轨迹(含每次工具调用的命令参数)results/<run_id>/traces/<qid>.json— 结构化摘要:耗时、工具调用次数、rdk_kb_call_count(命令/工具参数触及知识库路径 = 一次知识库调用)、conversation_id(用于远端检索)
- 远端 OTel:已按
~/Downloads/codex-config.toml把[otel]块合并进~/.codex/config.toml(项目级配置不生效,必须用户级)。每次评测运行自动上报到https://agent-otlp.d-robotics.cc,按 traces 摘要中的conversation_id检索。 (log_user_prompt = false,题目内容不上报日志。)
使用方法
cd rdk_eval/agent_eval
# 1. 生成/再抽样测评集(可选,已生成 150 条)
python3 prepare_dataset.py -n 150
# 2. 跑 agent(断点续跑;--limit 试跑,--model 换被测模型)
python3 run_agent_eval.py --run-id exp1 --limit 5
python3 run_agent_eval.py --run-id exp1 # 续跑剩余
python3 run_agent_eval.py --run-id exp1 --model qianfan/glm-5.2 # 换模型
# 3. 准确性评分(judge 默认走环境 OPENAI_BASE_URL 的 glm-5.2,可用 JUDGE_MODEL 覆盖)
python3 judge.py --run-id exp1
# 4. 轨迹统计:知识库调用次数 + 检索速率
python3 analyze_traces.py --run-id exp1 --list-tools # 先看实际工具名
python3 analyze_traces.py --run-id exp1
# 再跑一次 judge.py 可在汇总末尾附带检索速率
指标
- 准确性:1-5 分均分、分数分布、按分类均分(5=完全正确 … 1=编造/答非所问)
- 检索使用:每题
kb_calls知识库调用次数(平均/分布/0 调用题数) - 检索速率(
analyze_traces.py从 session 时间戳配对算出):avg_kb_call_s单次检索平均耗时、max_kb_call_s最慢一次检索kb_time_s/kb_time_ratio检索总耗时及其占整题耗时比例time_to_first_kb_s首个知识库调用前的思考耗时calls_per_min每分钟知识库调用次数
- 效率:每题总耗时、items 数
备注
- 测评集参考答案来自论坛采纳答案,可能不完整;judge 提示词已声明「比参考答案更详细不扣分, 关键结论冲突判错」。
- 冒烟结果(kimi-k3,2 题):准确性 5/5、5/5;知识库调用 8/13 次;单次检索
平均 4.75s;检索耗时占整题约 13%。见
results/smoke/。
Description
Languages
Python
100%