- prompts/agent_prompt.md: 删除 rdk_eval/text/*.txt 引用(该目录为抓取污染草稿、 已删除),改为 检索/ 下现存 wiki/benchmark;补充图片识别题作答说明 - README.md: 知识库挂载说明同步更新 - run_agent_eval.py / analyze_traces.py: KB_PATH_RE 知识库路径匹配更新为现存目录 (d-wiki/graph-wiki/sag_wiki 等),移除已删除的 text/dom
4.2 KiB
4.2 KiB
RDK 知识库 Agent 评测(准确性 + 检索速率 + 运行轨迹)
针对 RDK 官方文档测评集的 agent 评测流水线:用 codex exec 驱动挂载 RDK 知识库的
agent 逐题作答,评分聚焦事实准确性,统计检索速率,并完整记录运行轨迹。
测评集
evalset.jsonl(91 条)由 prepare_dataset.py 从 rdk_eval/rdk_eval_dataset.json 转换而来。
- 来源:D-Robotics 官方文档中心(https://developer.d-robotics.cc/rdk_doc_center/)
- 覆盖 7 个型号:RDK X3 / X5 / X3 Module / X5 Module / S100 / S100P / S600
- 每个型号 10 条文本题 + 3 条图片识别题 = 文本 70 + 图片 21
- 字段:
qid, sid, model, type(text/image), category, difficulty, question, reference_answer, image(图片题绝对路径), source_pages - 难度分布:easy 64 / medium 26 / hard 1
- 图片题:接口识别题,
image指向rdk_eval/images/<型号>/下的板卡图
组成
| 文件 | 作用 |
|---|---|
prepare_dataset.py |
官方文档数据集 → evalset.jsonl(图片转绝对路径) |
prompts/agent_prompt.md |
被测 agent 提示词:知识库挂载声明 + 规格/图片题作答要求 |
prompts/judge_prompt.md |
评分提示词:事实准确性 1-5 分,对照官方参考答案 |
run_agent_eval.py |
评测 runner:codex exec 逐题作答,图片题用 -i 传图(prompt 走 stdin) |
judge.py |
LLM-as-judge 评分,输出 judged.jsonl + 汇总(按题型/型号拆分 + 检索速率) |
analyze_traces.py |
轨迹统计:知识库调用次数、检索速率、耗时 |
知识库挂载方式
runner 通过 codex exec -c 'projects."/Users/d-robotics/agent/知识检索".trust_level="trusted"'
把 RDK 知识库目录挂载进每个评测会话;agent 提示词中声明了知识库根路径与关键资料
(社区问答 记忆/rdk_qa_dataset/qa.jsonl、检索/ 下的各类 wiki/benchmark)。图片题通过 -i <图片> 把板卡图
作为附件传入(此时 prompt 改走 stdin,因 -i 会让 codex 从 stdin 读 prompt)。
轨迹采集(两层)
- 本地:每题保存
results/<run_id>/events/<qid>.jsonl—codex exec --json事件流results/<run_id>/sessions/*.jsonl<20><><EFBFBD> codex session 完整轨迹(含每次工具调用)results/<run_id>/traces/<qid>.json— 结构化摘要:sid/model/type、耗时、 工具调用次数、rdk_kb_call_count、conversation_id
- 远端 OTel:已按
~/Downloads/codex-config.toml把[otel]块合并进~/.codex/config.toml(项目级不生效,必须用户级)。每次评测自动上报到https://agent-otlp.d-robotics.cc,按conversation_id检索。 (log_user_prompt = false,题目内容不上报日志。)
使用方法
cd rdk_eval/agent_eval
# 1. 生成测评集(官方文档集 -> evalset.jsonl)
python3 prepare_dataset.py
# 2. 跑 agent(断点续跑;--limit 试跑,--model 换被测模型,--qid 跑指定题)
python3 run_agent_eval.py --run-id exp1 --limit 5
python3 run_agent_eval.py --run-id exp1 # 续跑剩余
python3 run_agent_eval.py --run-id exp1 --model qianfan/glm-5.2
# 3. 准确性评分(judge 默认走环境 OPENAI_BASE_URL 的 glm-5.2,可用 JUDGE_MODEL 覆盖)
python3 judge.py --run-id exp1
# 4. 轨迹统计:知识库调用次数 + 检索速率
python3 analyze_traces.py --run-id exp1 --list-tools # 先看实际工具名
python3 analyze_traces.py --run-id exp1
# 再跑一次 judge.py 可在汇总末尾附带检索速率
指标
- 准确性:1-5 分均分、分数分布、按题型(text/image)与型号均分(5=完全正确 … 1=编造/答非所问)
- 检索使用:每题
kb_calls知识库调用次数(平均/分布/0 调用题数) - 检索速率:单次检索平均/最慢耗时、检索总耗时及占比、首个检索前耗时、每分钟调用次数
- 效率:每题总耗时、items 数
备注
- 当前知识库为本地文件挂载(shell grep 检索);若接入 MemoryLake API 的 MCP 检索 工具,统计逻辑同样生效(按工具名匹配),此时检索速率即检索接口延迟。
- 冒烟结果(kimi-k3,官方文档集 1 文本 + 1 图片):见
results/smoke_official/。