# RDK 知识库 Agent 评测(准确性 + 检索速率 + 运行轨迹) 针对 RDK 官方文档测评集的 agent 评测流水线:用 `codex exec` 驱动**挂载 RDK 知识库**的 agent 逐题作答,评分聚焦**事实准确性**,统计**检索速率**,并完整记录运行轨迹。 ## 测评集 `evalset.jsonl`(91 条)由 `prepare_dataset.py` 从 `rdk_eval/rdk_eval_dataset.json` 转换而来。 - 来源:D-Robotics 官方文档中心(https://developer.d-robotics.cc/rdk_doc_center/) - 覆盖 7 个型号:RDK X3 / X5 / X3 Module / X5 Module / S100 / S100P / S600 - 每个型号 10 条文本题 + 3 条图片识别题 = 文本 70 + 图片 21 - 字段:`qid, sid, model, type(text/image), category, difficulty, question, reference_answer, image(图片题绝对路径), source_pages` - 难度分布:easy 64 / medium 26 / hard 1 - 图片题:接口识别题,`image` 指向 `rdk_eval/images/<型号>/` 下的板卡图 ## 组成 | 文件 | 作用 | |---|---| | `prepare_dataset.py` | 官方文档数据集 → `evalset.jsonl`(图片转绝对路径) | | `prompts/agent_prompt.md` | 被测 agent 提示词:知识库挂载声明 + 规格/图片题作答要求 | | `prompts/judge_prompt.md` | 评分提示词:事实准确性 1-5 分,对照官方参考答案 | | `run_agent_eval.py` | 评测 runner:`codex exec` 逐题作答,图片题用 `-i` 传图(prompt 走 stdin) | | `judge.py` | LLM-as-judge 评分,输出 `judged.jsonl` + 汇总(按题型/型号拆分 + 检索速率) | | `analyze_traces.py` | 轨迹统计:知识库调用次数、检索速率、耗时 | ## 知识库挂载方式 runner 通过 `codex exec -c 'projects."/Users/d-robotics/agent/知识检索".trust_level="trusted"'` 把 RDK 知识库目录挂载进每个评测会话;agent 提示词中声明了知识库根路径与关键资料 (社区问答 `记忆/rdk_qa_dataset/qa.jsonl`、`检索/` 下的各类 wiki/benchmark)。图片题通过 `-i <图片>` 把板卡图 作为附件传入(此时 prompt 改走 stdin,因 `-i` 会让 codex 从 stdin 读 prompt)。 ## 轨迹采集(两层) 1. **本地**:每题保存 - `results//events/.jsonl` — `codex exec --json` 事件流 - `results//sessions/*.jsonl` ��� codex session 完整轨迹(含每次工具调用) - `results//traces/.json` — 结构化摘要:`sid/model/type`、耗时、 工具调用次数、`rdk_kb_call_count`、`conversation_id` 2. **远端 OTel**:已按 `~/Downloads/codex-config.toml` 把 `[otel]` 块合并进 `~/.codex/config.toml`(项目级不生效,必须用户级)。每次评测自动上报到 `https://agent-otlp.d-robotics.cc`,按 `conversation_id` 检索。 (`log_user_prompt = false`,题目内容不上报日志。) ## 使用方法 ```bash cd rdk_eval/agent_eval # 1. 生成测评集(官方文档集 -> evalset.jsonl) python3 prepare_dataset.py # 2. 跑 agent(断点续跑;--limit 试跑,--model 换被测模型,--qid 跑指定题) python3 run_agent_eval.py --run-id exp1 --limit 5 python3 run_agent_eval.py --run-id exp1 # 续跑剩余 python3 run_agent_eval.py --run-id exp1 --model qianfan/glm-5.2 # 3. 准确性评分(judge 默认走环境 OPENAI_BASE_URL 的 glm-5.2,可用 JUDGE_MODEL 覆盖) python3 judge.py --run-id exp1 # 4. 轨迹统计:知识库调用次数 + 检索速率 python3 analyze_traces.py --run-id exp1 --list-tools # 先看实际工具名 python3 analyze_traces.py --run-id exp1 # 再跑一次 judge.py 可在汇总末尾附带检索速率 ``` ## 指标 - **准确性**:1-5 分均分、分数分布、按题型(text/image)与型号均分(5=完全正确 … 1=编造/答非所问) - **检索使用**:每题 `kb_calls` 知识库调用次数(平均/分布/0 调用题数) - **检索速率**:单次检索平均/最慢耗时、检索总耗时及占比、首个检索前耗时、每分钟调用次数 - **效率**:每题总耗时、items 数 ## 备注 - 当前知识库为本地文件挂载(shell grep 检索);若接入 MemoryLake API 的 MCP 检索 工具,统计逻辑同样生效(按工具名匹配),此时检索速率即检索接口延迟。 - 冒烟结果(kimi-k3,官方文档集 1 文本 + 1 图片):见 `results/smoke_official/`。