..

RDK 知识库 Agent 评测(准确性 + 检索速率 + 运行轨迹)

针对 RDK 官方文档测评集的 agent 评测流水线:用 codex exec 驱动挂载 RDK 知识库的 agent 逐题作答,评分聚焦事实准确性,统计检索速率,并完整记录运行轨迹。

测评集

evalset.jsonl(91 条)由 prepare_dataset.py 从 rdk_eval/rdk_eval_dataset.json 转换而来。

  • 来源:D-Robotics 官方文档中心(https://developer.d-robotics.cc/rdk_doc_center/)
  • 覆盖 7 个型号:RDK X3 / X5 / X3 Module / X5 Module / S100 / S100P / S600
  • 每个型号 10 条文本题 + 3 条图片识别题 = 文本 70 + 图片 21
  • 字段:qid, sid, model, type(text/image), category, difficulty, question, reference_answer, image(图片题绝对路径), source_pages
  • 难度分布:easy 64 / medium 26 / hard 1
  • 图片题:接口识别题,image 指向 rdk_eval/images/<型号>/ 下的板卡图

组成

文件 作用
prepare_dataset.py 官方文档数据集 → evalset.jsonl(图片转绝对路径)
prompts/agent_prompt.md 被测 agent 提示词:知识库挂载声明 + 规格/图片题作答要求
prompts/judge_prompt.md 评分提示词:事实准确性 1-5 分,对照官方参考答案
run_agent_eval.py 评测 runner:codex exec 逐题作答,图片题用 -i 传图(prompt 走 stdin)
judge.py LLM-as-judge 评分,输出 judged.jsonl + 汇总(按题型/型号拆分 + 检索速率)
analyze_traces.py 轨迹统计:知识库调用次数、检索速率、耗时

知识库挂载方式

runner 通过 codex exec -c 'projects."/Users/d-robotics/agent/知识检索".trust_level="trusted"' 把 RDK 知识库目录挂载进每个评测会话;agent 提示词中声明了知识库根路径与关键资料 (社区问答 记忆/rdk_qa_dataset/qa.jsonl、检索/ 下的各类 wiki/benchmark)。图片题通过 -i <图片> 把板卡图 作为附件传入(此时 prompt 改走 stdin,因 -i 会让 codex 从 stdin 读 prompt)。

轨迹采集(两层)

  1. 本地:每题保存
    • results/<run_id>/events/<qid>.jsonl — codex exec --json 事件流
    • results/<run_id>/sessions/*.jsonl <20><><EFBFBD> codex session 完整轨迹(含每次工具调用)
    • results/<run_id>/traces/<qid>.json — 结构化摘要:sid/model/type、耗时、 工具调用次数、rdk_kb_call_count、conversation_id
  2. 远端 OTel:已按 ~/Downloads/codex-config.toml 把 [otel] 块合并进 ~/.codex/config.toml(项目级不生效,必须用户级)。每次评测自动上报到 https://agent-otlp.d-robotics.cc,按 conversation_id 检索。 (log_user_prompt = false,题目内容不上报日志。)

使用方法

cd rdk_eval/agent_eval

# 1. 生成测评集(官方文档集 -> evalset.jsonl)
python3 prepare_dataset.py

# 2. 跑 agent(断点续跑;--limit 试跑,--model 换被测模型,--qid 跑指定题)
python3 run_agent_eval.py --run-id exp1 --limit 5
python3 run_agent_eval.py --run-id exp1            # 续跑剩余
python3 run_agent_eval.py --run-id exp1 --model qianfan/glm-5.2

# 3. 准确性评分(judge 默认走环境 OPENAI_BASE_URL 的 glm-5.2,可用 JUDGE_MODEL 覆盖)
python3 judge.py --run-id exp1

# 4. 轨迹统计:知识库调用次数 + 检索速率
python3 analyze_traces.py --run-id exp1 --list-tools   # 先看实际工具名
python3 analyze_traces.py --run-id exp1
# 再跑一次 judge.py 可在汇总末尾附带检索速率

指标

  • 准确性:1-5 分均分、分数分布、按题型(text/image)与型号均分(5=完全正确 … 1=编造/答非所问)
  • 检索使用:每题 kb_calls 知识库调用次数(平均/分布/0 调用题数)
  • 检索速率:单次检索平均/最慢耗时、检索总耗时及占比、首个检索前耗时、每分钟调用次数
  • 效率:每题总耗时、items 数

备注

  • 当前知识库为本地文件挂载(shell grep 检索);若接入 MemoryLake API 的 MCP 检索 工具,统计逻辑同样生效(按工具名匹配),此时检索速率即检索接口延迟。
  • 冒烟结果(kimi-k3,官方文档集 1 文本 + 1 图片):见 results/smoke_official/。