- evalset.jsonl: 从 rdk_qa_dataset 分层抽样的 150 条测评集(含参考答案) - prompts/: 被测 agent 提示词 + 准确性评分(1-5) judge 提示词 - run_agent_eval.py: codex exec 驱动的评测 runner(挂载 RDK 知识库,断点续跑) - judge.py / analyze_traces.py: 准确性评分与知识库调用次数统计 - results/smoke/: 冒烟验证样例(回答、judge 结果、轨迹) - OTel 远端轨迹配置参考 ~/Downloads/codex-config.toml(需合并进 ~/.codex/config.toml)
RDK 知识库 Agent 评测(准确性 + 运行轨迹)
针对 RDK 测评集的 agent 评测流水线:用 codex exec 驱动挂载 RDK 知识库的 agent
逐题作答,评分聚焦事实准确性,同时完整记录运行轨迹并统计RDK 知识库被调用次数。
组成
| 文件 | 作用 |
|---|---|
prepare_dataset.py |
从 记忆/rdk_qa_dataset(1589 条社区采纳答案 QA)分层抽样出 evalset.jsonl(默认 150 条,seed=42 可复现) |
prompts/agent_prompt.md |
被测 agent 提示词:声明知识库挂载路径 + 回答要求 |
prompts/judge_prompt.md |
评分提示词:事实准确性 1-5 分,与社区采纳答案对照 |
run_agent_eval.py |
评测 runner:逐题跑 codex exec,收集回答 + 轨迹 |
judge.py |
LLM-as-judge 评分,输出 judged.jsonl + 汇总 |
analyze_traces.py |
轨迹统计:每题工具调用数、知识库调用次数、耗时 |
知识库挂载方式
runner 通过 codex exec -c 'projects."/Users/d-robotics/agent/知识检索".trust_level="trusted"'
把 RDK 知识库目录挂载进每个评测会话(trusted、可读可检索);agent 提示词中声明了
知识库根路径与关键文件(qa.jsonl 社区问答、rdk_eval/text/ 官方文档)。
轨迹采集(两层)
- 本地:每题保存
results/<run_id>/events/<qid>.jsonl—codex exec --json事件流results/<run_id>/sessions/*.jsonl— codex session 完整轨迹(含每次工具调用的命令参数)results/<run_id>/traces/<qid>.json— 结构化摘要:耗时、工具调用次数、rdk_kb_call_count(命令/工具参数触及知识库路径 = 一次知识库调用)、conversation_id(用于远端检索)
- 远端 OTel:已按
~/Downloads/codex-config.toml把[otel]块合并进~/.codex/config.toml(项目级配置不生效,必须用户级)。每次评测运行自动上报到https://agent-otlp.d-robotics.cc,按 traces 摘要中的conversation_id检索。 (log_user_prompt = false,题目内容不上报日志。)
使用方法
cd rdk_eval/agent_eval
# 1. 生成/再抽样测评集(可选,已生成 150 条)
python3 prepare_dataset.py -n 150
# 2. 跑 agent(断点续跑;--limit 试跑,--model 换被测模型)
python3 run_agent_eval.py --run-id exp1 --limit 5
python3 run_agent_eval.py --run-id exp1 # 续跑剩余
python3 run_agent_eval.py --run-id exp1 --model qianfan/glm-5.2 # 换模型
# 3. 准确性评分(judge 默认走环境 OPENAI_BASE_URL 的 glm-5.2,可用 JUDGE_MODEL 覆盖)
python3 judge.py --run-id exp1
# 4. 轨迹统计:RDK 知识库调用次数
python3 analyze_traces.py --run-id exp1 --list-tools # 先看实际工具名
python3 analyze_traces.py --run-id exp1
指标
- 准确性:1-5 分均分、分数分布、按分类均分(5=完全正确 … 1=编造/答非所问)
- 知识库使用:每题
rdk_kb_call_count(平均/分布/0 调用题数)、工具总调用数 - 效率:每题耗时、items 数
备注
- 测评集参考答案来自论坛采纳答案,可能不完整;judge 提示词已声明「比参考答案更详细不扣分, 关键结论冲突判错」。
- 冒烟结果(kimi-k3,2 题):见
results/smoke/。
Description
Languages
Python
100%