dingbin.wang ebd92241c2 RDK 知识库 agent 评测:测评集 + 准确性评分规则 + 轨迹采集
- evalset.jsonl: 从 rdk_qa_dataset 分层抽样的 150 条测评集(含参考答案)
- prompts/: 被测 agent 提示词 + 准确性评分(1-5) judge 提示词
- run_agent_eval.py: codex exec 驱动的评测 runner(挂载 RDK 知识库,断点续跑)
- judge.py / analyze_traces.py: 准确性评分与知识库调用次数统计
- results/smoke/: 冒烟验证样例(回答、judge 结果、轨迹)
- OTel 远端轨迹配置参考 ~/Downloads/codex-config.toml(需合并进 ~/.codex/config.toml)
2026-08-14 15:01:51 +08:00

RDK 知识库 Agent 评测(准确性 + 运行轨迹)

针对 RDK 测评集的 agent 评测流水线:用 codex exec 驱动挂载 RDK 知识库的 agent 逐题作答,评分聚焦事实准确性,同时完整记录运行轨迹并统计RDK 知识库被调用次数。

组成

文件 作用
prepare_dataset.py 从 记忆/rdk_qa_dataset(1589 条社区采纳答案 QA)分层抽样出 evalset.jsonl(默认 150 条,seed=42 可复现)
prompts/agent_prompt.md 被测 agent 提示词:声明知识库挂载路径 + 回答要求
prompts/judge_prompt.md 评分提示词:事实准确性 1-5 分,与社区采纳答案对照
run_agent_eval.py 评测 runner:逐题跑 codex exec,收集回答 + 轨迹
judge.py LLM-as-judge 评分,输出 judged.jsonl + 汇总
analyze_traces.py 轨迹统计:每题工具调用数、知识库调用次数、耗时

知识库挂载方式

runner 通过 codex exec -c 'projects."/Users/d-robotics/agent/知识检索".trust_level="trusted"' 把 RDK 知识库目录挂载进每个评测会话(trusted、可读可检索);agent 提示词中声明了 知识库根路径与关键文件(qa.jsonl 社区问答、rdk_eval/text/ 官方文档)。

轨迹采集(两层)

  1. 本地:每题保存
    • results/<run_id>/events/<qid>.jsonl — codex exec --json 事件流
    • results/<run_id>/sessions/*.jsonl — codex session 完整轨迹(含每次工具调用的命令参数)
    • results/<run_id>/traces/<qid>.json — 结构化摘要:耗时、工具调用次数、 rdk_kb_call_count(命令/工具参数触及知识库路径 = 一次知识库调用)、 conversation_id(用于远端检索)
  2. 远端 OTel:已按 ~/Downloads/codex-config.toml 把 [otel] 块合并进 ~/.codex/config.toml(项目级配置不生效,必须用户级)。每次评测运行自动上报到 https://agent-otlp.d-robotics.cc,按 traces 摘要中的 conversation_id 检索。 (log_user_prompt = false,题目内容不上报日志。)

使用方法

cd rdk_eval/agent_eval

# 1. 生成/再抽样测评集(可选,已生成 150 条)
python3 prepare_dataset.py -n 150

# 2. 跑 agent(断点续跑;--limit 试跑,--model 换被测模型)
python3 run_agent_eval.py --run-id exp1 --limit 5
python3 run_agent_eval.py --run-id exp1            # 续跑剩余
python3 run_agent_eval.py --run-id exp1 --model qianfan/glm-5.2  # 换模型

# 3. 准确性评分(judge 默认走环境 OPENAI_BASE_URL 的 glm-5.2,可用 JUDGE_MODEL 覆盖)
python3 judge.py --run-id exp1

# 4. 轨迹统计:RDK 知识库调用次数
python3 analyze_traces.py --run-id exp1 --list-tools   # 先看实际工具名
python3 analyze_traces.py --run-id exp1

指标

  • 准确性:1-5 分均分、分数分布、按分类均分(5=完全正确 … 1=编造/答非所问)
  • 知识库使用:每题 rdk_kb_call_count(平均/分布/0 调用题数)、工具总调用数
  • 效率:每题耗时、items 数

备注

  • 测评集参考答案来自论坛采纳答案,可能不完整;judge 提示词已声明「比参考答案更详细不扣分, 关键结论冲突判错」。
  • 冒烟结果(kimi-k3,2 题):见 results/smoke/。
Description
RDK 知识库 agent 评测:测评集 + 准确性评分规则 + 运行轨迹采集
Readme 2.4 MiB
Languages
Python 100%