dingbin.wang c6833cbc78 新增检索速率指标
- analyze_traces.py: 按 session 时间戳配对 function_call/output,
  统计单次检索耗时(avg/max)、检索总耗时及占比、首个检索前耗时、每分钟调用次数
- judge.py: 汇总报告附带检索速率段
- README: 补充检索速率指标说明与冒烟数据
2026-08-14 16:37:40 +08:00
2026-08-14 16:37:40 +08:00
2026-08-14 16:37:40 +08:00
2026-08-14 16:37:40 +08:00
2026-08-14 16:37:40 +08:00

RDK 知识库 Agent 评测(准确性 + 运行轨迹)

针对 RDK 测评集的 agent 评测流水线:用 codex exec 驱动挂载 RDK 知识库的 agent 逐题作答,评分聚焦事实准确性,同时完整记录运行轨迹并统计RDK 知识库被调用次数。

组成

文件 作用
prepare_dataset.py 从 记忆/rdk_qa_dataset(1589 条社区采纳答案 QA)分层抽样出 evalset.jsonl(默认 150 条,seed=42 可复现)
prompts/agent_prompt.md 被测 agent 提示词:声明知识库挂载路径 + 回答要求
prompts/judge_prompt.md 评分提示词:事实准确性 1-5 分,与社区采纳答案对照
run_agent_eval.py 评测 runner:逐题跑 codex exec,收集回答 + 轨迹
judge.py LLM-as-judge 评分,输出 judged.jsonl + 汇总
analyze_traces.py 轨迹统计:每题工具调用数、知识库调用次数、耗时

知识库挂载方式

runner 通过 codex exec -c 'projects."/Users/d-robotics/agent/知识检索".trust_level="trusted"' 把 RDK 知识库目录挂载进每个评测会话(trusted、可读可检索);agent 提示词中声明了 知识库根路径与关键文件(qa.jsonl 社区问答、rdk_eval/text/ 官方文档)。

轨迹采集(两层)

  1. 本地:每题保存
    • results/<run_id>/events/<qid>.jsonl — codex exec --json 事件流
    • results/<run_id>/sessions/*.jsonl — codex session 完整轨迹(含每次工具调用的命令参数)
    • results/<run_id>/traces/<qid>.json — 结构化摘要:耗时、工具调用次数、 rdk_kb_call_count(命令/工具参数触及知识库路径 = 一次知识库调用)、 conversation_id(用于远端检索)
  2. 远端 OTel:已按 ~/Downloads/codex-config.toml 把 [otel] 块合并进 ~/.codex/config.toml(项目级配置不生效,必须用户级)。每次评测运行自动上报到 https://agent-otlp.d-robotics.cc,按 traces 摘要中的 conversation_id 检索。 (log_user_prompt = false,题目内容不上报日志。)

使用方法

cd rdk_eval/agent_eval

# 1. 生成/再抽样测评集(可选,已生成 150 条)
python3 prepare_dataset.py -n 150

# 2. 跑 agent(断点续跑;--limit 试跑,--model 换被测模型)
python3 run_agent_eval.py --run-id exp1 --limit 5
python3 run_agent_eval.py --run-id exp1            # 续跑剩余
python3 run_agent_eval.py --run-id exp1 --model qianfan/glm-5.2  # 换模型

# 3. 准确性评分(judge 默认走环境 OPENAI_BASE_URL 的 glm-5.2,可用 JUDGE_MODEL 覆盖)
python3 judge.py --run-id exp1

# 4. 轨迹统计:知识库调用次数 + 检索速率
python3 analyze_traces.py --run-id exp1 --list-tools   # 先看实际工具名
python3 analyze_traces.py --run-id exp1
# 再跑一次 judge.py 可在汇总末尾附带检索速率

指标

  • 准确性:1-5 分均分、分数分布、按分类均分(5=完全正确 … 1=编造/答非所问)
  • 检索使用:每题 kb_calls 知识库调用次数(平均/分布/0 调用题数)
  • 检索速率(analyze_traces.py 从 session 时间戳配对算出):
    • avg_kb_call_s 单次检索平均耗时、max_kb_call_s 最慢一次检索
    • kb_time_s / kb_time_ratio 检索总耗时及其占整题耗时比例
    • time_to_first_kb_s 首个知识库调用前的思考耗时
    • calls_per_min 每分钟知识库调用次数
  • 效率:每题总耗时、items 数

备注

  • 测评集参考答案来自论坛采纳答案,可能不完整;judge 提示词已声明「比参考答案更详细不扣分, 关键结论冲突判错」。
  • 冒烟结果(kimi-k3,2 题):准确性 5/5、5/5;知识库调用 8/13 次;单次检索 平均 4.75s;检索耗时占整题约 13%。见 results/smoke/。
Description
RDK 知识库 agent 评测:测评集 + 准确性评分规则 + 运行轨迹采集
Readme 2.4 MiB
Languages
Python 100%