3 Commits

Author SHA1 Message Date
922aea1872 去除已删除 text/ 目录的引用 + 补全 agent_prompt 图片题说明
- prompts/agent_prompt.md: 删除 rdk_eval/text/*.txt 引用(该目录为抓取污染草稿、
  已删除),改为 检索/ 下现存 wiki/benchmark;补充图片识别题作答说明
- README.md: 知识库挂载说明同步更新
- run_agent_eval.py / analyze_traces.py: KB_PATH_RE 知识库路径匹配更新为现存目录
  (d-wiki/graph-wiki/sag_wiki 等),移除已删除的 text/dom
2026-08-17 11:13:28 +08:00
e1c3f2493e 替换测评集为官方文档集(91 条:7 型号 × 10 文本 + 3 图片)
- evalset.jsonl: 由 rdk_eval_dataset.json 转换,含 model/type/difficulty/reference_answer
- prepare_dataset.py: 改为官方文档集 -> evalset.jsonl(图片转绝对路径)
- run_agent_eval.py: 图片题用 -i 传图(prompt 走 stdin),轨迹记录 sid/model/type
- judge.py: 字段改 reference_answer,按题型/型号拆分汇总
- prompts/judge_prompt.md: 适配规格类短答案评分;agent_prompt 加图片题说明
- results/smoke_official/: 官方集冒烟(1 文本 + 1 图片),替换旧论坛集冒烟
2026-08-15 01:06:26 +08:00
ebd92241c2 RDK 知识库 agent 评测:测评集 + 准确性评分规则 + 轨迹采集
- evalset.jsonl: 从 rdk_qa_dataset 分层抽样的 150 条测评集(含参考答案)
- prompts/: 被测 agent 提示词 + 准确性评分(1-5) judge 提示词
- run_agent_eval.py: codex exec 驱动的评测 runner(挂载 RDK 知识库,断点续跑)
- judge.py / analyze_traces.py: 准确性评分与知识库调用次数统计
- results/smoke/: 冒烟验证样例(回答、judge 结果、轨迹)
- OTel 远端轨迹配置参考 ~/Downloads/codex-config.toml(需合并进 ~/.codex/config.toml)
2026-08-14 15:01:51 +08:00