ploop/docs/reference/reference-research.md
2026-08-31 15:27:34 +08:00

2.9 KiB
Raw Permalink Blame History

参考资料与适用边界

本页将现有研究目录中的资料转化为 PLoop 的设计参考。资料大多是 2026-08-26 至 2026-08-27 的快照;具体软件版本、产品能力、公开分数和上游协议在采用前都需重新验证。

参考材料

材料 可借鉴内容 不应直接照搬的部分
Harbor 架构调研 Task 目录、数据版本 registry、执行/评分分离、结果落盘恢复、regrade、公开基准 parity 单题单容器、只写一个 reward 的黑盒式评分
Agent Memory 全景调研 检索/时序/更新/拒答题型,Judge 审计,同 harness 对比原则 将 LoCoMo、LongMemEval 等 memory benchmark 的分数直接当成文档 RAG 能力
MemoryLake 产品与上下文平台调研 P0 合成测试集、引用、作用域隔离、冲突、删除、写入可见性、注入抵抗 将控制台可见功能或厂商自报成绩当作已通过独立验证
Fuser Lab 代码库 评测集版本、评估器版本、实验 Run、条目明细的产品路径;FastAPI 至领域/仓储的 Python 分层 Vue/Element Plus 代码、gRPC/proto/stub、Kafka/ClickHouse/RBAC 等平台基础设施

Harbor 对 PLoop 的启发

Harbor 将 Task、Agent、Environment、Adapter 分离,适合解决数据集分发和大规模运行问题。它对 memory/RAG 的 LoCoMo adapter 也证明了“语料/索引进环境、系统作为 agent 运行、独立 verifier 打分”的基本同构性。

但 PLoop 的主要难题是可解释性。除了最终 reward,必须把检索、重排、上下文组装、引用和作用域判断保留为结构化 Trace。因此 P0 以 Harbor 的任务包、版本化和 regrade 原则为参考,而非直接绑定 Harbor 运行时。

评测集的正确用法

  • LoCoMo:用来参考单跳、多跳、时序、摘要类题型;需注意金标和 judge 审计问题。
  • LongMemEval:用来参考信息抽取、多会话推理、知识更新和拒答,并同时报告召回与 QA。
  • BEAM/HaluMem:用来参考原子事实评分、冲突/错误记忆抵抗与超窗压力;不将其厂商或论文分数移植为 PLoop 的结论。
  • PLoop 自建集:以目标业务的语料形态、权限模型、更新频率和错误代价为主,并维持公开 benchmark 所缺少的可审计 trace。

必须防范的评测误导

  1. 只用 LLM judge,而不验证引用和检索证据。
  2. judge 模型、提示词、检索 top-k 或答案模型变化却继续比较总分。
  3. 语料装得进上下文窗口,却省略全上下文/简单 RAG 基线。
  4. 因未记录原始 trace,无法区分系统失败和评分失败。
  5. 把厂商自报、私有 harness 或未复现的榜单作为采购或架构结论。