2.9 KiB
2.9 KiB
参考资料与适用边界
本页将现有研究目录中的资料转化为 PLoop 的设计参考。资料大多是 2026-08-26 至 2026-08-27 的快照;具体软件版本、产品能力、公开分数和上游协议在采用前都需重新验证。
参考材料
| 材料 | 可借鉴内容 | 不应直接照搬的部分 |
|---|---|---|
| Harbor 架构调研 | Task 目录、数据版本 registry、执行/评分分离、结果落盘恢复、regrade、公开基准 parity | 单题单容器、只写一个 reward 的黑盒式评分 |
| Agent Memory 全景调研 | 检索/时序/更新/拒答题型,Judge 审计,同 harness 对比原则 | 将 LoCoMo、LongMemEval 等 memory benchmark 的分数直接当成文档 RAG 能力 |
| MemoryLake 产品与上下文平台调研 | P0 合成测试集、引用、作用域隔离、冲突、删除、写入可见性、注入抵抗 | 将控制台可见功能或厂商自报成绩当作已通过独立验证 |
| Fuser Lab 代码库 | 评测集版本、评估器版本、实验 Run、条目明细的产品路径;FastAPI 至领域/仓储的 Python 分层 | Vue/Element Plus 代码、gRPC/proto/stub、Kafka/ClickHouse/RBAC 等平台基础设施 |
Harbor 对 PLoop 的启发
Harbor 将 Task、Agent、Environment、Adapter 分离,适合解决数据集分发和大规模运行问题。它对 memory/RAG 的 LoCoMo adapter 也证明了“语料/索引进环境、系统作为 agent 运行、独立 verifier 打分”的基本同构性。
但 PLoop 的主要难题是可解释性。除了最终 reward,必须把检索、重排、上下文组装、引用和作用域判断保留为结构化 Trace。因此 P0 以 Harbor 的任务包、版本化和 regrade 原则为参考,而非直接绑定 Harbor 运行时。
评测集的正确用法
- LoCoMo:用来参考单跳、多跳、时序、摘要类题型;需注意金标和 judge 审计问题。
- LongMemEval:用来参考信息抽取、多会话推理、知识更新和拒答,并同时报告召回与 QA。
- BEAM/HaluMem:用来参考原子事实评分、冲突/错误记忆抵抗与超窗压力;不将其厂商或论文分数移植为 PLoop 的结论。
- PLoop 自建集:以目标业务的语料形态、权限模型、更新频率和错误代价为主,并维持公开 benchmark 所缺少的可审计 trace。
必须防范的评测误导
- 只用 LLM judge,而不验证引用和检索证据。
- judge 模型、提示词、检索 top-k 或答案模型变化却继续比较总分。
- 语料装得进上下文窗口,却省略全上下文/简单 RAG 基线。
- 因未记录原始 trace,无法区分系统失败和评分失败。
- 把厂商自报、私有 harness 或未复现的榜单作为采购或架构结论。