# 参考资料与适用边界 本页将现有研究目录中的资料转化为 PLoop 的设计参考。资料大多是 2026-08-26 至 2026-08-27 的快照;具体软件版本、产品能力、公开分数和上游协议在采用前都需重新验证。 ## 参考材料 | 材料 | 可借鉴内容 | 不应直接照搬的部分 | |---|---|---| | [Harbor 架构调研](/Users/pptg/workspace/research/harbor-架构调研.md) | Task 目录、数据版本 registry、执行/评分分离、结果落盘恢复、regrade、公开基准 parity | 单题单容器、只写一个 reward 的黑盒式评分 | | [Agent Memory 全景调研](/Users/pptg/workspace/research/agent-memory-全景调研.md) | 检索/时序/更新/拒答题型,Judge 审计,同 harness 对比原则 | 将 LoCoMo、LongMemEval 等 memory benchmark 的分数直接当成文档 RAG 能力 | | [MemoryLake 产品与上下文平台调研](/Users/pptg/workspace/research/memorylake-产品与上下文平台调研.md) | P0 合成测试集、引用、作用域隔离、冲突、删除、写入可见性、注入抵抗 | 将控制台可见功能或厂商自报成绩当作已通过独立验证 | | [Fuser Lab 代码库](/Users/pptg/workspace/project/fuser_lab/README.md) | 评测集版本、评估器版本、实验 Run、条目明细的产品路径;FastAPI 至领域/仓储的 Python 分层 | Vue/Element Plus 代码、gRPC/proto/stub、Kafka/ClickHouse/RBAC 等平台基础设施 | ## Harbor 对 PLoop 的启发 Harbor 将 Task、Agent、Environment、Adapter 分离,适合解决数据集分发和大规模运行问题。它对 memory/RAG 的 LoCoMo adapter 也证明了“语料/索引进环境、系统作为 agent 运行、独立 verifier 打分”的基本同构性。 但 PLoop 的主要难题是**可解释性**。除了最终 reward,必须把检索、重排、上下文组装、引用和作用域判断保留为结构化 Trace。因此 P0 以 Harbor 的任务包、版本化和 regrade 原则为参考,而非直接绑定 Harbor 运行时。 ## 评测集的正确用法 - LoCoMo:用来参考单跳、多跳、时序、摘要类题型;需注意金标和 judge 审计问题。 - LongMemEval:用来参考信息抽取、多会话推理、知识更新和拒答,并同时报告召回与 QA。 - BEAM/HaluMem:用来参考原子事实评分、冲突/错误记忆抵抗与超窗压力;不将其厂商或论文分数移植为 PLoop 的结论。 - PLoop 自建集:以目标业务的语料形态、权限模型、更新频率和错误代价为主,并维持公开 benchmark 所缺少的可审计 trace。 ## 必须防范的评测误导 1. 只用 LLM judge,而不验证引用和检索证据。 2. judge 模型、提示词、检索 top-k 或答案模型变化却继续比较总分。 3. 语料装得进上下文窗口,却省略全上下文/简单 RAG 基线。 4. 因未记录原始 trace,无法区分系统失败和评分失败。 5. 把厂商自报、私有 harness 或未复现的榜单作为采购或架构结论。