ploop/docs/reference/reference-research.md
2026-08-31 15:27:34 +08:00

34 lines
2.9 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 参考资料与适用边界
本页将现有研究目录中的资料转化为 PLoop 的设计参考。资料大多是 2026-08-26 至 2026-08-27 的快照;具体软件版本、产品能力、公开分数和上游协议在采用前都需重新验证。
## 参考材料
| 材料 | 可借鉴内容 | 不应直接照搬的部分 |
|---|---|---|
| [Harbor 架构调研](/Users/pptg/workspace/research/harbor-架构调研.md) | Task 目录、数据版本 registry、执行/评分分离、结果落盘恢复、regrade、公开基准 parity | 单题单容器、只写一个 reward 的黑盒式评分 |
| [Agent Memory 全景调研](/Users/pptg/workspace/research/agent-memory-全景调研.md) | 检索/时序/更新/拒答题型,Judge 审计,同 harness 对比原则 | 将 LoCoMo、LongMemEval 等 memory benchmark 的分数直接当成文档 RAG 能力 |
| [MemoryLake 产品与上下文平台调研](/Users/pptg/workspace/research/memorylake-产品与上下文平台调研.md) | P0 合成测试集、引用、作用域隔离、冲突、删除、写入可见性、注入抵抗 | 将控制台可见功能或厂商自报成绩当作已通过独立验证 |
| [Fuser Lab 代码库](/Users/pptg/workspace/project/fuser_lab/README.md) | 评测集版本、评估器版本、实验 Run、条目明细的产品路径;FastAPI 至领域/仓储的 Python 分层 | Vue/Element Plus 代码、gRPC/proto/stub、Kafka/ClickHouse/RBAC 等平台基础设施 |
## Harbor 对 PLoop 的启发
Harbor 将 Task、Agent、Environment、Adapter 分离,适合解决数据集分发和大规模运行问题。它对 memory/RAG 的 LoCoMo adapter 也证明了“语料/索引进环境、系统作为 agent 运行、独立 verifier 打分”的基本同构性。
但 PLoop 的主要难题是**可解释性**。除了最终 reward,必须把检索、重排、上下文组装、引用和作用域判断保留为结构化 Trace。因此 P0 以 Harbor 的任务包、版本化和 regrade 原则为参考,而非直接绑定 Harbor 运行时。
## 评测集的正确用法
- LoCoMo:用来参考单跳、多跳、时序、摘要类题型;需注意金标和 judge 审计问题。
- LongMemEval:用来参考信息抽取、多会话推理、知识更新和拒答,并同时报告召回与 QA。
- BEAM/HaluMem:用来参考原子事实评分、冲突/错误记忆抵抗与超窗压力;不将其厂商或论文分数移植为 PLoop 的结论。
- PLoop 自建集:以目标业务的语料形态、权限模型、更新频率和错误代价为主,并维持公开 benchmark 所缺少的可审计 trace。
## 必须防范的评测误导
1. 只用 LLM judge,而不验证引用和检索证据。
2. judge 模型、提示词、检索 top-k 或答案模型变化却继续比较总分。
3. 语料装得进上下文窗口,却省略全上下文/简单 RAG 基线。
4. 因未记录原始 trace,无法区分系统失败和评分失败。
5. 把厂商自报、私有 harness 或未复现的榜单作为采购或架构结论。