1.4 KiB
1.4 KiB
快速开始:运行本地 P0 示例
本示例使用一个仅供演示的关键词 RAG。它证明 PLoop 的执行、Trace 标准化和评测链路能跑通;它不是可用于生产或性能比较的 RAG 实现。
安装
在后端包目录执行:
cd backend
python3 -m pip install -e .
跑通示例
ploop execute \
--dataset examples/demo-dataset/cases.jsonl \
--target-command "python3 examples/keyword_rag.py --documents examples/demo-dataset/documents.jsonl --input {input} --output {output}"
ploop normalize --run-dir runs/<run-id>
ploop evaluate --run-dir runs/<run-id>
execute 的输出会打印实际 run_dir。该目录内依次保存 Dataset 快照、发送给 RAG 的请求、原始响应、标准 Trace 和评测结果。
接入真实 RAG
将真实 RAG 包装成批量命令:读取 {input} 给出的 JSONL,向每行请求执行查询,并将结果写到 {output}。每条结果必须带回原始 case_id。推荐输出:
{
"case_id": "case-001",
"answer": "答案正文",
"citations": ["document-17#p4"],
"retrievals": [
{"source_id": "document-17#p4", "score": 0.91, "content": "可选的证据片段"}
]
}
若真实系统的字段不同,先在它的包装命令中保持原始响应;再扩展 PLoop 的 Trace normalizer 映射,避免在执行阶段丢失原始语义。
验证
PYTHONPATH=src python3 -m unittest discover -s tests -v