data-gen-bpu/export/CONTENT_REVIEW.md

4.3 KiB
Raw Blame History

单次内容审核

python -m export.content_review /protected/bench/runs/RUN/JOB/rollouts/00 --timeout 120

由平台操作员在 bench 根目录运行。环境变量 BENCH_REVIEW_URL 是完整的兼容 chat/completions URL,BENCH_REVIEW_MODEL 选择模型,BENCH_REVIEW_API_KEY 提供凭据。凭据不会写入回执。工作 Agent 不运行此入口,也不拥有审核回执目录的写权限。

入口先执行现有的轨迹保真、工具闭合、上下文、测量硬门、终态与排除注记检查。失败候选不调用模型。成功候选把完整保真消息、工具定义、任务、权威 verdict 和包含辅助指标的原始测量摘要交给一个只读审核请求。不重跑推理、编译或上板,不提供任何工具;输出预算最多 8192 tokens,默认 8192(v3 固定预算),HTTP timeout 最多 120 秒。

每个完整源文件摘要、预测/测量来源摘要及审核规则的组合保存一份 content-reviews/<sha256>.json。请求前即写 STARTED,重复运行返回同一回执;崩溃、未知、超时和审核失败都不自动重试。输入超限不截断上下文,结果 UNKNOWN。规则、会话或权威结果变化后原回执失效。

正常自然终答不要求 claim。任务和成功 SFT 使用同一 fixed-task-tolerance-v1 判据,SE 只作诊断。bench.verdict/4 的终态仅来自测量,未验证时自报 PASS 仍是 UNVERIFIED。reward v0.7 取消 claim 缺失或文字不一致扣分;内容质量由语义审核判定。

可先独立审核再导出,也可用 bench export --run RUN --review 或 python -m export.to_agentrl --runs RUN --review 在脚本筛选后执行一次审核。必须显式开启并配置 reviewer 环境;生产环境提供现有共享 quota broker 的 scoped URL/key,不绕过账户配额。默认导出不调用模型,--review 不固化到后续自动刷新过滤参数。已通过审核后沿用原 materialize / publication 入口,它们再次检查绑定和现有 annotations。未审、UNKNOWN、FAIL 或变更后的源文件都不能进入成功 SFT。旧来源保留,升级判据仅记录在新导出产物,不改历史 verdict。测试中的 synthetic-test-reviewer 仅为隔离回归 fixture,不能作为真实模型审核校准结论。

实际校准边界(2026-09-22)

v1 对真实 ResNet18 历史轨迹误收:虽然 Top-1 75→75 达标,但 Top-5 93→92,且 G1 是编译检查,最终回复仍称“无精度损失”及 G1/G3“均在实际板端测量中通过”。误收原始证据保留,未写入旧 rollout 审核回执或发布。

v2 前置原始终答、权威主/辅助指标与来源,但额外强制逐项 claims 引用。真实负例因 4096 输出预算耗尽 UNKNOWN;真实 SDK 诊断正例被模型判 PASS,但其支持性引用改写了 Markdown/原句,被程序判 UNKNOWN。v3 因此删除正例逐句引用要求,恢复简洁的 decision/reason/issues;保留短的逐字问题引用、完整上下文和来源/无损性边界,固定预算 8192 tokens / 120 秒。

v3 最初被共享 quota 的另一执行未知状态阻塞,本条 attempts=0,旧 scope 已取消、报告保留。操作员显式授权在原生配额恢复后使用新 scope/new generation;先核实同一封存 binding 未变且原请求不可能迟到,再执行该样本在 v3 的首次实际上游审核。这不是重试正式 UNKNOWN 回执,也没有改变规则号。

最终 v3 两例均只调用一次:真实 ResNet18 负例判 FAIL,准确引用“G3 通过,无精度损失”和“所需门 G1 + G3 均在实际板端测量中通过”,对应 Top-5 93→92 与 G1 非板测;真实 SDK read→final 诊断正例判 PASS,正确限定合成输入非板端测试。分别使用 72018 / 4340 reported tokens。此前 v1/v2 失败成本计入,全部校准 5 次真实上游请求共 228735 reported tokens,金额未知。

这只完成最小正反例校准,不证明零污染,也没有验证真实板端成功正例的召回率。SDK 诊断正例不能冒充板端成功 SFT 样本。校准未改旧会话、verdict、annotations 或发布指针;未重新执行候选模型推理、编译或上板。正式导出仍要走一次回执绑定和发布复检,未审/UNKNOWN/FAIL 不入成功集。原始输入、响应及 quota 回执见实施报告的 c-real-*-live* 证据目录。