54 KiB
开发进度
2026-10-12。项目 /Users/amos/project/embedded-rollout;36 活跃副本为本地盘 /home/ming01.wang/embedded-rollout(代码、新 runs 与 artifacts),JuiceFS /mnt/data/ming01.wang/embedded-rollout 只保留历史证据与私有凭据。Git 按功能分批提交;2026-10-13 起按用户指定推送到 origin 的 main,此前提交仅在本地。
本地提交依赖顺序:设计合同与计划 → 首题和隔离执行器 → Pi/模型代理与 controller → 轨迹封存 → 验收和交接记录。只纳入源码、任务校准样例、测试与文档,凭据、原始轨迹和归档文件保持 Git 忽略。
范围与本次步骤
只建设 rollout 系统,持续获取真实 Agent 轨迹、独立评分、质检与持久归档;不实现模型训练、权重更新、SFT 或在线 RL。历史远期讨论留在聊天索引,不作为本项目需求。用户已授权使用 36、CCR、GLM-5.3 和 Salty,费用与模型轮数暂不设上限;执行超时用于防挂死。
本次 M0 接入 Pi 0.73.1/GLM-5.3,冻结镜像后先跑完整 Docker 正负例校准,再完成真实模型/工具闭环、独立 grade、证据对账和资源清理。涉及 agent/、rollout/core.py、model_proxy.py、pi_run.py 与行为回归。
归档步骤先写 artifacts.md 合同,再实现 rollout.archive 与必要边界测试:只封存正常完成、证据 VERIFIED 的 PASS/FAIL,不递归打包 grader、参考解、凭据或工作区,输出不覆盖。最终仅在 personal:/embedded-rollout 保留稳定轨迹归档,临时探针核对后删除。
- 整理项目 16 个相关聊天、46 个回合,创建方案和基础设施清单。
- 创建独立项目、AGENTS.md、agent.md 和逐步开发合同。
- frame-decoder 任务、87 项行为验收与 gold/template/noop/cheat 校准。
- 36 Docker、CCR 镜像登录/构建/push,私有 host 模型代理与固定 Pi adapter。
- Salty 本人授权、VPC 固定镜像拉取/执行及唯一个人目录读写,三个测试作业/文件已删除。
- 第一版正式 Docker 20 次校准 PASS,镜像内 5 项真实 Pi SDK 检查 PASS。
- 修复真实流式轨迹中的累计快照重复,写前限制 16 MiB;新镜像重新完成 20 次校准。
- 首条完整真实 GLM/Pi 轨迹、独立评分、证据对账及 Salty 归档验收。
已核对的检查
python3 -m unittest discover -s tests -v:41 项通过。Docker 控制分支部分为 mock;本地没有 node_modules,wrapper 中真实 SDK 检查跳过。新镜像在 36 内执行 node --test /opt/embedded-rollout/tests/test_pi_adapter.mjs:9 项通过,0 跳过,才计 SDK 实测。
36 正式 Docker 校准:四类样例各五次,gold 每次通过 87 项行为检查,template/noop/cheat 均按预期失败,所有容器 cleanup confirmed。修复两个独立根因:chmod 在 chown 前完成;tmpfs 明确 exec/nosuid/nodev。新 adapter 镜像重新完成 20 次校准,不沿用旧镜像的 PASS。
首次 GLM/Pi 会话已经完成多轮 HTTP 200 和真实工具操作;Pi 流式 message_update 重复携带累计 message/partial,约五分钟 stdout 超过 235 MB。root 精确中断本次 controller,实际回执 UNVERIFIED、cleanup confirmed,不计合格轨迹。根因、终态和清理记录见 runtime-failures.json。修复保留增量事件与完整 message_end/request/session entries,写前限额并主动中止超限会话。
Salty 0.2.3 已登录,使用 0 GPU CPU 探针验证基础镜像 TLS 和新 runtime 的 Node v22.23.3/Pi 0.73.1。三个作业 succeeded;删除精确作业与文件后,目录 listing 为空。describe 在任务结束后返回 partial 诊断和 exit 1,不误记为作业失败。基础设施回执见 infra-receipt.json。
本次真实结果与清理
修复后的真实 Pi/GLM-5.3 会话:8 轮模型请求、10 个工具反馈全部进入后续输入,原生对账 VERIFIED;最终候选独立 87 项检查 PASS,Agent 正常退出,容器/proxy/network cleanup confirmed。native 1214876 字节;完整事实见 rollout-receipt.json 与 只读验收。
归档 [artifacts/rollout-20261012-dae6bc17.tar.gz](../artifacts/rollout-20261012-dae6bc17.tar.gz) 为 239832 字节,16 个原件和 manifest。Salty 唯一目录仅该文件,上传后下载核对 SHA-256 完全一致;临时下载删除。首次异常轨迹、旧校准、三个旧本地镜像别名、候选工作区与私有 grader 副本已清理;现场复核 24 个本次容器为 0 残留、网络不存在。必要原始日志/冻结候选/回执留在 36 作为产品证据。
清理例外:CCR 初版试验镜像的精确 digest 删除被拒绝,HTTP 401,远端旧版本仍保留,本地别名已删除;其控制台/API删除需要管理权限。没有删除整个共享仓库或公共 blobs。最终稳定版本使用 trace2 的固定 digest,旧版不再用于采集。
本次架构说明与任务标准
2026-10-12:补充用户要求的机器部署图、Salty 执行选择、镜像/轨迹位置、任务创建标准与参考模板。负责文件为 docs/deployment.md、两份 docs/diagrams/*.svg、docs/task-authoring.md、docs/templates/task-spec.md,并更新 README 与架构文档入口。只制作和核对文档,不修改运行合同,不新增任务或作业。
验收:当前与建议部署分开标注;镜像及轨迹地址与原始回执一致;作者模板明确当前 v1 仅支持 decoder.c;给出任务准入、正负例校准和有假设的工时估算;核对本地/36 原件及 Salty 唯一目录,执行文档一致性和只读审阅。本次不重跑模型,不写入 Salty,不 push。
已完成:SSH 只读确认 36 镜像的 RepoDigests、controller/native/候选及封存文件仍存在,本地与 36 归档 SHA-256 一致。Salty CLI 0.2.3 列表仅有 239832 字节的稳定归档;现行官方操作说明与 run 帮助核对完成。两张 Mermaid 图用临时 renderer 导出 SVG,解析与目视检查通过,下载依赖/浏览器临时目录及两份预览 PNG 已清理,只保留文档 SVG。模板示例经真实 load_task 接受,临时复制自动清理;相对链接、围栏、身份一致性和 diff 空白检查通过。
只读审阅无阻断问题;已补跨机器 HTTPS/域名需要升级 Pi URL 合同、Salty 历史答案可见性,以及旧里程碑时段链接新工时拆估。同步修正验收文档中已过时的“无提交”措辞。本轮没有执行器行为变化,未重复运行模型、Docker 校准或单元测试;新增文档与 SVG 仅在 Mac 工作区,未 commit、未同步 36、未 push。
已知边界与下一步
用户已提供 UltraData-RL-2609 作为格式参考。本轮新增五字段任务 JSONL 与冻结 ground truth,接入每次归档;保留 argv 与退出码的明确扩展,不改历史任务/verifier 身份。涉及 rollout/export.py、tasks/frame-decoder/dataset.json、归档和必要测试,合同见 data-format.md。首题仅归类 SMOKE_ONLY;后续主采集池须先做目标模型的重复难度测量,不以一次成功推断稳定成功率或训练收益。
本次模型试跑已完成:用户指定 Qwen qwen3.8-27b-nvfp4 的 Responses 服务。固定上游与模型身份,Pi 复用已有 Responses adapter,host broker 要求唯一 completed 终态;默认 GLM 接入保留。新镜像完整 20 次 Docker 校准后,真实 frame-decoder 会话 7 次模型请求、6 个工具反馈,候选独立 87 项 PASS,原生证据 VERIFIED,Agent 正常退出及容器/proxy/network cleanup confirmed。总耗时 339.790 秒含校准,不是纯模型延迟;用量 42442 tokens 为 SDK 字段求和,费用未知。完整事实见 qwen-trial-receipt.json。
首次新镜像校准有一次 gold 超时,记录为 INFRA_ERROR,未启动模型;不降低原任务期限,重新完整校准才准入。原始 verifier 对可信 gold 的 87 次输入/stdout/退出码与 dataset.json 全量逐项交叉核对通过;Qwen 候选不参与参考目标生成。新导出器保持五字段任务行,原生轨迹单独封存,历史 task/verifier 摘要不变。
新增代码的本地受影响面 30 项通过;36 最终全量回归 57 项运行,56 项通过、1 项因 host 无 Node 跳过,exit 0 / 19.838 秒;新镜像真实 Pi SDK 11 项通过、0 跳过。曾出现原 C 编译检查超时,完整重跑通过;首次立即读取归档报 empty file,随后独立三次重开及跨机器校验通过。两项暂时异常根因未知,保留事实,不修改编译/任务期限,不据文件系统类型推断原因。
独立任务导出为 artifacts/frame-decoder.jsonl,一条记录、87 个验收用例;新 Qwen 归档为 artifacts/rollout-20261012-qwen-655f8f99.tar.gz,194636 字节、17 个证据文件与 manifest。全部文件摘要通过,Salty 同一目录上传后下载 SHA-256 一致,临时下载删除;原 GLM 封存文件不改写。难度与用量保存在旁路回执,五字段本身不加入模型轨迹或质量标签。
清理核对在初次失败校准中发现一个未启动、state=created 的容器,原 timeout 事件写的 cleanup confirmed 不能成立。已按唯一名称/ID/镜像精确删除;两次校准、成功 Agent/grade 与 SDK 临时容器共 43 个名称核对 0 残留,专属网络不存在。首次失败校准、成功候选工作区/grader 副本、20 个校准样例目录、试验镜像及两端 Qwen 临时凭据已删除,原 GLM 稳定镜像/凭据保留。回执保留这次确认被后续现场证据推翻的事实,不改写成从未出错。
最小修复:Docker CLI 超时、中断或负返回码时,容器/网络创建请求可能仍在 daemon 内处理,瞬时不存在不计 cleanup confirmed;父 controller 传播自动校准的 unknown。新增三条必要回归,受影响 core/controller/archive 共 28 项通过,最终全量结果见上段;独立审阅无阻断。没有修改原任务、评分器、期限或已封存的成功轨迹,没有新增模型调用。回归模拟生命周期分支,不宣称能取消在途 daemon 请求;unknown 后仍须按唯一名称核对资源。
本轮新增代码和文档保留为本地工作区修改;未配置 Git remote、未 push,也未启动训练。先前五批本地提交保持不变。
当前只有一条软件任务;整个系统尚未完成二十题试点与扩量。下一步恢复 Bos-qiao 任务/runtime 快照,按来源和根因族逐题校准,至少两个任务族,再建立批次质量、用量和失败统计。失败但完整的真实尝试也应保留。
真实执行与独立无网评分先用 36 Docker。Salty 已验证镜像和持久盘,正式 Agent 后端的安全模型通道、候选交接、隔离与取消仍需单独验收;不假定 Secret、嵌套 Docker 或 grader 无网能力。隐藏测试不能放到 Agent 可读个人盘。
16 MiB 原生轨迹限额不等于整个工作区磁盘配额;当前仍只适合受控镜像与固定 Pi adapter,扩量前提供容量受限 volume。费用未知时记未知,不把 Pi SDK 的占位价格记为实际零费用。回执 NOT_TRAIN_READY 为兼容字段,本项目没有训练准入或转换流程。
P0 修复:Agent 断外网与评分超时
2026-10-12。只读审阅发现两项直接影响数据正确性的问题,本步只修这两项,不改用例、ground truth 或其他合同。
- Agent 网络:controller 专用网络原为普通 bridge,Agent 可直连外网,可下载上游修复而污染轨迹。现以
--internal创建;core.run只接受Internal=true的--agent-network,未指定时 Agent 使用--network none;删除未使用的host.docker.internal映射。 - 评分超时:verifier 单例 1 秒、整次 grade 15 秒,主机繁忙时正确解会被判 FAIL;本地全量回归复现 1 次,此前回归与校准各有 1 次超时。改为单例 5 秒、编译 30 秒、隔离探针 10 秒、
timeout_seconds=60,task version 升为 2。87 个用例不变,dataset.json只重绑两个身份摘要。
本地全量单元测试通过:工作区 58 项,提交快照 42 项;逐项回退三处修复,新增断言均失败。未在 36 Docker 实测。旧校准与旧 controller 因任务摘要变化,不能用于新 run 或重新封存;已封存归档不受影响。上线前在 36 确认 internal 网络下代理 gateway 可达、外网不可达,再用新任务完整 20 次 Docker 校准。
P0 现场验收与多文件任务合同
2026-10-12 续。上一会话的 P0 提交此前未在 36 实测;本步完成验收,并把任务合同从单个 decoder.c 扩展到多文件,作为导入 Bos-qiao 任务的前提。
- 同步:36 副本先与 Mac 逐文件比对,确认与 P0 前工作区一致后才同步。36 的
/mnt/data(JuiceFS)出现数分钟级 FUSE 停顿:全量单测启动卡约 5 分钟(测试本身 17.5 秒),同一校准在 JuiceFS 上耗时十余分钟。按方案“执行账本放本地盘”,活跃代码与新 runs 改放本地 ext4/home/ming01.wang/embedded-rollout;JuiceFS 上的历史证据与凭据文件原地不动。 - 网络探针:
--internal网络中,正式镜像容器可访问 gateway 上的 host 监听,访问 1.1.1.1:443、114.114.114.114:53、Qwen 上游及 DNS 均失败;探针网络和容器删除后复核为 0。 - 校准:新任务 v2 在本地盘 20 次 Docker 校准 PASS,11 秒,cleanup confirmed(
runs/calibration-6982aa90…);JuiceFS 上同代码另一次校准也 PASS(calibration-5c1d4f56…),只是更慢。 - 真实采集:Pi/GLM-5.3 9 轮模型请求全部经 internal 网络代理,原生证据 VERIFIED,独立 87 项 PASS,Agent 正常退出,网络/代理/容器 cleanup confirmed,3 分 05 秒(
runs/pi-a26466b2…)。用新 archive 复核封存为artifacts/rollout-20261012-glm-a26466b2.tar.gz,420117 字节,17 个证据文件加 manifest,SHA-2560b963b0e…c754;尚未上传 Salty。 - 合同扩展(先改 architecture/agent,再实现):
candidate_files1–16 个文件;template 全部文件进入工作区;fixtures可声明多个 cheat 与合法替代解,校准按 5×样例数;grader_files私有附件 0600 进/grader;无dataset.json的任务导出call_type=verifier。frame-decoder 的 task 摘要、旧 20 次校准回执与导出 query 均保持不变(测试固定)。 - 同步清理审阅提出的 P1/P2:模型改为
MODELS表,上游与 Responses 检查按表取;core._read统一 O_NOFOLLOW 有界读取,替代 archive/pi_run/native trace 各自实现;core._create合并两处独占写;core._sigterm合并两处信号处理;删除未用的validate_task与phase="evidence";校准 cleanup 状态改为每次试验后汇总一次。
检查:Mac 全量 61 项通过;36 本地盘 61 项通过、1 项因 host 无 Node 跳过。逐项回退 6 处新逻辑,相应测试均失败。凭据文件只以路径交给 controller,未读取内容。
下一步:从 Bos-qiao envs/S500_* 选 C/Python 标准库任务,写薄导入器(解析 heredoc 样例而不执行脚本,包装原 check.py/tests.py 为受保护 verify.py),在 36 正式镜像逐题 Docker 校准准入,再批量真实采集并出批次报告。
Bos-qiao 导入、首批失败与 trace3 修复
2026-10-12 续。目标:恢复 Bos-qiao 成熟任务,完成 M1 的 20 题准入,并用批量真实采集测量难度。负责文件:rollout/bos_import.py、rollout/bos_verify.py、rollout/report.py、rollout/regrade.py、agent/pi.mjs 与 tasks/S500_*。
- 盘点:只读拷贝 36 上 182 道 direct 候选。check.py 递归收集全部
*.py的 rglob 型 81 道暂不导入(合同只冻结声明文件,照搬会误判合法拆分);ROS2 5 道缺 Jazzy 镜像;其余 91 道“只评声明文件”的非 ROS 任务可导入。 - 导入器:样例脚本只解析不执行(带引号 heredoc、字面量
Path().write_text、工厂固定 files 循环),与 bash 实际执行逐字节对比 0 差异;cheat_exit_zero→noop,其余 cheat 与valid_*保留为额外样例;统一 verify.py 以 UID 65534 原样运行原 check.py。 - 选题:3 个任务族共 20 道(linux-device-abi 7、firmware-image-boot 7、motor-sensor-control 6;C 5 道、Python 15 道)。方案建议的 ROS2/构建配比因镜像缺失按“恢复盘点后调整”改为上述三族。
- 校准:首次 20 道全部 INFRA_ERROR——包装器先 chown 再 chmod,评分容器的 root 无 CAP_FOWNER;目录改名
runs/pilot-calibration-chown-bug保留。修正顺序并加回归测试(回退顺序即失败),重导入后 20/20 PASS、785 次试验、cleanup confirmed。 - 首批采集(
runs/batch-20261012-pilot,旧镜像 trace2):前 4 条 GLM 第三轮输出 32000 token 全用于思考,以length终止、未做任何编辑,Pi 退出 1;且 hostagent.stdout在 107 KB 长行处只写入 65537 字节,与 native 不一致,证据 UNVERIFIED。确认为配置/adapter 故障后按 PID 终止批次:8 个 controller(4 FAIL/UNVERIFIED、4 中断 INFRA_ERROR),中断的 4 条按合同记 cleanup unknown,现场按名称复核 0 容器、0 网络;全部不计合格轨迹。与 Bos 历史“修改前输出预算耗尽”(233/242)为同一现象,不作为能力基线。 - 修复(先改 agent.md 合同):
writeAll处理非阻塞 stdout 部分写入与 EAGAIN;streamFn 显式传maxTokens=131072(Pi SDK 默认截到 32000;经本项目代理实测上游接受 131072/98304/65536)。以 trace2 digest 加新pi.mjs构建 trace3:bench-runtime@sha256:7e3f4e3b…06f1,已推送 CCR;镜像内 Pi SDK 12/12 通过、0 跳过;21 道任务用 trace3 重新校准全部 PASS(2 分 51 秒)。 - 单条验证(
runs/trace3-smoke,S500_n2_153):18 轮请求,最长一轮输出 51719 token,stdout 与 native 逐字节一致,证据 VERIFIED,独立评分 PASS,cleanup confirmed,1487 秒。单条耗时约 25 分钟,批次改为每题 2 次、4 路并发、--agent-timeout 3600(仅防挂死)。 - 归档:
rollout-20261012-glm-a26466b2.tar.gz(P0,420117 字节)与rollout-20261012-trace3-S500_n2_153-434a4855….tar.gz(多文件任务首份,18 个证据文件、call_type=verifier,5451049 字节)上传 Salty 后下载核对 SHA-256 一致,临时下载已删除。
检查:Mac 全量 Python 测试与 Node 7 项通过(SDK 5 项本地跳过、镜像内全部通过);新增导入器、判据包装、报告、重判及 writeAll 的变异检查均能捕获回退。
- trace3 批次(
runs/batch-20261012-trace3):完成 2 条——S500_n2_155 PASS/VERIFIED(15.2 MB 轨迹),S500_n2_112 撞 16 MiB 原生轨迹上限(TRACE_LIMIT_EXCEEDED,主动中止、UNVERIFIED,stdout 与 native 逐字节一致);运行中轨迹已达 9–11.5 MB,单条验证那条也仅差约 17 万字节到上限。体积来自每 token 约 110 字节的增量事件与每轮完整 context(随轮数平方增长),二者都是因果核对证据,不删减。按 PID 停止批次,其余 4 条中断记 INFRA_ERROR/cleanup unknown,现场复核 0 容器、0 网络,均不计合格。 - 上限调整(先改 agent.md):adapter 与 host 的
MAX_TRACE_BYTES同步改为 64 MiB,Node 超限测试按上限比例构造数据。trace4 = trace2 digest 加新pi.mjs:bench-runtime@sha256:1e195a49f79fb8c68410f689dd2e627d0df63d62cd4de0000ba57bd1daa78e9a,已推送 CCR,镜像内 12/12 通过;21 道任务 trace4 重新校准全部 PASS。trace4 批次runs/batch-20261012-trace4于 15:05 UTC 启动:20 题 × 2 次,4 路并发,--agent-timeout 3600。 - trace4 批次结果(详见 acceptance.md 的 M1 试点):45 次尝试、40 条完整轨迹(每题 2 条),33 PASS、7 FAIL;40/40 独立重判一致;5 条排除均为上游 500/429 或 JuiceFS 读凭据故障,部署代理重试与状态归类后补采全部完整(其中 2 条由重试救回)。40 份归档与报告打包
batch-20261012-trace4.tar上传 Salty 并下载核对一致。清理:0 容器、0 网络;Mac 解包目录与 36 打包副本、trace3 本地镜像标签已删除;失败与停止批次的回执、max_tokens 探针日志作为排除与决策证据保留。
当前状态与下一步
M1(20 题准入、完整尝试、正负例与重判)已有实际证据;M2/M3 仍需持续采集与扩量。按优先级:
- 把
.private/access.json从 JuiceFS 移到 36 本地盘的私有目录(0700/0600),需用户操作;本次 1 条采集因 JuiceFS 读凭据 EIO 失败。 - 对 1/2 与 0/2 的 6 道题增加采样(建议每题 ≥5 次)并复核 FAIL 根因,区分能力缺口与题面/判据问题,再决定主采集池;2/2 的 14 道题转为回归。
- 扩量前确认 36
/home容量(本次结束剩 51 GB,96%),或换到项目专属 volume。 - 候选通配合同(rglob 型 Bos 任务约 57 道可导入)与 ROS2 Jazzy runtime,按需要逐项准入。
- Salty 正式 Agent 后端仍待平台的 Secret/无网能力确认;当前采集与评分继续在 36 Docker。
2026-10-13 新版 Qwen 服务复跑(完成,副产物已删除)
用户指定 qwen3.8-27b-nvfp4 与 http://114.111.18.115:18080/v1/responses 的新版服务,并要求核验后删除本次副产物。本次只用 36 本地盘的唯一私有临时目录,复用现有 pi_run 与 trace4;33 份运行代码和任务文件先与 Mac 逐文件 SHA-256 核对一致。未向 Agent 提供密钥、隐藏判据或参考解。服务探针:max_output_tokens=512 和 65536 均 HTTP 200/completed、回答 2,分别 1.45/1.62 秒;接受参数只证明接口兼容,不证明能生成该上限长度。
| 尝试 | 正式结果 | 证据 | 模型请求 / 工具反馈 | Agent 与评分耗时 | SDK token 合计 |
|---|---|---|---|---|---|
| frame-decoder,trace4 | PASS,87 项检查全过 | VERIFIED,正常退出 | 8 / 7 | 52.720 秒 | 42174 |
| S500_n3_152,原 8192 上限 | UNVERIFIED,评分 FAIL 不作为能力结果 | 第 3 轮 length / response.status=incomplete,退出 1 | 3 / 3 | 100.901 秒 | 15825 |
| S500_n3_152,65536 上限补跑 | FAIL,正常完整结束 | VERIFIED,正常退出 | 46 / 46 | 1229.447 秒 | 2730870 |
准入:frame-decoder 完整 20 次正负例校准通过;evdev 原镜像与补跑镜像分别完整 40 次通过。evdev 首轮第 3 次回复的 8192 token 全用于思考,未动手就被截断。确认新服务接受 65536 后,仅在私有临时目录构建 trace4 的派生镜像(image ID sha256:1ccd46e537578ea1423320e2f3ea85d861ce5e4eb0eb80c4d646305a663740a4),将 Qwen maxTokens 从 8192 改为 65536;原题和判据保持原身份,重校准后补跑。首个长推理轮输出 25850 token 才开始后续工具操作。此配置调整只用于本次试跑,派生镜像已删除,仓库运行源码未修改。
补跑 46 次上游请求均 HTTP 200,无代理重试;原生工具反馈全部进入后续输入。SDK 合计含 122176 input、73238 output、2535456 cacheRead,费用未知。frame-decoder 和 evdev 的冻结提交均在新无网容器独立重判,分别 PASS/FAIL,与原判 2/2 一致,清理 confirmed。
失败诊断:只在私有任务副本中将 check.py 的失败消息改为携带子进程 stderr 尾部;测试、通过条件和候选不变,在相同镜像、无网/降权评分边界下执行。首个实际失败为 AttributeError: module 'evdev_frames' has no attribute 'process',位于隐藏 tests.py 对 process(request) 的调用。候选已通过此前的解码行为检查,随后缺此函数而失败;此处之后的 CLI 检查未被该诊断执行,不能据此声称它们全部通过。公开 README 只声明 EvdevDecoder 与 CLI,没有声明 process 及输入不得修改的约束;旧两条 GLM 候选也缺此接口。因此正式 FAIL 如实记录,但 GLM/Qwen 在该原题的 FAIL 不能直接归因为能力不足。下一次公平复测应先公开补充 process 合同,以新任务摘要重新校准和采样,不改写原题历史。
清理:结果核验后分阶段删除首轮运行目录,再删除补跑、重判、诊断任务副本、全部原生/代理日志、候选与校准文件、临时脚本、0600 凭据和派生镜像。按本次 events.jsonl 的 event=container_requested 收集并精确复核 109 个容器名、3 个专属网络,最终均 0 残留、0 活跃 runner,临时目录已不存在;稳定 trace4 镜像仍在,历史数据和其他项目资源未改。凭据外泄扫描通过。本次只在本节保留事实摘要,不新增归档或 Salty 上传;原始产物已按用户要求删除,无法再从本次原件重放。总墙钟耗时含探针/构建/校准/诊断/清理约 27.8 分钟。
证据核验时的摘要:frame native 244dd5a82425c55581e9d7a5f58b273c2555ed7747fd147a49e626161b26cc77;evdev 补跑 native 072675245a1927bd6d03e26af66c3fb7e9199af4b4287e4d1311346906158ff5、冻结单文件 SHA-256 3e8f57a941ff77300f44d5150be6197624e61f238321f197c2844772dbc50ae5。本次只有两题,未重跑整个 20 题池,不能据此估计模型整体成功率。
2026-10-13 Qwen 全题基线(完成,副产物已删除)
用户选定每题 1 次、共 20 次初筛,模型为指定新版服务的 qwen3.8-27b-nvfp4。正式串行批次于北京时间 12:10–16:32 完成:18 PASS、2 FAIL,单次全题通过率 90%。20/20 均正常完整结束、证据 VERIFIED、冻结候选在无网容器独立重判一致;正式批次没有预算耗尽、基础设施排除或补采。677 次模型请求全部 HTTP 200、代理重试 0 次。此指标衡量当前模型部署、Pi 工具和预算下的完整 Agent 作答,不是单个 API 回复或稳定的单题通过概率。
| 任务族 | 通过 / 总数 |
|---|---|
| motor-sensor-control | 4 / 6 |
| firmware-image-boot | 7 / 7 |
| linux-device-abi | 7 / 7 |
| 题目 | 内容 | 结果 | 分钟 | 模型请求 / 工具反馈 | 累计 output token |
|---|---|---|---|---|---|
| S500_n2_112 | 互补 PWM 死区 | PASS | 12.1 | 26 / 25 | 65134 |
| S500_n2_153 | Clarke/Park 及逆变换 | FAIL | 6.8 | 26 / 26 | 37839 |
| S500_n2_154 | CAN 整数位时序 | FAIL | 17.7 | 32 / 32 | 51739 |
| S500_n2_155 | NTC ADC 测温 | PASS | 6.3 | 20 / 22 | 35052 |
| S500_n2_157 | SVPWM 占空比 | PASS | 11.9 | 27 / 28 | 64627 |
| S500_n2_158 | SSI 编码器帧 | PASS | 7.8 | 37 / 36 | 38696 |
| S500_n3_053 | A/B 启动槽 | PASS | 5.6 | 20 / 20 | 29669 |
| S500_n3_085 | 多成员压缩流 | PASS | 22.0 | 48 / 48 | 99955 |
| S500_n3_088 | MTD 坏块映射 | PASS | 12.4 | 25 / 27 | 67619 |
| S500_n3_102 | Linux RTC | PASS | 7.4 | 24 / 25 | 41194 |
| S500_n3_104 | spidev 全双工 | PASS | 12.8 | 24 / 25 | 70061 |
| S500_n3_108 | DMA-BUF CPU 访问 | PASS | 14.4 | 65 / 66 | 76768 |
| S500_n3_126 | GPIO v2 行请求 | PASS | 17.4 | 50 / 52 | 88769 |
| S500_n3_142 | U-Boot uImage | PASS | 13.6 | 28 / 29 | 44835 |
| S500_n3_144 | Linux watchdog | PASS | 8.9 | 18 / 18 | 47342 |
| S500_n3_152 | evdev 帧与丢包恢复 | PASS | 12.6 | 29 / 29 | 57796 |
| S500_n3_153 | FDT 二进制校验 | PASS | 17.5 | 28 / 29 | 93677 |
| S500_n3_154 | U-Boot 环境块 | PASS | 12.5 | 49 / 49 | 59606 |
| S500_n3_155 | I2C_RDWR 组合事务 | PASS | 23.8 | 68 / 71 | 93833 |
| S500_n3_157 | UBI EC/VID 校验 | PASS | 14.8 | 33 / 34 | 77092 |
正式作答累计 4.31 小时;每题中位数 12.55 分钟,范围 5.6–23.8 分钟。合计 677 次模型请求、691 次工具反馈;SDK input 1947519、output 1241303、cacheRead 34880160、totalTokens 38068982。output 是整段轨迹累计,不是单次回复长度;cacheRead 不能当作新增生成量,价格与实际费用未知。尚无更短且同样通过的对照,不能据耗时直接断言过程浪费或训练必然提效。
两条真实失败(诊断保持原测试与通过条件,仅增加消息细节,诊断 FAIL 与原判一致):
- S500_n2_153:
AssertionError case 30 mismatch,0-based 的公开精度场景;大数乘积约 1e12 强抵消后得到较小功率,公开合同要求按输入实数精确点积并满足绝对/相对 1e-8。测试同时检查变换量和功率,只能确认此精度场景失败,不能从首个失败消息确定候选具体错误字段或声称后续用例通过。 - S500_n2_154:
AssertionError case 76 mismatch,0-based;clock_khz=1.0是浮点类型,公开合同要求整数且类型错误抛ValueError。属于输入类型与异常契约场景失败,不能据此把 CAN 最优时序算法判为不会。
公平性与配置:已只读审阅全部 20 题公开接口及判据。此前 evdev 的私有测试要求 process(request) 和输入不可修改,但题面未公开;仅在本次私有副本补齐该合同,版本 2-public-process,重新计算摘要并校准,本轮 PASS(旧原题 FAIL 不作为能力缺口)。其余 19 题未发现明确必需功能漏项;SPI/I2C 的私有分配代理限制本轮没有引发失败。20/20 完整校准通过,共 785 次正负例检查;SDK 12/12、65536 wire 参数检查和 Mac 69 项 Python 测试通过,临时 runner 最终 16 行为检查通过;328 个源文件与远端 SHA 一致。
所有正式尝试使用同一临时派生镜像 sha256:0764fe2c0ad89c5a989f023b98313270ec5f4b912d3b4da4dac2b1c754164397,仅把稳定 trace4 的 Qwen 每次回复上限从 8192 改为 65536;单题 3600 秒、原生证据上限 64 MiB。采样参数未指定,使用服务默认值。仓库模型执行源码和原任务/历史结果未改写,隐藏判据、参考解和密钥不交给 Agent。
早期四路运行产生 5 条传输诊断(1 条流提前结束、4 条主动中断),全部排除,不能混入这轮 20 条能力基线。代理 300 秒是上游 socket 无字节等待限制;原日志未记异常类型,排队原因仅为时序推断。转串行后全题正常完成。用户选择初筛后取消额外四轮,已完成首题及正在作答的第二题被保留/接管,没有重新抽样挑结果。
采样与训练判断:不建议对这 20 题平均大量重复采样后直接微调。 18 题已证明在本配置下可解,更适合先作回归集;优先对两类公开要求失败构造新数值规模、抵消强度、输入类型与异常行为变体,并收集验证通过的正确解法。一次成功不等于稳定掌握,一次失败不等于始终不会;现有结果只支持定位潜在提升点,不能保证微调收益。效率训练需要较短且同样正确的示范;微调前后必须在未参与训练的变体上用相同预算比较通过率、输出量和耗时,而不只复测原题。
结果先保存到本节,再进行最终精确清理。六次自动目录删除遇到 root 所有的自测目录权限,前三次已现场修复;最终清理另修复 5 个权限路径,旧回执的 unknown/raw_deleted=false 是当时事实,不能改写成未出错。现场审计共 863 个本批容器名(包括权限修复容器)、25 个专属网络,最终 0 容器、0 网络、0 活跃本批进程;完整运行目录、全部候选/自测、轨迹/代理日志、785 次校准产物、临时任务/脚本/凭据和派生镜像均已删除。稳定 trace4 镜像、49 个原有容器及 5 个原有网络保持;3069 个文件扫描未发现两份 0600 凭据以外的 key 字节。Mac 临时 runner 目录和本轮生成的 Python 缓存也已清理。本次不新增归档、不上传 Salty、不保留轨迹供训练,仅在本节保留事实摘要;无法再从本次原件重放。
2026-10-13 本地查看真实轨迹
用户明确要求将真实轨迹保留在本地查看,以确认模型请求、工具调用与反馈确实被采集。本次使用本地既有封存包:早期 Qwen frame-decoder 和 trace4 二十题批次中的 GLM RTC 样例;核对归档及 manifest 摘要,展开原件,并生成注明原始行号的阅读副本。验收包括 host/native 一致、broker 请求摘要、工具反馈进入后续输入、完整终态和历史独立评分回执。仅保留用户要查看的两份样本及阅读文件。
完成:原归档已在 Mac 本地,不重复传输。展开到 artifacts/trace-preview-20261013-202420/,保留 Qwen frame-decoder 与 GLM RTC 两份原件、readable-trace.txt 和 inspection-checks.json,合计 38728096 字节。Qwen 与 trace4 批次归档 SHA-256 匹配历史记录;写入后逐文件核对 Qwen 17/17、RTC 20/20 摘要一致,host/native 一致,重新调用 evidence 均 VERIFIED。Qwen 7 请求、6 工具反馈、4584 事件,历史独立评分 87 项 PASS;RTC 27 请求、30 工具反馈、62492 事件,历史独立评分 PASS、批次重判一致。阅读版按原事件顺序保留完整助手消息、工具参数和结果,标注原始行号;重复上下文与逐 token 增量留在原始 JSONL。Codex 文件面板打开请求均返回 queued,聊天显示时打开;RTC 阅读版第 2422 行起可看编译错误、补头文件、复测的完整链。未重新运行模型或候选,未产生脚本、容器或网络;两份查看样本按用户新要求保留。其他并行工作的代码变更不属于本次操作。
2026-10-13 架构问题修复:模型参数、私有诊断与公开合同检查
审阅 GLM 二十题与 Qwen 基线后确认三处架构问题并逐一修复(先改 agent.md、architecture.md、task-authoring.md):
- 模型输出上限写死在镜像里:每次调整(GLM 32000→131072、Qwen 8192→65536)都要新镜像加 785 次重新校准,Qwen 基线所用临时镜像无法从仓库复现。现由
MODELS表给出max_tokens与线上字段,controller 以--model/--max-tokens传给 adapter,镜像内不留默认值;回执记录model_max_tokens与model_sampling=service-default,证据核对要求每个线上 payload 的上限等于回执值(可捕获 SDK 静默截到 32000 一类回退)。trace5 = trace2 digest 加新pi.mjs:bench-runtime@sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,已推送 CCR,镜像内 12/12 通过。此后调整上限只改MODELS,无需换镜像或重新校准。 - 准入查不出题面漏项:S500_n3_152 的隐藏测试调用 README 未公开的
process(request),GLM 的 0/2 与 Qwen 首轮 FAIL 都源于此,M1 报告已更正,不计能力信号。v2 在 README 公开该接口;bos_import对“隐藏判据使用、公开题面未提”的候选模块名直接拒绝,仓库测试对全部已准入任务重复检查(回退 evdev README 即失败)。只覆盖接口名,隐藏行为约束仍需评审。 - 评分信号过粗:
bos_verify仍原样运行原 check.py,失败子进程的 stderr 尾部抄到grade.stderr(可信侧,可能引用隐藏测试);批次报告fail_detail取其最后一行,没有时取评分 reason(如case 4 mismatch)。全部 Bos 任务更新判据包装并升为 version 2。
验收:Mac 72 项 Python 与 Node 7 项通过(SDK 5 项本地跳过、镜像内全部通过),36 上 72 项通过(1 项因 host 无 Node 跳过)。21 道任务用 trace5 完整校准 805 次全部符合预期,说明新包装不改变判定;evdev 初态在 Docker 中的 grade.stderr 带出 NotImplementedError 原文。真实 GLM 冒烟两条:frame-decoder PASS(11 次请求)、evdev v2 PASS(18 次请求,v1 上 GLM 为 0/2),均 VERIFIED;argv 实为 --model glm-5.3 --max-tokens 131072,全部 payload max_tokens=131072,清理 0 容器、0 网络。两份归档(3842204 与 375844 字节)上传 Salty 后下载核对一致,临时下载已删除。trace4 本地标签因并行会话可能使用而保留。
2026-10-13/14 Bos-qiao 原始数据核对与任务制作规范
用户要求确认 Bos-qiao 原始数据是否找全,并据此形成任务创建规范。只读核对 36,不写入任何源目录;全量扫描用 36 本地临时目录与低优先级进程,汇总后已删除。
- 原始存储为 BOS 桶
d-brain,本地副本Bos-qiao/d-brain/10,795 个文件、90 GB。9 月 1 日下载 10,794 个对象,其中 2 个“失败”是 0 字节目录占位;与 9 月 7 日清单(10,800 个对象)逐项比对,仅缺 3 个 1 KB 内的 rdstudio manifest。9 月 7 日之后的桶变化未实时核对(需凭据,未执行)。 - 只有
rdk-gateway/v2-spans(含 legacy,5/26 与 6/22–7/08)保存完整工具参数与结果:9,224 个文件、341,455 条 span、0 解析失败;2,408 个会话(168 个用户 ID),1,856 个有工具调用,263 个至少有 1 个文件在修改前被完整读取(215 个在板端device_*、48 个只在本地),每会话可回放文件中位 1、最多 8。flat-logs 的工具参数全部为空、内容只有预览;hermes 只有工具结果没有参数;rdstudio 只是对话摘要,均不能回放。此前recoverable_queries_v1用同一方法全量复核得到 18 条初态充分的 query,与本次结果相符;上一轮依据的派生sessions-spans-all只有 1,670 个会话,可回放数由 195 修正为 263。 - 另有不属于 Bos-qiao 的
/mnt/data/ming01.wang/data-litellm-1.0(2.2 TB LiteLLM 网关日志,8/18–10/08,自带统计 98.1 万段对话、25.3 万段带工具),抽样可见工具结果全文;未全量扫描,使用前需确认授权与脱敏。 - 安全:
Bos-qiao/download_bos.py明文写有 BOS AK/SK,list_bos.py/peek_bos.py以其为默认值,三个文件为-rw-rw-r--。本次未打印或使用该凭据,建议用户轮换并改为私有文件读取。
规范:将 task-authoring.md 改写为任务制作规范,合并 Bos-qiao 写题契约的判据准则、Terminal-Universe 回放规则与 M1 教训:四条来源路线(导入、回放、写题、工程问题)与各自产量,准入预筛(替身测试、不可判、缺材料、隐私、重复),初态/题面/判据/样例规则并标注机检、校准或评审,四道闸门,难度分池(同一配置 ≥5 次:全过进回归集、部分通过进主采集池、0 通过先复核题面)。规格模板 增加来源路线、来源 ID、隐私处理、替身测试、split 分组键、回放与补全清单、环境族和分池结论。未改代码与任务。
下一步:按规范导入 Bos direct 剩余 71 道候选(逐题记录拒绝原因),在 36 正式校准;路线 B 先取 48 个仅本地可回放会话中的 10 个试点,实测回放到准入的产出与人时。
2026-10-14 制题存储布局、镜像方式与 Codex 作业说明
用户问三件事:题目存哪(/home 不够)、镜像是否每题一个、如何让 Codex 按规范制题。
- 存储实测(36):
/home为 1.2 TB 多人共享盘,剩 150 GB(88%),本项目共占 3.6 GB(runs 1.9 GB、artifacts 289 MB、tasks 2.2 MB);Docker 在独立的/var/lib/docker盘(剩 128 GB);JuiceFS/mnt/data1 PB、剩 945 TB,挂载带allow_other。同日 JuiceFS 读一个小文件耗时 72 秒,逐题读取 Bos 目录 45 分钟只完成 16 题(已停止并删除临时目录)。结论:题目进 Git,制题与运行在本地盘工作副本,结束的批次台账、运行目录与归档迁入 JuiceFS/mnt/data/ming01.wang/embedded-rollout/{factory,runs,artifacts}。.gitignore增加factory/。 - 镜像:维持按环境族共用镜像、运行时挂载任务的现有设计(
core._docker只读根文件系统,挂载/workspace、/candidate、/grader);任务不能打进镜像,否则 Agent 可读到隐藏测试与 gold。 - 新增 task-factory-brief.md:给 Codex 的交付物、必读顺序、机器与访问、目录、镜像、数据地图、题库现状、路线 A 逐步命令与台账格式、路线 B/C 的启动条件、红线、已知坑与汇报格式;AGENTS.md 与 README 增加指向。36 已装 codex-cli 0.162.1,可匿名从 Gitea clone/pull——仓库含隐藏测试与 gold,建议用户确认其访问权限。
待用户确认的一次性迁移:36 现有 /home/ming01.wang/embedded-rollout 是 rsync 副本而非 Git 仓库,需改为 clone 自 Gitea,并把其中 M1 的 runs/、artifacts/ 迁入 JuiceFS;共享根目录下 2026-10-12 的旧代码副本待用户决定是否删除。迁移前需先把本次文档推送到 Gitea。
2026-10-14 磁盘保护:剩余空间下限与单次尝试上限
问题(用户侧聊指出,核对代码属实):Agent 容器的 /workspace、/trace 是输出盘上的可写挂载,控制端只用 communicate(timeout) 等待,写入量没有上限;Agent 还能经容器 1 号进程的 stdout 写进 host 的 agent.stdout,绕过 adapter 的 64 MiB 轨迹上限。36 /home 为多人共享盘,10-13 剩 51 GB、10-14 剩 150 GB,余量不能当安全边界。
实现(先改 architecture.md、agent.md):core._docker 启动任何容器前检查输出盘剩余,低于 50 GiB 不启动并记 termination=disk_low;core._process 改为每 2 秒轮询,Agent 容器运行中剩余低于 50 GiB 记 disk_low、本次 attempt 目录(st_blocks 统计,含工作区、trace、host stdout/stderr)超过 2 GiB 记 attempt_size,随即停止容器,处理同超时(容器清理 unknown、候选不冻结、回执 INFRA_ERROR)。评分容器只做启动前检查。测试新增 1 项(失控写文件被停止、剩余不足即停止、_docker 不启动且评分记 INFRA_ERROR),开发机剩余可能低于 50 GiB,测试内把下限置 0;删除大小判断后该测试失败。
验证:Mac 73 项通过;同步 rollout/core.py、tests/test_core.py 到 36(SHA-256 一致),36 73 项通过(1 项因无 Node 跳过)。36 实测(trace5):frame-decoder 完整校准 PASS;真实 Docker 失控写入(head -c 4MiB /dev/zero 循环,上限临时设 64 MiB)被停止,termination=attempt_size、回执 INFRA_ERROR,容器按名称复核已不存在,但停止前已写 2.09 GB——检查间隔内的写入仍会落盘,实际上限约为上限加 2 秒写入量,已写入 architecture.md;真实 Pi/GLM frame-decoder PASS,证据 VERIFIED(6 次请求)、Agent 正常退出、清理 confirmed。验证目录(2.0 GB,含 root 所有的写入文件)已删除,0 个 rollout- 容器、0 个专属网络,/home 剩 146 GB。Codex 说明补充阈值、余量不足即停下汇报(不得删除任何东西腾空间)与批次结束的磁盘汇报项。
2026-10-14 36 工作副本迁移
用户确认后执行。36 的 /home/ming01.wang/embedded-rollout 原为 rsync 副本,现改为从 Gitea clone 的 Git 工作副本(b5102e6),M1 运行记录迁入 JuiceFS。
- 迁移前确认没有运行中的 rollout 进程,新 clone 的
tasks/与旧副本逐文件一致(仅旧副本多一个__pycache__),rollout/、agent/、tests/相同;新副本测试 73 项通过(1 项因 host 无 Node 跳过),工作区干净。 - 旧副本的
runs/(31 项,1,905,560,892 字节)与artifacts/(5 项,302,338,726 字节)用 rsync 复制到/mnt/data/ming01.wang/embedded-rollout/{runs,artifacts},与已有的 M0 记录不重名;逐项核对文件数与总字节,36 项全部一致。另建空的factory/。 - 核对后删除旧副本。Agent 容器当时以 root 创建的 70 个路径普通用户删不掉,用 trace5 镜像起一个只挂载该旧目录、无网络、
--rm的容器删除,容器已不在;/home剩 143 GB。 - 共享根目录下 2026-10-12 的旧代码副本(根目录
AGENTS.md、rollout/、tasks/等)未动,待用户决定。
现在 Codex 可按 task-factory-brief.md 在 36 的工作副本中开工。另:本地连跑 9 次测试,1 次在高负载下报 1 个错误(未能捕获是哪项),其余 8 次全部通过,待再现时定位。
2026-10-14 制题批次 20261014-A-bos-direct(完成;2026-10-15 冷迁收尾)
按作业 A 逐题盘点、静态导入、校准、独立评审及首次真实试采。边界:只新增任务与文档,不执行来源 shell/工具脚本、不直接读取或复制凭据、不写来源、不改平台、不推送;controller 仅接收已授权私有文件路径。基线 HEAD 为 3525e76b9abfba411f8d4b143e2721afc4c53a8f,fast-forward 已确认最新。
盘点与准入:182 个候选,importable 93(含已有 20)、rglob 84、ROS2 5。73 次新导入尝试中 67 成功、6 被导入器拒绝;67 题可信本地与正式 Docker 校准均 PASS。独立内容评审最终保留 54 题,拒绝 13 题,当前 tasks 为既有 21 题加新增 54 题,共 75 题。每道成功导入题都填写 spec 第 1、4、7 节,其余沿用 Bos 原题;拒绝题包与规格保留在批次 rejected 目录,不进任务池。
- 导入器拒绝 6:公开接口名字检查 1、静态样例解析不支持条件/rglob 循环 3、chmod 权限语句 1、样例数量超过上限 1;保留原拒因,不执行脚本绕过或硬改来源。
- 内容评审拒绝 13:n3_068 的定向 cheat 是语法错误坏例;n2_016 的 gold/valid 精确 PSD 检查存在浮点下溢;另外 n2_014、038、047、049、087、088、095、102、111、115、135 未公开 solve 顶层 list/空批 [] 输出合同。后 11 题由试采暴露后对 65 题逐项专项复核发现;原评审备份与修正记录完整保留。
- BLOCKED 89:84 道 rglob 题需要候选通配、多文件冻结与评分合同;5 道 ROS2 题需要正式环境族及固定镜像准入。本批继续下一题,不扩平台。
最终五族:motor-sensor-control 30、linux-device-abi 10、firmware-image-boot 6、embedded-vision 4、robot-navigation 4;完整 ID 清单及全部拒绝/BLOCKED 原因见冷盘 review.md。n3_094 原单题 real-time-scheduling 族回并到 motor-sensor-control,family 改变产生新 digest ae01826d377ff5a219796f83593bdc146eb0d4e098a5289ac7b6b9e69fab930a,新身份重新本地和正式 Docker 校准 PASS;旧回执只作历史事实。可信本地与正式 Docker 各 2195 次样例运行(包括该重校准),每类样例正式各五次符合预期。
闸门 3:54 道合格题均作一次 GLM-5.3 / Pi 0.73.1 真实试采,50 PASS、4 FAIL;全部正常退出、host/native/broker 对账 VERIFIED、cleanup confirmed,冻结候选在新无网评分容器重判 54/54 一致。原始物理尝试共 58 条完整轨迹(52 PASS、6 FAIL),另 4 条来自后被拒绝的公开输出合同缺陷题,保留原 PASS/FAIL、证据与封存事实,在 quality-report 中明确排除,不伪改 INFRA_ERROR 或当作能力信号。58 条原始轨迹全部重判一致,并按 archive 白名单、manifest 逐成员字节数/摘要核对后封存。
有效 FAIL 为 n2_013(巨大整数转 float 溢出,未按公开契约 ValueError)、n2_070(精确方差正值下溢,误过零门限)、n2_071(精确实数行列式门限误用浮点阈值)、n2_084(接收超过公开局部范围的观测)。只读核对候选、公开合同和首个评分失败证据;不声称后续用例通过,不修改候选或向运行 Agent 注入答案。真实 FAIL 不否决任务,54 题 spec 最终状态 ADMITTED;本批未做闸门 4,不能据单次结果作难度分池。
配置与验证:固定 trace5 runtime/actual image sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,GLM-5.3 每次回复上限 131072,sampling=service-default,四路并发,每题 3600 秒防挂死。基线、导入后及最终保留题集单元测试均通过;最终运行 73 项,1 项因 host 无 Node 跳过,其余通过。最终独立只读审阅确认 54 个 digest 与 admission/raw/quality 一致,规格满足模板,13 拒题均不在 tasks,已有 21 题及 rollout/agent/tests 对 HEAD 无改动。 Git whitespace 检查 exit=2:导入原材料/样例的 315 处格式提示(文件尾空行及行尾空白);无 spec 或本节提示,保留冻结原字节,不因格式重写已校准任务。真实日志另存冷盘 git-whitespace-check。
证据目标目录:/mnt/data/ming01.wang/embedded-rollout/factory/20261014-A-bos-direct/(inventory/import/gates/calibration/reviews/admission、raw report、quality report、review/summary 与拒绝包);运行证据位于同根 runs/20261014-A-bos-direct{,-dev,-calibration}/;58 个封存包位于 artifacts/20261014-A-bos-direct/。迁移前 source/回执保持冻结,五个目标均由本批独占新建,不覆盖历史数据。
收尾完成:五个批次目录冷迁时共 19743 个普通文件、1108494513 字节,逐路径文件数/字节、空目录结构及链接均一致,完整窗口 source before/after/final 元数据未变,58 包摘要与字节数全部核对。先核对再删除本批热副本;迁移后五根实测缺失、占用 0 字节(Git 任务包保留),残留容器 0、网络 0、活跃作业 0,disk_low 0、attempt_size 0。/home 可用 154132492288 字节(约 143.55 GiB)。四个目录普通用户直接清理;真实运行目录的权限残留仅用挂载该单个目录的无网 trace5 容器清理,helper exit=0 且已不存在。原始回执与轨迹不改写;最终 review/summary 在 cold 更新,迁移前版本另存,后续派生元数据不计入复制时原始 payload 统计。
迁移历史:第一次顺序复制小文件较慢,为提速按本批专属 PID/进程组正常中止,保留原记录,改为 16 路独占子目录复制。恢复预检发现一个 rsync 遗留 0 字节临时文件,明确记 BLOCKED;核对本批拥有的路径、UID、普通文件属性与源前缀后,完整保存到 migration-quarantine 并记录空文件 SHA,再移除原临时路径恢复复制。首次中止和预检阻塞事实均保留,最终第二次完整迁移已通过;不是模型 INFRA_ERROR,未删历史数据或为腾空间清理。准备版辅助脚本也在验证 cold 留档摘要后清理。
本地提交范围为 54 道新任务目录及本节;只提交 main、不推送。下一步按来源或平台所需合同解除已列拒绝/BLOCKED 后,以新身份重新准入;闸门 4 仍为另批范围。
限制:Salty CLI/连接不可用,上传及下载摘要核对单列 BLOCKED,本地封存不冒充已上传。既有 Bos wrapper 的 checker/candidate 同 UID 临时限制按 spec 的 shortcut 记录,未声称任意恶意候选隔离已解决;本批不改平台。原回执绝对路径与字节不改写,冷迁后入口尚无路径重定位合同,直接重跑需恢复原路径或审定合同升级。后续先由来源/平台对应升级解除拒绝或 BLOCKED,再以新身份重校准/试采;难度分池另批处理。
2026-10-15 Bos 判分隔离修复与重新校准
问题:bos_verify 把临时根目录连同 grader 副本全部 lchown 给 UID 65534,check.py 与它启动的候选进程同为 65534,候选可经 /proc/<check>/cwd/grader/check.py 读到隐藏用例与 oracle。10-15 已在 36 用 trace5 复现(S500_n2_070 加“查答案”样例,正式校准 5/5 PASS),因此全部 74 道 Bos 题此前的 PASS 都排除不了作弊。
实现(先改 architecture.md):verify 以 root 运行原 check.py,grader 副本归 root、目录 0700,临时根目录 0711,只有 work/ 归 65534。包装器让 subprocess.Popen 一律带 user/group=65534, extra_groups=[],tempfile.mkdtemp 新建的目录改归 65534。check 进程装有 audit hook:执行来自候选或临时目录的代码、从中 import 或 dlopen,以及隔离模式下调用 os.system/exec/spawn/fork/posix_spawn 时,以退出码 86 结束,verify 记 UNVERIFIED。check.py 原文未改。
分类(逐份读 74 个 check.py):
- 可隔离 38 道:36 道 n2 RUNNER 型,候选子进程只从 stdin 收输入、回传结果,期望值在 check 进程复算比对;S500_a3_838b7704edd2 的探针只回传调用记录;S500_a3_92990efd63db 只比对候选数据,执行的是 SHA-256 锁定的原始类。
- BLOCKED 36 道:35 道 tests.py 型(a1 7 道、n3 28 道),check 把隐藏 tests.py 复制进临时目录,由同一子进程 import、ctypes 加载候选,或把候选与 oracle 编进同一程序;S500_a2_426889b9a968 的
_probe.py在候选进程内断言隐藏用例。UID 隔离对同进程无效,原先粗估约 7 道偏低。 - 用户确认按 BLOCKED 失败关闭:这 36 道带私有
isolation-blocked.txt,verify 直接返回 UNVERIFIED,校准不能 PASS,run/pi_run 拒绝;bos_import 遇到根目录有 check.py 以外的*.py时自动加此标记。task-authoring、task-factory-brief、README 同步改为“候选只能在子进程里运行、只拿输入”。
Git:经用户确认,36 未推送的 f1acc8c(54 道新题)fast-forward 到 Mac main 并推送;Mac 上另一会话未提交的 deployment.md、progress.md 改动原样保留。修复提交 de3755c:74 道 Bos 题换新 verify.py 并升 version(1→2、2→3),其中 36 道加标记。
验证:
- Mac:75 项测试通过(Docker 探针 1 项跳过)。38 道可隔离题可信本地校准 37 PASS;S500_n2_158 的 gold 用
int.bit_count(),Mac 的 Python 3.9 不支持,镜像内 3.10 正常,不是本次回归。本地运行中 guard 没有一次误判。 - 36(de3755c,工作区干净):75 项通过(Node 与 Docker 探针 2 项跳过)。
ROLLOUT_TEST_IMAGE=<trace5> python3 -m unittest tests.test_bos_isolation在 S500_n2_070 上加cheat_lookup样例走正式 Docker 校准:探针 5/5 FAIL,子进程 stderr 为grader unreadable,gold PASS,整体 PASS。对照:同一测试换回f1acc8c的包装器,探针 5/5 PASS、测试失败,说明测试能抓住回退。临时目录已删除。 - 74 题正式校准(trace5 digest,4 路并发):
runs/20261015-bos-isolation-calibration/,共 2530 次样例运行。38 道可隔离题 PASS,每类样例 5 次全部符合预期;36 道 BLOCKED 为 UNVERIFIED,原因均为isolation blocked。回执的 digest、version、image 与当前任务包一致,cleanup 全部 confirmed。结束后 0 个rollout-容器、0 个网络,/home剩 141 GB。运行目录 39 MB(8347 个文件)与日志 308 KB 暂留 36 本地盘,供下批 pi_run--calibration复用,批次结束后按 brief §4 迁冷盘。
限制:
- root 身份的 check 会跟随候选在共享临时目录里放的符号链接(代码内 shortcut)。
- guard 只看 Python 层审计事件:经 ctypes 直接调用 libc 的 fork、用
spec_from_file_location加载候选扩展模块都不在覆盖内。目前 38 道题都不在 check 进程里执行候选代码。 - 旧包装器下的历史 PASS(M1 与 20261014 批次轨迹)仍排除不了作弊;38 道可隔离题的冻结候选可用
rollout.regrade按新版本重判,尚未做。 - 36 道 BLOCKED 题须按 RUNNER 方式重写判据,升版本后重新准入。
下一步:重判 38 道题的历史 PASS 候选;另批重写 36 道 BLOCKED 题的判据。