31 KiB
开发进度
2026-10-12。项目 /Users/amos/project/embedded-rollout;36 活跃副本为本地盘 /home/ming01.wang/embedded-rollout(代码、新 runs 与 artifacts),JuiceFS /mnt/data/ming01.wang/embedded-rollout 只保留历史证据与私有凭据。Git 按功能分批本地提交,无 remote 或代码 push;本次提交仅在本地仓库完成。
本地提交依赖顺序:设计合同与计划 → 首题和隔离执行器 → Pi/模型代理与 controller → 轨迹封存 → 验收和交接记录。只纳入源码、任务校准样例、测试与文档,凭据、原始轨迹和归档文件保持 Git 忽略。
范围与本次步骤
只建设 rollout 系统,持续获取真实 Agent 轨迹、独立评分、质检与持久归档;不实现模型训练、权重更新、SFT 或在线 RL。历史远期讨论留在聊天索引,不作为本项目需求。用户已授权使用 36、CCR、GLM-5.3 和 Salty,费用与模型轮数暂不设上限;执行超时用于防挂死。
本次 M0 接入 Pi 0.73.1/GLM-5.3,冻结镜像后先跑完整 Docker 正负例校准,再完成真实模型/工具闭环、独立 grade、证据对账和资源清理。涉及 agent/、rollout/core.py、model_proxy.py、pi_run.py 与行为回归。
归档步骤先写 artifacts.md 合同,再实现 rollout.archive 与必要边界测试:只封存正常完成、证据 VERIFIED 的 PASS/FAIL,不递归打包 grader、参考解、凭据或工作区,输出不覆盖。最终仅在 personal:/embedded-rollout 保留稳定轨迹归档,临时探针核对后删除。
- 整理项目 16 个相关聊天、46 个回合,创建方案和基础设施清单。
- 创建独立项目、AGENTS.md、agent.md 和逐步开发合同。
- frame-decoder 任务、87 项行为验收与 gold/template/noop/cheat 校准。
- 36 Docker、CCR 镜像登录/构建/push,私有 host 模型代理与固定 Pi adapter。
- Salty 本人授权、VPC 固定镜像拉取/执行及唯一个人目录读写,三个测试作业/文件已删除。
- 第一版正式 Docker 20 次校准 PASS,镜像内 5 项真实 Pi SDK 检查 PASS。
- 修复真实流式轨迹中的累计快照重复,写前限制 16 MiB;新镜像重新完成 20 次校准。
- 首条完整真实 GLM/Pi 轨迹、独立评分、证据对账及 Salty 归档验收。
已核对的检查
python3 -m unittest discover -s tests -v:41 项通过。Docker 控制分支部分为 mock;本地没有 node_modules,wrapper 中真实 SDK 检查跳过。新镜像在 36 内执行 node --test /opt/embedded-rollout/tests/test_pi_adapter.mjs:9 项通过,0 跳过,才计 SDK 实测。
36 正式 Docker 校准:四类样例各五次,gold 每次通过 87 项行为检查,template/noop/cheat 均按预期失败,所有容器 cleanup confirmed。修复两个独立根因:chmod 在 chown 前完成;tmpfs 明确 exec/nosuid/nodev。新 adapter 镜像重新完成 20 次校准,不沿用旧镜像的 PASS。
首次 GLM/Pi 会话已经完成多轮 HTTP 200 和真实工具操作;Pi 流式 message_update 重复携带累计 message/partial,约五分钟 stdout 超过 235 MB。root 精确中断本次 controller,实际回执 UNVERIFIED、cleanup confirmed,不计合格轨迹。根因、终态和清理记录见 runtime-failures.json。修复保留增量事件与完整 message_end/request/session entries,写前限额并主动中止超限会话。
Salty 0.2.3 已登录,使用 0 GPU CPU 探针验证基础镜像 TLS 和新 runtime 的 Node v22.23.3/Pi 0.73.1。三个作业 succeeded;删除精确作业与文件后,目录 listing 为空。describe 在任务结束后返回 partial 诊断和 exit 1,不误记为作业失败。基础设施回执见 infra-receipt.json。
本次真实结果与清理
修复后的真实 Pi/GLM-5.3 会话:8 轮模型请求、10 个工具反馈全部进入后续输入,原生对账 VERIFIED;最终候选独立 87 项检查 PASS,Agent 正常退出,容器/proxy/network cleanup confirmed。native 1214876 字节;完整事实见 rollout-receipt.json 与 只读验收。
归档 [artifacts/rollout-20261012-dae6bc17.tar.gz](../artifacts/rollout-20261012-dae6bc17.tar.gz) 为 239832 字节,16 个原件和 manifest。Salty 唯一目录仅该文件,上传后下载核对 SHA-256 完全一致;临时下载删除。首次异常轨迹、旧校准、三个旧本地镜像别名、候选工作区与私有 grader 副本已清理;现场复核 24 个本次容器为 0 残留、网络不存在。必要原始日志/冻结候选/回执留在 36 作为产品证据。
清理例外:CCR 初版试验镜像的精确 digest 删除被拒绝,HTTP 401,远端旧版本仍保留,本地别名已删除;其控制台/API删除需要管理权限。没有删除整个共享仓库或公共 blobs。最终稳定版本使用 trace2 的固定 digest,旧版不再用于采集。
本次架构说明与任务标准
2026-10-12:补充用户要求的机器部署图、Salty 执行选择、镜像/轨迹位置、任务创建标准与参考模板。负责文件为 docs/deployment.md、两份 docs/diagrams/*.svg、docs/task-authoring.md、docs/templates/task-spec.md,并更新 README 与架构文档入口。只制作和核对文档,不修改运行合同,不新增任务或作业。
验收:当前与建议部署分开标注;镜像及轨迹地址与原始回执一致;作者模板明确当前 v1 仅支持 decoder.c;给出任务准入、正负例校准和有假设的工时估算;核对本地/36 原件及 Salty 唯一目录,执行文档一致性和只读审阅。本次不重跑模型,不写入 Salty,不 push。
已完成:SSH 只读确认 36 镜像的 RepoDigests、controller/native/候选及封存文件仍存在,本地与 36 归档 SHA-256 一致。Salty CLI 0.2.3 列表仅有 239832 字节的稳定归档;现行官方操作说明与 run 帮助核对完成。两张 Mermaid 图用临时 renderer 导出 SVG,解析与目视检查通过,下载依赖/浏览器临时目录及两份预览 PNG 已清理,只保留文档 SVG。模板示例经真实 load_task 接受,临时复制自动清理;相对链接、围栏、身份一致性和 diff 空白检查通过。
只读审阅无阻断问题;已补跨机器 HTTPS/域名需要升级 Pi URL 合同、Salty 历史答案可见性,以及旧里程碑时段链接新工时拆估。同步修正验收文档中已过时的“无提交”措辞。本轮没有执行器行为变化,未重复运行模型、Docker 校准或单元测试;新增文档与 SVG 仅在 Mac 工作区,未 commit、未同步 36、未 push。
已知边界与下一步
用户已提供 UltraData-RL-2609 作为格式参考。本轮新增五字段任务 JSONL 与冻结 ground truth,接入每次归档;保留 argv 与退出码的明确扩展,不改历史任务/verifier 身份。涉及 rollout/export.py、tasks/frame-decoder/dataset.json、归档和必要测试,合同见 data-format.md。首题仅归类 SMOKE_ONLY;后续主采集池须先做目标模型的重复难度测量,不以一次成功推断稳定成功率或训练收益。
本次模型试跑已完成:用户指定 Qwen qwen3.8-27b-nvfp4 的 Responses 服务。固定上游与模型身份,Pi 复用已有 Responses adapter,host broker 要求唯一 completed 终态;默认 GLM 接入保留。新镜像完整 20 次 Docker 校准后,真实 frame-decoder 会话 7 次模型请求、6 个工具反馈,候选独立 87 项 PASS,原生证据 VERIFIED,Agent 正常退出及容器/proxy/network cleanup confirmed。总耗时 339.790 秒含校准,不是纯模型延迟;用量 42442 tokens 为 SDK 字段求和,费用未知。完整事实见 qwen-trial-receipt.json。
首次新镜像校准有一次 gold 超时,记录为 INFRA_ERROR,未启动模型;不降低原任务期限,重新完整校准才准入。原始 verifier 对可信 gold 的 87 次输入/stdout/退出码与 dataset.json 全量逐项交叉核对通过;Qwen 候选不参与参考目标生成。新导出器保持五字段任务行,原生轨迹单独封存,历史 task/verifier 摘要不变。
新增代码的本地受影响面 30 项通过;36 最终全量回归 57 项运行,56 项通过、1 项因 host 无 Node 跳过,exit 0 / 19.838 秒;新镜像真实 Pi SDK 11 项通过、0 跳过。曾出现原 C 编译检查超时,完整重跑通过;首次立即读取归档报 empty file,随后独立三次重开及跨机器校验通过。两项暂时异常根因未知,保留事实,不修改编译/任务期限,不据文件系统类型推断原因。
独立任务导出为 artifacts/frame-decoder.jsonl,一条记录、87 个验收用例;新 Qwen 归档为 artifacts/rollout-20261012-qwen-655f8f99.tar.gz,194636 字节、17 个证据文件与 manifest。全部文件摘要通过,Salty 同一目录上传后下载 SHA-256 一致,临时下载删除;原 GLM 封存文件不改写。难度与用量保存在旁路回执,五字段本身不加入模型轨迹或质量标签。
清理核对在初次失败校准中发现一个未启动、state=created 的容器,原 timeout 事件写的 cleanup confirmed 不能成立。已按唯一名称/ID/镜像精确删除;两次校准、成功 Agent/grade 与 SDK 临时容器共 43 个名称核对 0 残留,专属网络不存在。首次失败校准、成功候选工作区/grader 副本、20 个校准样例目录、试验镜像及两端 Qwen 临时凭据已删除,原 GLM 稳定镜像/凭据保留。回执保留这次确认被后续现场证据推翻的事实,不改写成从未出错。
最小修复:Docker CLI 超时、中断或负返回码时,容器/网络创建请求可能仍在 daemon 内处理,瞬时不存在不计 cleanup confirmed;父 controller 传播自动校准的 unknown。新增三条必要回归,受影响 core/controller/archive 共 28 项通过,最终全量结果见上段;独立审阅无阻断。没有修改原任务、评分器、期限或已封存的成功轨迹,没有新增模型调用。回归模拟生命周期分支,不宣称能取消在途 daemon 请求;unknown 后仍须按唯一名称核对资源。
本轮新增代码和文档保留为本地工作区修改;未配置 Git remote、未 push,也未启动训练。先前五批本地提交保持不变。
当前只有一条软件任务;整个系统尚未完成二十题试点与扩量。下一步恢复 Bos-qiao 任务/runtime 快照,按来源和根因族逐题校准,至少两个任务族,再建立批次质量、用量和失败统计。失败但完整的真实尝试也应保留。
真实执行与独立无网评分先用 36 Docker。Salty 已验证镜像和持久盘,正式 Agent 后端的安全模型通道、候选交接、隔离与取消仍需单独验收;不假定 Secret、嵌套 Docker 或 grader 无网能力。隐藏测试不能放到 Agent 可读个人盘。
16 MiB 原生轨迹限额不等于整个工作区磁盘配额;当前仍只适合受控镜像与固定 Pi adapter,扩量前提供容量受限 volume。费用未知时记未知,不把 Pi SDK 的占位价格记为实际零费用。回执 NOT_TRAIN_READY 为兼容字段,本项目没有训练准入或转换流程。
P0 修复:Agent 断外网与评分超时
2026-10-12。只读审阅发现两项直接影响数据正确性的问题,本步只修这两项,不改用例、ground truth 或其他合同。
- Agent 网络:controller 专用网络原为普通 bridge,Agent 可直连外网,可下载上游修复而污染轨迹。现以
--internal创建;core.run只接受Internal=true的--agent-network,未指定时 Agent 使用--network none;删除未使用的host.docker.internal映射。 - 评分超时:verifier 单例 1 秒、整次 grade 15 秒,主机繁忙时正确解会被判 FAIL;本地全量回归复现 1 次,此前回归与校准各有 1 次超时。改为单例 5 秒、编译 30 秒、隔离探针 10 秒、
timeout_seconds=60,task version 升为 2。87 个用例不变,dataset.json只重绑两个身份摘要。
本地全量单元测试通过:工作区 58 项,提交快照 42 项;逐项回退三处修复,新增断言均失败。未在 36 Docker 实测。旧校准与旧 controller 因任务摘要变化,不能用于新 run 或重新封存;已封存归档不受影响。上线前在 36 确认 internal 网络下代理 gateway 可达、外网不可达,再用新任务完整 20 次 Docker 校准。
P0 现场验收与多文件任务合同
2026-10-12 续。上一会话的 P0 提交此前未在 36 实测;本步完成验收,并把任务合同从单个 decoder.c 扩展到多文件,作为导入 Bos-qiao 任务的前提。
- 同步:36 副本先与 Mac 逐文件比对,确认与 P0 前工作区一致后才同步。36 的
/mnt/data(JuiceFS)出现数分钟级 FUSE 停顿:全量单测启动卡约 5 分钟(测试本身 17.5 秒),同一校准在 JuiceFS 上耗时十余分钟。按方案“执行账本放本地盘”,活跃代码与新 runs 改放本地 ext4/home/ming01.wang/embedded-rollout;JuiceFS 上的历史证据与凭据文件原地不动。 - 网络探针:
--internal网络中,正式镜像容器可访问 gateway 上的 host 监听,访问 1.1.1.1:443、114.114.114.114:53、Qwen 上游及 DNS 均失败;探针网络和容器删除后复核为 0。 - 校准:新任务 v2 在本地盘 20 次 Docker 校准 PASS,11 秒,cleanup confirmed(
runs/calibration-6982aa90…);JuiceFS 上同代码另一次校准也 PASS(calibration-5c1d4f56…),只是更慢。 - 真实采集:Pi/GLM-5.3 9 轮模型请求全部经 internal 网络代理,原生证据 VERIFIED,独立 87 项 PASS,Agent 正常退出,网络/代理/容器 cleanup confirmed,3 分 05 秒(
runs/pi-a26466b2…)。用新 archive 复核封存为artifacts/rollout-20261012-glm-a26466b2.tar.gz,420117 字节,17 个证据文件加 manifest,SHA-2560b963b0e…c754;尚未上传 Salty。 - 合同扩展(先改 architecture/agent,再实现):
candidate_files1–16 个文件;template 全部文件进入工作区;fixtures可声明多个 cheat 与合法替代解,校准按 5×样例数;grader_files私有附件 0600 进/grader;无dataset.json的任务导出call_type=verifier。frame-decoder 的 task 摘要、旧 20 次校准回执与导出 query 均保持不变(测试固定)。 - 同步清理审阅提出的 P1/P2:模型改为
MODELS表,上游与 Responses 检查按表取;core._read统一 O_NOFOLLOW 有界读取,替代 archive/pi_run/native trace 各自实现;core._create合并两处独占写;core._sigterm合并两处信号处理;删除未用的validate_task与phase="evidence";校准 cleanup 状态改为每次试验后汇总一次。
检查:Mac 全量 61 项通过;36 本地盘 61 项通过、1 项因 host 无 Node 跳过。逐项回退 6 处新逻辑,相应测试均失败。凭据文件只以路径交给 controller,未读取内容。
下一步:从 Bos-qiao envs/S500_* 选 C/Python 标准库任务,写薄导入器(解析 heredoc 样例而不执行脚本,包装原 check.py/tests.py 为受保护 verify.py),在 36 正式镜像逐题 Docker 校准准入,再批量真实采集并出批次报告。
Bos-qiao 导入、首批失败与 trace3 修复
2026-10-12 续。目标:恢复 Bos-qiao 成熟任务,完成 M1 的 20 题准入,并用批量真实采集测量难度。负责文件:rollout/bos_import.py、rollout/bos_verify.py、rollout/report.py、rollout/regrade.py、agent/pi.mjs 与 tasks/S500_*。
- 盘点:只读拷贝 36 上 182 道 direct 候选。check.py 递归收集全部
*.py的 rglob 型 81 道暂不导入(合同只冻结声明文件,照搬会误判合法拆分);ROS2 5 道缺 Jazzy 镜像;其余 91 道“只评声明文件”的非 ROS 任务可导入。 - 导入器:样例脚本只解析不执行(带引号 heredoc、字面量
Path().write_text、工厂固定 files 循环),与 bash 实际执行逐字节对比 0 差异;cheat_exit_zero→noop,其余 cheat 与valid_*保留为额外样例;统一 verify.py 以 UID 65534 原样运行原 check.py。 - 选题:3 个任务族共 20 道(linux-device-abi 7、firmware-image-boot 7、motor-sensor-control 6;C 5 道、Python 15 道)。方案建议的 ROS2/构建配比因镜像缺失按“恢复盘点后调整”改为上述三族。
- 校准:首次 20 道全部 INFRA_ERROR——包装器先 chown 再 chmod,评分容器的 root 无 CAP_FOWNER;目录改名
runs/pilot-calibration-chown-bug保留。修正顺序并加回归测试(回退顺序即失败),重导入后 20/20 PASS、785 次试验、cleanup confirmed。 - 首批采集(
runs/batch-20261012-pilot,旧镜像 trace2):前 4 条 GLM 第三轮输出 32000 token 全用于思考,以length终止、未做任何编辑,Pi 退出 1;且 hostagent.stdout在 107 KB 长行处只写入 65537 字节,与 native 不一致,证据 UNVERIFIED。确认为配置/adapter 故障后按 PID 终止批次:8 个 controller(4 FAIL/UNVERIFIED、4 中断 INFRA_ERROR),中断的 4 条按合同记 cleanup unknown,现场按名称复核 0 容器、0 网络;全部不计合格轨迹。与 Bos 历史“修改前输出预算耗尽”(233/242)为同一现象,不作为能力基线。 - 修复(先改 agent.md 合同):
writeAll处理非阻塞 stdout 部分写入与 EAGAIN;streamFn 显式传maxTokens=131072(Pi SDK 默认截到 32000;经本项目代理实测上游接受 131072/98304/65536)。以 trace2 digest 加新pi.mjs构建 trace3:bench-runtime@sha256:7e3f4e3b…06f1,已推送 CCR;镜像内 Pi SDK 12/12 通过、0 跳过;21 道任务用 trace3 重新校准全部 PASS(2 分 51 秒)。 - 单条验证(
runs/trace3-smoke,S500_n2_153):18 轮请求,最长一轮输出 51719 token,stdout 与 native 逐字节一致,证据 VERIFIED,独立评分 PASS,cleanup confirmed,1487 秒。单条耗时约 25 分钟,批次改为每题 2 次、4 路并发、--agent-timeout 3600(仅防挂死)。 - 归档:
rollout-20261012-glm-a26466b2.tar.gz(P0,420117 字节)与rollout-20261012-trace3-S500_n2_153-434a4855….tar.gz(多文件任务首份,18 个证据文件、call_type=verifier,5451049 字节)上传 Salty 后下载核对 SHA-256 一致,临时下载已删除。
检查:Mac 全量 Python 测试与 Node 7 项通过(SDK 5 项本地跳过、镜像内全部通过);新增导入器、判据包装、报告、重判及 writeAll 的变异检查均能捕获回退。
- trace3 批次(
runs/batch-20261012-trace3):完成 2 条——S500_n2_155 PASS/VERIFIED(15.2 MB 轨迹),S500_n2_112 撞 16 MiB 原生轨迹上限(TRACE_LIMIT_EXCEEDED,主动中止、UNVERIFIED,stdout 与 native 逐字节一致);运行中轨迹已达 9–11.5 MB,单条验证那条也仅差约 17 万字节到上限。体积来自每 token 约 110 字节的增量事件与每轮完整 context(随轮数平方增长),二者都是因果核对证据,不删减。按 PID 停止批次,其余 4 条中断记 INFRA_ERROR/cleanup unknown,现场复核 0 容器、0 网络,均不计合格。 - 上限调整(先改 agent.md):adapter 与 host 的
MAX_TRACE_BYTES同步改为 64 MiB,Node 超限测试按上限比例构造数据。trace4 = trace2 digest 加新pi.mjs:bench-runtime@sha256:1e195a49f79fb8c68410f689dd2e627d0df63d62cd4de0000ba57bd1daa78e9a,已推送 CCR,镜像内 12/12 通过;21 道任务 trace4 重新校准全部 PASS。trace4 批次runs/batch-20261012-trace4于 15:05 UTC 启动:20 题 × 2 次,4 路并发,--agent-timeout 3600。 - trace4 批次结果(详见 acceptance.md 的 M1 试点):45 次尝试、40 条完整轨迹(每题 2 条),33 PASS、7 FAIL;40/40 独立重判一致;5 条排除均为上游 500/429 或 JuiceFS 读凭据故障,部署代理重试与状态归类后补采全部完整(其中 2 条由重试救回)。40 份归档与报告打包
batch-20261012-trace4.tar上传 Salty 并下载核对一致。清理:0 容器、0 网络;Mac 解包目录与 36 打包副本、trace3 本地镜像标签已删除;失败与停止批次的回执、max_tokens 探针日志作为排除与决策证据保留。
当前状态与下一步
M1(20 题准入、完整尝试、正负例与重判)已有实际证据;M2/M3 仍需持续采集与扩量。按优先级:
- 把
.private/access.json从 JuiceFS 移到 36 本地盘的私有目录(0700/0600),需用户操作;本次 1 条采集因 JuiceFS 读凭据 EIO 失败。 - 对 1/2 与 0/2 的 6 道题增加采样(建议每题 ≥5 次)并复核 FAIL 根因,区分能力缺口与题面/判据问题,再决定主采集池;2/2 的 14 道题转为回归。
- 扩量前确认 36
/home容量(本次结束剩 51 GB,96%),或换到项目专属 volume。 - 候选通配合同(rglob 型 Bos 任务约 57 道可导入)与 ROS2 Jazzy runtime,按需要逐项准入。
- Salty 正式 Agent 后端仍待平台的 Secret/无网能力确认;当前采集与评分继续在 36 Docker。
2026-10-13 新版 Qwen 服务复跑(完成,副产物已删除)
用户指定 qwen3.8-27b-nvfp4 与 http://114.111.18.115:18080/v1/responses 的新版服务,并要求核验后删除本次副产物。本次只用 36 本地盘的唯一私有临时目录,复用现有 pi_run 与 trace4;33 份运行代码和任务文件先与 Mac 逐文件 SHA-256 核对一致。未向 Agent 提供密钥、隐藏判据或参考解。服务探针:max_output_tokens=512 和 65536 均 HTTP 200/completed、回答 2,分别 1.45/1.62 秒;接受参数只证明接口兼容,不证明能生成该上限长度。
| 尝试 | 正式结果 | 证据 | 模型请求 / 工具反馈 | Agent 与评分耗时 | SDK token 合计 |
|---|---|---|---|---|---|
| frame-decoder,trace4 | PASS,87 项检查全过 | VERIFIED,正常退出 | 8 / 7 | 52.720 秒 | 42174 |
| S500_n3_152,原 8192 上限 | UNVERIFIED,评分 FAIL 不作为能力结果 | 第 3 轮 length / response.status=incomplete,退出 1 | 3 / 3 | 100.901 秒 | 15825 |
| S500_n3_152,65536 上限补跑 | FAIL,正常完整结束 | VERIFIED,正常退出 | 46 / 46 | 1229.447 秒 | 2730870 |
准入:frame-decoder 完整 20 次正负例校准通过;evdev 原镜像与补跑镜像分别完整 40 次通过。evdev 首轮第 3 次回复的 8192 token 全用于思考,未动手就被截断。确认新服务接受 65536 后,仅在私有临时目录构建 trace4 的派生镜像(image ID sha256:1ccd46e537578ea1423320e2f3ea85d861ce5e4eb0eb80c4d646305a663740a4),将 Qwen maxTokens 从 8192 改为 65536;原题和判据保持原身份,重校准后补跑。首个长推理轮输出 25850 token 才开始后续工具操作。此配置调整只用于本次试跑,派生镜像已删除,仓库运行源码未修改。
补跑 46 次上游请求均 HTTP 200,无代理重试;原生工具反馈全部进入后续输入。SDK 合计含 122176 input、73238 output、2535456 cacheRead,费用未知。frame-decoder 和 evdev 的冻结提交均在新无网容器独立重判,分别 PASS/FAIL,与原判 2/2 一致,清理 confirmed。
失败诊断:只在私有任务副本中将 check.py 的失败消息改为携带子进程 stderr 尾部;测试、通过条件和候选不变,在相同镜像、无网/降权评分边界下执行。首个实际失败为 AttributeError: module 'evdev_frames' has no attribute 'process',位于隐藏 tests.py 对 process(request) 的调用。候选已通过此前的解码行为检查,随后缺此函数而失败;此处之后的 CLI 检查未被该诊断执行,不能据此声称它们全部通过。公开 README 只声明 EvdevDecoder 与 CLI,没有声明 process 及输入不得修改的约束;旧两条 GLM 候选也缺此接口。因此正式 FAIL 如实记录,但 GLM/Qwen 在该原题的 FAIL 不能直接归因为能力不足。下一次公平复测应先公开补充 process 合同,以新任务摘要重新校准和采样,不改写原题历史。
清理:结果核验后分阶段删除首轮运行目录,再删除补跑、重判、诊断任务副本、全部原生/代理日志、候选与校准文件、临时脚本、0600 凭据和派生镜像。按本次 events.jsonl 的 event=container_requested 收集并精确复核 109 个容器名、3 个专属网络,最终均 0 残留、0 活跃 runner,临时目录已不存在;稳定 trace4 镜像仍在,历史数据和其他项目资源未改。凭据外泄扫描通过。本次只在本节保留事实摘要,不新增归档或 Salty 上传;原始产物已按用户要求删除,无法再从本次原件重放。总墙钟耗时含探针/构建/校准/诊断/清理约 27.8 分钟。
证据核验时的摘要:frame native 244dd5a82425c55581e9d7a5f58b273c2555ed7747fd147a49e626161b26cc77;evdev 补跑 native 072675245a1927bd6d03e26af66c3fb7e9199af4b4287e4d1311346906158ff5、冻结单文件 SHA-256 3e8f57a941ff77300f44d5150be6197624e61f238321f197c2844772dbc50ae5。本次只有两题,未重跑整个 20 题池,不能据此估计模型整体成功率。
2026-10-13 Qwen 全题基线(完成,副产物已删除)
用户选定每题 1 次、共 20 次初筛,模型为指定新版服务的 qwen3.8-27b-nvfp4。正式串行批次于北京时间 12:10–16:32 完成:18 PASS、2 FAIL,单次全题通过率 90%。20/20 均正常完整结束、证据 VERIFIED、冻结候选在无网容器独立重判一致;正式批次没有预算耗尽、基础设施排除或补采。677 次模型请求全部 HTTP 200、代理重试 0 次。此指标衡量当前模型部署、Pi 工具和预算下的完整 Agent 作答,不是单个 API 回复或稳定的单题通过概率。
| 任务族 | 通过 / 总数 |
|---|---|
| motor-sensor-control | 4 / 6 |
| firmware-image-boot | 7 / 7 |
| linux-device-abi | 7 / 7 |
| 题目 | 内容 | 结果 | 分钟 | 模型请求 / 工具反馈 | 累计 output token |
|---|---|---|---|---|---|
| S500_n2_112 | 互补 PWM 死区 | PASS | 12.1 | 26 / 25 | 65134 |
| S500_n2_153 | Clarke/Park 及逆变换 | FAIL | 6.8 | 26 / 26 | 37839 |
| S500_n2_154 | CAN 整数位时序 | FAIL | 17.7 | 32 / 32 | 51739 |
| S500_n2_155 | NTC ADC 测温 | PASS | 6.3 | 20 / 22 | 35052 |
| S500_n2_157 | SVPWM 占空比 | PASS | 11.9 | 27 / 28 | 64627 |
| S500_n2_158 | SSI 编码器帧 | PASS | 7.8 | 37 / 36 | 38696 |
| S500_n3_053 | A/B 启动槽 | PASS | 5.6 | 20 / 20 | 29669 |
| S500_n3_085 | 多成员压缩流 | PASS | 22.0 | 48 / 48 | 99955 |
| S500_n3_088 | MTD 坏块映射 | PASS | 12.4 | 25 / 27 | 67619 |
| S500_n3_102 | Linux RTC | PASS | 7.4 | 24 / 25 | 41194 |
| S500_n3_104 | spidev 全双工 | PASS | 12.8 | 24 / 25 | 70061 |
| S500_n3_108 | DMA-BUF CPU 访问 | PASS | 14.4 | 65 / 66 | 76768 |
| S500_n3_126 | GPIO v2 行请求 | PASS | 17.4 | 50 / 52 | 88769 |
| S500_n3_142 | U-Boot uImage | PASS | 13.6 | 28 / 29 | 44835 |
| S500_n3_144 | Linux watchdog | PASS | 8.9 | 18 / 18 | 47342 |
| S500_n3_152 | evdev 帧与丢包恢复 | PASS | 12.6 | 29 / 29 | 57796 |
| S500_n3_153 | FDT 二进制校验 | PASS | 17.5 | 28 / 29 | 93677 |
| S500_n3_154 | U-Boot 环境块 | PASS | 12.5 | 49 / 49 | 59606 |
| S500_n3_155 | I2C_RDWR 组合事务 | PASS | 23.8 | 68 / 71 | 93833 |
| S500_n3_157 | UBI EC/VID 校验 | PASS | 14.8 | 33 / 34 | 77092 |
正式作答累计 4.31 小时;每题中位数 12.55 分钟,范围 5.6–23.8 分钟。合计 677 次模型请求、691 次工具反馈;SDK input 1947519、output 1241303、cacheRead 34880160、totalTokens 38068982。output 是整段轨迹累计,不是单次回复长度;cacheRead 不能当作新增生成量,价格与实际费用未知。尚无更短且同样通过的对照,不能据耗时直接断言过程浪费或训练必然提效。
两条真实失败(诊断保持原测试与通过条件,仅增加消息细节,诊断 FAIL 与原判一致):
- S500_n2_153:
AssertionError case 30 mismatch,0-based 的公开精度场景;大数乘积约 1e12 强抵消后得到较小功率,公开合同要求按输入实数精确点积并满足绝对/相对 1e-8。测试同时检查变换量和功率,只能确认此精度场景失败,不能从首个失败消息确定候选具体错误字段或声称后续用例通过。 - S500_n2_154:
AssertionError case 76 mismatch,0-based;clock_khz=1.0是浮点类型,公开合同要求整数且类型错误抛ValueError。属于输入类型与异常契约场景失败,不能据此把 CAN 最优时序算法判为不会。
公平性与配置:已只读审阅全部 20 题公开接口及判据。此前 evdev 的私有测试要求 process(request) 和输入不可修改,但题面未公开;仅在本次私有副本补齐该合同,版本 2-public-process,重新计算摘要并校准,本轮 PASS(旧原题 FAIL 不作为能力缺口)。其余 19 题未发现明确必需功能漏项;SPI/I2C 的私有分配代理限制本轮没有引发失败。20/20 完整校准通过,共 785 次正负例检查;SDK 12/12、65536 wire 参数检查和 Mac 69 项 Python 测试通过,临时 runner 最终 16 行为检查通过;328 个源文件与远端 SHA 一致。
所有正式尝试使用同一临时派生镜像 sha256:0764fe2c0ad89c5a989f023b98313270ec5f4b912d3b4da4dac2b1c754164397,仅把稳定 trace4 的 Qwen 每次回复上限从 8192 改为 65536;单题 3600 秒、原生证据上限 64 MiB。采样参数未指定,使用服务默认值。仓库模型执行源码和原任务/历史结果未改写,隐藏判据、参考解和密钥不交给 Agent。
早期四路运行产生 5 条传输诊断(1 条流提前结束、4 条主动中断),全部排除,不能混入这轮 20 条能力基线。代理 300 秒是上游 socket 无字节等待限制;原日志未记异常类型,排队原因仅为时序推断。转串行后全题正常完成。用户选择初筛后取消额外四轮,已完成首题及正在作答的第二题被保留/接管,没有重新抽样挑结果。
采样与训练判断:不建议对这 20 题平均大量重复采样后直接微调。 18 题已证明在本配置下可解,更适合先作回归集;优先对两类公开要求失败构造新数值规模、抵消强度、输入类型与异常行为变体,并收集验证通过的正确解法。一次成功不等于稳定掌握,一次失败不等于始终不会;现有结果只支持定位潜在提升点,不能保证微调收益。效率训练需要较短且同样正确的示范;微调前后必须在未参与训练的变体上用相同预算比较通过率、输出量和耗时,而不只复测原题。
结果先保存到本节,再进行最终精确清理。六次自动目录删除遇到 root 所有的自测目录权限,前三次已现场修复;最终清理另修复 5 个权限路径,旧回执的 unknown/raw_deleted=false 是当时事实,不能改写成未出错。现场审计共 863 个本批容器名(包括权限修复容器)、25 个专属网络,最终 0 容器、0 网络、0 活跃本批进程;完整运行目录、全部候选/自测、轨迹/代理日志、785 次校准产物、临时任务/脚本/凭据和派生镜像均已删除。稳定 trace4 镜像、49 个原有容器及 5 个原有网络保持;3069 个文件扫描未发现两份 0600 凭据以外的 key 字节。Mac 临时 runner 目录和本轮生成的 Python 缓存也已清理。本次不新增归档、不上传 Salty、不保留轨迹供训练,仅在本节保留事实摘要;无法再从本次原件重放。