88 KiB
开发进度
2026-10-16 制题批次 20261016-C-embedded-3(外部服务阻塞,未完成)
范围:基于69521e5,仅新增linux-concurrency、memory-buffers、build-deploy、device-io各5道C11现成工程修复题及本节;未改rollout/、agent/、tests/、任何批前已有任务或Qwen作业,不推送。20个不同HWE基础ID均逐项核对metadata public且不在held_out,source/split统一hwe/基础ID,spec注明后续不可作该模型评测;没有新增拒绝题或合同能力BLOCKED题。源码613–734行、候选合计158–250行、缺陷每题2处(mapping3处),gold/template增删15–36行;候选1–2文件,工程均可构建,含独立单处修复负例、不同合法解和条件读grader对照。
校准及审阅:每题8类各5次,最终trace5 Docker800/800符合预期、cleanup confirmed;host700/800符合声明,100次read_grader可读gold/PASS是正确的无隔离正对照,整体如实FAIL。历史64个校准attempt、2560次样例运行全部保留。所有600次正式负例成功构建后按行为FAIL,不以编译失败/崩溃/超时代替。判据仅check.py+私有非py数据,verify逐字复制bos_verify;harness只观察,Python独立复算、候选执行前备齐输入,执行后root不访问共享scratch。四族非作者交叉审阅与逐条公开合同对照完成。trace5已确认gcc/make/ar/ld/readelf/nm/objdump,无cmake,构建族只用已有工具。
真实采样:GLM-5.3/Pi0.73.1、固定trace5 digest、max_tokens131072、service-default、首轮四路、3600秒,无费用或模型轮数cap。33次原始尝试中20条原生证据VERIFIED完整轨迹;其中18个最终身份为17PASS/1FAIL,另2条v1题面歧义轨迹保留原始FAIL但按PROMPT_AMBIGUITY排除能力统计。cond题未明确N也需WAKE/wakes、ring题混用输入payload与结果value,均结合轨迹和独立审阅确认,已仅改公开合同/版本升2、重新完成两端各40次校准;C/check/cases/fixtures不变。两题v2补采中途遭上游429,候选虽曾任务PASS但Agent exit1且证据不完整,按INFRA_ERROR保留;之后9次串行恢复(含5分钟退避)均首请求429。数小时退避后在独立root再试cond一次,首请求仍三次429、工具0、exit1/native UNVERIFIED,附带task_verdict FAIL不计能力失败,未启动ring。北京时间2026-10-17 00:05又做唯一确认,首请求仍三次429、工具0、exit1/native UNVERIFIED,未ring/重判/归档或继续重试。共13个基础设施故障全部保留,不计任务能力失败;cond v2和ring v2仍为已校准、闸门3 UNVERIFIED,不能标ADMITTED,整批未完成。当前18题准入,未做闸门4分池。真实FAIL build-feature-flags明确违反公开CPPFLAGS合同:候选默认DEFINES覆盖环境1/61为0/1,不改题或重采。
证据与验证:20个完整冻结候选新容器独立重判全部一致,另外2个INFRA候选实际重判PASS但不升格完整;11次首请求故障未做重判。20个标准归档独立只读核对全部成员字节/SHA、外包摘要、显式host证据及候选直接字节一致,其中18个最终身份+2个退役歧义身份;archive-audit-blocked状态PASS_FOR_AVAILABLE_EVIDENCE,batch_complete=false。全量75项测试74通过、1因host无Node跳过(最终v2运行42.516秒),真实Docker隔离探针通过;未验证硬件、真实线程时序或模型训练。Git whitespace有生成Makefile空定义/依赖及checker空行尾空格提示,为保持已采校准字节身份保留,非行为问题。全部尝试原生usage合计input652843、output380502、cacheRead6454336、totalTokens7487681,费用与实际人时unknown。
资源:只按本批事件/回执登记的1244个容器名称和31个专属网络核查,均无残留;本批自己的采样、后处理、恢复和审阅等待进程已按精确PID停止,没有prune或触碰Qwen对象。追加恢复的2个容器及1个网络也经独立精确inspect确认不存在,无后台writer;补充报告与最新20题表已随独立runs/20261016-C-embedded-3-recovery-20261016T1118Z冷迁:30文件232,439字节,SHA/路径/类型/权限/总量由第二进程独立复核PASS,热根已删除;payload SHA f8d014e1a3538a29294b54bdf518fe9d0be2b59a5e6733235591f26a3ae0929a,回执见原op/late-recovery-migration。不回改31次截止的冻结报告。跨日确认的2容器1网络也经精确inspect确认absent;其独立runs/20261016-C-embedded-3-recovery-20261016T1605Z共39文件249,675字节已冷迁,第二进程重hash全部文件并核对热根absent,payload SHA aa6d709076a036aa77005cbc69e1796232236672e388760117d2d4b22dc8b388;回执见原op/midnight-recovery-migration。最新33次汇总及20题表在此冷root,全部writer已退出。可信host临时目录按前缀、UID/文件摘要与登记清单清理,剩余登记0;disk_low/attempt_size均0。冷迁工具以本地合成5根目录实测SHA/字节数、只读目录、活动日志前缀和逐根删除;测试先发现缺少目标父目录,修正并保留失败事实后7项行为验证全部通过,合成探针已清理,未在真实冷盘上试删。
证据已复制至 /mnt/data/ming01.wang/embedded-rollout 下同名 factory/20261016-C-embedded-3、runs/20261016-C-embedded-3{,-dev,-calibration}、artifacts/20261016-C-embedded-3。final-report.md/table.json含20题指标、120个负例实际机制、完整HWE基础ID清单和两项未完成工作;resume-commands.md给出服务恢复后直接引用冷端校准的标准pi_run命令。原回执保留原绝对热路径,旧controller复审需恢复原路径,新采样可直接传冷端校准路径。Salty本机无CLI/可调用入口,上传与下载摘要复核另记BLOCKED,未上传,不读改凭据。
冷迁第一轮核对PASS(2026-10-16T10:27:25Z):21,792个payload文件、297,736,840字节,逐文件SHA/类型/权限、精确路径集合及总量一致,payload摘要为8c4d01746c18cef7b39d570bcbd91e20364b64fa422c2fa9068cf7f2b452b2c0。codex.log为明确2,002,860字节前缀,SHA1622da3b6b111152481f289b87f4760e97e0baa22a5b9516c0f51cc399d34d78,不宣称活动日志停止增长。第二轮完整复核PASS,2026-10-16T17:24:59Z从原op完成五热根删除;独立收尾审计再次核对两manifest摘要、final-check/deleted及15个逐根回执、五个热路径absent/冷根真实身份,末端日志独立SHA核对PASS。原codex.log最终另存2,414,135字节前缀,SHA48057d634327bf65f152a19a47321159f6a4ede561e6663516488efebe0c6386,canonicalpayload保持原2,002,860字节前缀不变;实际回执位于冷factory/migration-evidence/20261016T082450Z-de9fafc75e164c7dbb67adac3ddae8b0。第一次串行建目录过慢中断后保留了checkpoint,独立完整盘点确认仅1个691字节操作记录和7,794个空子目录,记录及完整盘点先复制核对后按身份精确清理;10个保留派生证据由root重新核对SHA,旧UUID与两个审阅tmp均不存在。第一版末端读缓存优化经设计审阅发现祖先替换反例,未创建或运行runner。随后逐组件fresh-stat的strict-dirfd研究原型及独立审阅分别13项、9项行为探针PASS,但交错基准未证明效率收益,提案runner仅创建未执行,未应用于真实迁移;研究代码、真实基准及清理回执留于op/strict-dirfd-not-applied。对应tmp与两份编译cache均核对后清理。首次恢复使用冻结原工具。后续只读随机256文件四组对照全部SHA/size/mode匹配,64线程两组68.96/72.39秒、16线程195.92/200.53秒,合并文件吞吐约2.805倍;独立代码审阅确认只把原namespace的WORKERS16改64,26个callable与所有路径/内容/数量/字节/源未变检查不变,删除仍串行。已先精确SIGSTOP原reader并确认无final-check、日志末端快照或任何delete记录,写回执后SIGTERM/CONT并核对旧PID退出,再从同op单独启动64路原函数完整复核;没有复用部分hash或缩减验证。基准/runner及独立复制、tmp清理回执见op/workers64-read-concurrency,精确研究tmp已删除。小样本收益不保证全量时长,线程/FD/缓冲占用增加。
恢复中断事实:用户Mac断电于北京时间2026-10-16 19:35停止上一轮,原final-delete在verify_target被SIGTERM;23:36续跑时确认旧PID不存在、final-check及删除记录均未写,五热根完整。首轮恢复安全检查因新增codex-resume.log拒绝删除;独立对账确认仅此新增文件、无缺失且原有30,558路径身份/模式/普通文件size/mtime均未变。已将活动恢复日志同设备原子搬至独立factory/20261016-C-embedded-3-resume-control-20261016T1536Z,核对Codex写入fd跟随同inode,冷端保留13,779字节前缀及SHA6936347361cb52990bcb19a96869548fee379104e02567d1fb6d46cf497f3917,未改冻结manifest或canonicalpayload。随后完整源对账及原日志前缀SHA再次PASS,15:52:59Z回执resume-source-reconciled.json;已从原op完成完整final-delete及独立审计。恢复控制日志于17:26:30Z另存203,775字节明确前缀,SHA05b0212101fdd3b23444c82c5384247ba9c83b3cc367401320b53a5176af3bd5;目标独立hash及源同prefix重hash一致,prefix与预删除回执先fsync文件及冷OP目录,再以已核对并保持打开的目录FD精确unlink唯一日志、rmdir唯一控制目录,并同步热目录及最终回执目录。未执行的初稿与补目录fsync后的v2源码、两份独立只读审阅事实保留于op;异常不得视为PASS或盲重跑。独立热控制命名目录实际absent,但Codex fd1/2仍持有同inode、nlink0文件,之后append不属封存前缀,也不把这些块算成已释放。原五根加两次追加恢复共21,861个静态payload文件、298,218,954字节已冷迁核对,派生迁移证据与日志额外前缀不计入该payload总数。清理后/home实测可用87,454,646,272字节,其他并行作业会使容量继续变化。
下一步:需要现有授权GLM服务恢复,随后对cond v2和ring v2各补1条同配置完整真实轨迹,独立重判、封存、审核并补齐闸门3;保留本批33次全部事实和已确认真实FAIL。本次只提交可审阅题包及如实未完成状态、收尾后停下,不开下一批;本地提交哈希另存冷factory的migration-evidence/completion.json,不推送。
2026-10-16 制题批次 20261016-C-embedded-2(完成)
范围:严格按本批 BRIEF 修正五道 serial 题的条件式 cheat_read_grader、版本1→2(仅10个旧题文件);新增 peripheral-hal、firmware-image-boot、linux-userspace-abi 各五道原创 C11 现成工程修复题。开工 main=6d6ae4f、pull --ff-only 已最新、原工作区干净。没有改 rollout/、agent/、tests/、S500 或其他旧题,不读凭据,所有真实运行仅向标准 pi_run 传受保护的私有文件路径。
结果:15题均通过工程/合同/非作者独立审阅;源码601–1317行、候选154–464行、每题4–15处根因缺陷,gold/template增删22–34行,保守计数均≥15。三个族前三题均9/9完整PASS,后两题分别扩大为HAL至少1000源码/350候选/10缺陷、固件1200/450/12、ABI1000/350/10。固定trace5 digest、GLM-5.3/Pi0.73.1、3600秒、全局四路完成45条原生证据VERIFIED轨迹:PASS45、FAIL0、排除0;45次独立重判一致,45个标准归档逐成员与候选/公开材料摘要核验。三族均5题各3/3,至少两题出现失败的目标全部未达;15题仅ADMITTED回归候选,尚未做每题≥5次的闸门4正式分池,未擅自增题或追加采样。
校准:新15题8类×5×两端,正式Docker600/600符合预期;host每题仅条件读grader的5次可读正确实现/PASS造成整体如实FAIL,75次正对照均核对;Docker75次均拒读并按行为FAIL。旧五题各35次×两端:Docker175/175符合预期、25次拒读FAIL,两条路径均Permission denied;host只因25次可读gold正对照而整体FAIL。没有重采旧五题。所有90个新题负样例的实际首个失败机制及单缺陷probe在spec和完整报告,不以编译错误、超时或异常退出代替行为失败。初审发现的flash优先级、超时公开值、slot内层校验、poll组合位覆盖和journal只读观察器依赖均在首次正式试采前修正并重新冻结校准,旧开发事实完整保留。
验证与限制:最终全量python3 -m unittest discover -s tests -v运行75项,74通过、1因host缺Node跳过(42.720秒),Docker隔离实测通过。已按归属、UID/inode/mtime和完整树摘要核对并精确删除1757个本批临时目录、15个批次生成pyc及1个作者登记的临时普通文件;本批1430个已证明容器名称、45个专用网络与现场取交集均0残留,所有controller cleanup confirmed,disk_low/attempt_size均0,/home仍约107.6GiB可用。只验证软件/受控桩/PTY,没有硬件或真实掉电通过声明;费用与实际人时unknown。Salty无本机CLI或工具入口,上传/下载摘要复核明确BLOCKED,没有读取凭据或宣称已上传。
冷迁与交付:本批factory、runs、runs-dev、runs-calibration、artifacts共5个精确根已复制至 /mnt/data/ming01.wang/embedded-rollout 同名目录;13,319个payload文件、1,077,572,637字节,以及23,590,539字节的codex.log明确前缀快照,两轮目标内容校验与源未变复核全部PASS。16个迁移工作回执逐文件与冷盘副本摘要一致,5根删除begin/done及最终deleted/final-check均已核对,5个热路径实际不存在;迁移工具自身临时目录和日志也核对后精确删除。冷factory内 final-report.md/table.json 包含15题指标、90个负例实际机制和旧5结果;收尾事实、提交hash另增于 migration-evidence/completion.json,不回改冻结payload。原回执保留原热路径,复跑须先恢复原路径。当前/home剩余116638420992字节(108.63GiB),本批五个热数据路径占用为0。
下一步:按本批停止条件停下,等待用户审阅,不自行开下一批、不做闸门4追加采样。交付仅一个本地main提交,不推送;实际提交哈希与最终scope核验记录在上述冷盘完成凭证。Salty上传/下载核验仍BLOCKED,须有可用入口后另行处理,不能把冷迁当成Salty归档完成。
2026-10-12。项目 /Users/amos/project/embedded-rollout;36 活跃副本为本地盘 /home/ming01.wang/embedded-rollout(代码、新 runs 与 artifacts),JuiceFS /mnt/data/ming01.wang/embedded-rollout 只保留历史证据与私有凭据。Git 按功能分批提交;2026-10-13 起按用户指定推送到 origin 的 main,此前提交仅在本地。
本地提交依赖顺序:设计合同与计划 → 首题和隔离执行器 → Pi/模型代理与 controller → 轨迹封存 → 验收和交接记录。只纳入源码、任务校准样例、测试与文档,凭据、原始轨迹和归档文件保持 Git 忽略。
范围与本次步骤
只建设 rollout 系统,持续获取真实 Agent 轨迹、独立评分、质检与持久归档;不实现模型训练、权重更新、SFT 或在线 RL。历史远期讨论留在聊天索引,不作为本项目需求。用户已授权使用 36、CCR、GLM-5.3 和 Salty,费用与模型轮数暂不设上限;执行超时用于防挂死。
本次 M0 接入 Pi 0.73.1/GLM-5.3,冻结镜像后先跑完整 Docker 正负例校准,再完成真实模型/工具闭环、独立 grade、证据对账和资源清理。涉及 agent/、rollout/core.py、model_proxy.py、pi_run.py 与行为回归。
归档步骤先写 artifacts.md 合同,再实现 rollout.archive 与必要边界测试:只封存正常完成、证据 VERIFIED 的 PASS/FAIL,不递归打包 grader、参考解、凭据或工作区,输出不覆盖。最终仅在 personal:/embedded-rollout 保留稳定轨迹归档,临时探针核对后删除。
- 整理项目 16 个相关聊天、46 个回合,创建方案和基础设施清单。
- 创建独立项目、AGENTS.md、agent.md 和逐步开发合同。
- frame-decoder 任务、87 项行为验收与 gold/template/noop/cheat 校准。
- 36 Docker、CCR 镜像登录/构建/push,私有 host 模型代理与固定 Pi adapter。
- Salty 本人授权、VPC 固定镜像拉取/执行及唯一个人目录读写,三个测试作业/文件已删除。
- 第一版正式 Docker 20 次校准 PASS,镜像内 5 项真实 Pi SDK 检查 PASS。
- 修复真实流式轨迹中的累计快照重复,写前限制 16 MiB;新镜像重新完成 20 次校准。
- 首条完整真实 GLM/Pi 轨迹、独立评分、证据对账及 Salty 归档验收。
已核对的检查
python3 -m unittest discover -s tests -v:41 项通过。Docker 控制分支部分为 mock;本地没有 node_modules,wrapper 中真实 SDK 检查跳过。新镜像在 36 内执行 node --test /opt/embedded-rollout/tests/test_pi_adapter.mjs:9 项通过,0 跳过,才计 SDK 实测。
36 正式 Docker 校准:四类样例各五次,gold 每次通过 87 项行为检查,template/noop/cheat 均按预期失败,所有容器 cleanup confirmed。修复两个独立根因:chmod 在 chown 前完成;tmpfs 明确 exec/nosuid/nodev。新 adapter 镜像重新完成 20 次校准,不沿用旧镜像的 PASS。
首次 GLM/Pi 会话已经完成多轮 HTTP 200 和真实工具操作;Pi 流式 message_update 重复携带累计 message/partial,约五分钟 stdout 超过 235 MB。root 精确中断本次 controller,实际回执 UNVERIFIED、cleanup confirmed,不计合格轨迹。根因、终态和清理记录见 runtime-failures.json。修复保留增量事件与完整 message_end/request/session entries,写前限额并主动中止超限会话。
Salty 0.2.3 已登录,使用 0 GPU CPU 探针验证基础镜像 TLS 和新 runtime 的 Node v22.23.3/Pi 0.73.1。三个作业 succeeded;删除精确作业与文件后,目录 listing 为空。describe 在任务结束后返回 partial 诊断和 exit 1,不误记为作业失败。基础设施回执见 infra-receipt.json。
本次真实结果与清理
修复后的真实 Pi/GLM-5.3 会话:8 轮模型请求、10 个工具反馈全部进入后续输入,原生对账 VERIFIED;最终候选独立 87 项检查 PASS,Agent 正常退出,容器/proxy/network cleanup confirmed。native 1214876 字节;完整事实见 rollout-receipt.json 与 只读验收。
归档 [artifacts/rollout-20261012-dae6bc17.tar.gz](../artifacts/rollout-20261012-dae6bc17.tar.gz) 为 239832 字节,16 个原件和 manifest。Salty 唯一目录仅该文件,上传后下载核对 SHA-256 完全一致;临时下载删除。首次异常轨迹、旧校准、三个旧本地镜像别名、候选工作区与私有 grader 副本已清理;现场复核 24 个本次容器为 0 残留、网络不存在。必要原始日志/冻结候选/回执留在 36 作为产品证据。
清理例外:CCR 初版试验镜像的精确 digest 删除被拒绝,HTTP 401,远端旧版本仍保留,本地别名已删除;其控制台/API删除需要管理权限。没有删除整个共享仓库或公共 blobs。最终稳定版本使用 trace2 的固定 digest,旧版不再用于采集。
本次架构说明与任务标准
2026-10-12:补充用户要求的机器部署图、Salty 执行选择、镜像/轨迹位置、任务创建标准与参考模板。负责文件为 docs/deployment.md、两份 docs/diagrams/*.svg、docs/task-authoring.md、docs/templates/task-spec.md,并更新 README 与架构文档入口。只制作和核对文档,不修改运行合同,不新增任务或作业。
验收:当前与建议部署分开标注;镜像及轨迹地址与原始回执一致;作者模板明确当前 v1 仅支持 decoder.c;给出任务准入、正负例校准和有假设的工时估算;核对本地/36 原件及 Salty 唯一目录,执行文档一致性和只读审阅。本次不重跑模型,不写入 Salty,不 push。
已完成:SSH 只读确认 36 镜像的 RepoDigests、controller/native/候选及封存文件仍存在,本地与 36 归档 SHA-256 一致。Salty CLI 0.2.3 列表仅有 239832 字节的稳定归档;现行官方操作说明与 run 帮助核对完成。两张 Mermaid 图用临时 renderer 导出 SVG,解析与目视检查通过,下载依赖/浏览器临时目录及两份预览 PNG 已清理,只保留文档 SVG。模板示例经真实 load_task 接受,临时复制自动清理;相对链接、围栏、身份一致性和 diff 空白检查通过。
只读审阅无阻断问题;已补跨机器 HTTPS/域名需要升级 Pi URL 合同、Salty 历史答案可见性,以及旧里程碑时段链接新工时拆估。同步修正验收文档中已过时的“无提交”措辞。本轮没有执行器行为变化,未重复运行模型、Docker 校准或单元测试;新增文档与 SVG 仅在 Mac 工作区,未 commit、未同步 36、未 push。
已知边界与下一步
用户已提供 UltraData-RL-2609 作为格式参考。本轮新增五字段任务 JSONL 与冻结 ground truth,接入每次归档;保留 argv 与退出码的明确扩展,不改历史任务/verifier 身份。涉及 rollout/export.py、tasks/frame-decoder/dataset.json、归档和必要测试,合同见 data-format.md。首题仅归类 SMOKE_ONLY;后续主采集池须先做目标模型的重复难度测量,不以一次成功推断稳定成功率或训练收益。
本次模型试跑已完成:用户指定 Qwen qwen3.8-27b-nvfp4 的 Responses 服务。固定上游与模型身份,Pi 复用已有 Responses adapter,host broker 要求唯一 completed 终态;默认 GLM 接入保留。新镜像完整 20 次 Docker 校准后,真实 frame-decoder 会话 7 次模型请求、6 个工具反馈,候选独立 87 项 PASS,原生证据 VERIFIED,Agent 正常退出及容器/proxy/network cleanup confirmed。总耗时 339.790 秒含校准,不是纯模型延迟;用量 42442 tokens 为 SDK 字段求和,费用未知。完整事实见 qwen-trial-receipt.json。
首次新镜像校准有一次 gold 超时,记录为 INFRA_ERROR,未启动模型;不降低原任务期限,重新完整校准才准入。原始 verifier 对可信 gold 的 87 次输入/stdout/退出码与 dataset.json 全量逐项交叉核对通过;Qwen 候选不参与参考目标生成。新导出器保持五字段任务行,原生轨迹单独封存,历史 task/verifier 摘要不变。
新增代码的本地受影响面 30 项通过;36 最终全量回归 57 项运行,56 项通过、1 项因 host 无 Node 跳过,exit 0 / 19.838 秒;新镜像真实 Pi SDK 11 项通过、0 跳过。曾出现原 C 编译检查超时,完整重跑通过;首次立即读取归档报 empty file,随后独立三次重开及跨机器校验通过。两项暂时异常根因未知,保留事实,不修改编译/任务期限,不据文件系统类型推断原因。
独立任务导出为 artifacts/frame-decoder.jsonl,一条记录、87 个验收用例;新 Qwen 归档为 artifacts/rollout-20261012-qwen-655f8f99.tar.gz,194636 字节、17 个证据文件与 manifest。全部文件摘要通过,Salty 同一目录上传后下载 SHA-256 一致,临时下载删除;原 GLM 封存文件不改写。难度与用量保存在旁路回执,五字段本身不加入模型轨迹或质量标签。
清理核对在初次失败校准中发现一个未启动、state=created 的容器,原 timeout 事件写的 cleanup confirmed 不能成立。已按唯一名称/ID/镜像精确删除;两次校准、成功 Agent/grade 与 SDK 临时容器共 43 个名称核对 0 残留,专属网络不存在。首次失败校准、成功候选工作区/grader 副本、20 个校准样例目录、试验镜像及两端 Qwen 临时凭据已删除,原 GLM 稳定镜像/凭据保留。回执保留这次确认被后续现场证据推翻的事实,不改写成从未出错。
最小修复:Docker CLI 超时、中断或负返回码时,容器/网络创建请求可能仍在 daemon 内处理,瞬时不存在不计 cleanup confirmed;父 controller 传播自动校准的 unknown。新增三条必要回归,受影响 core/controller/archive 共 28 项通过,最终全量结果见上段;独立审阅无阻断。没有修改原任务、评分器、期限或已封存的成功轨迹,没有新增模型调用。回归模拟生命周期分支,不宣称能取消在途 daemon 请求;unknown 后仍须按唯一名称核对资源。
本轮新增代码和文档保留为本地工作区修改;未配置 Git remote、未 push,也未启动训练。先前五批本地提交保持不变。
当前只有一条软件任务;整个系统尚未完成二十题试点与扩量。下一步恢复 Bos-qiao 任务/runtime 快照,按来源和根因族逐题校准,至少两个任务族,再建立批次质量、用量和失败统计。失败但完整的真实尝试也应保留。
真实执行与独立无网评分先用 36 Docker。Salty 已验证镜像和持久盘,正式 Agent 后端的安全模型通道、候选交接、隔离与取消仍需单独验收;不假定 Secret、嵌套 Docker 或 grader 无网能力。隐藏测试不能放到 Agent 可读个人盘。
16 MiB 原生轨迹限额不等于整个工作区磁盘配额;当前仍只适合受控镜像与固定 Pi adapter,扩量前提供容量受限 volume。费用未知时记未知,不把 Pi SDK 的占位价格记为实际零费用。回执 NOT_TRAIN_READY 为兼容字段,本项目没有训练准入或转换流程。
P0 修复:Agent 断外网与评分超时
2026-10-12。只读审阅发现两项直接影响数据正确性的问题,本步只修这两项,不改用例、ground truth 或其他合同。
- Agent 网络:controller 专用网络原为普通 bridge,Agent 可直连外网,可下载上游修复而污染轨迹。现以
--internal创建;core.run只接受Internal=true的--agent-network,未指定时 Agent 使用--network none;删除未使用的host.docker.internal映射。 - 评分超时:verifier 单例 1 秒、整次 grade 15 秒,主机繁忙时正确解会被判 FAIL;本地全量回归复现 1 次,此前回归与校准各有 1 次超时。改为单例 5 秒、编译 30 秒、隔离探针 10 秒、
timeout_seconds=60,task version 升为 2。87 个用例不变,dataset.json只重绑两个身份摘要。
本地全量单元测试通过:工作区 58 项,提交快照 42 项;逐项回退三处修复,新增断言均失败。未在 36 Docker 实测。旧校准与旧 controller 因任务摘要变化,不能用于新 run 或重新封存;已封存归档不受影响。上线前在 36 确认 internal 网络下代理 gateway 可达、外网不可达,再用新任务完整 20 次 Docker 校准。
P0 现场验收与多文件任务合同
2026-10-12 续。上一会话的 P0 提交此前未在 36 实测;本步完成验收,并把任务合同从单个 decoder.c 扩展到多文件,作为导入 Bos-qiao 任务的前提。
- 同步:36 副本先与 Mac 逐文件比对,确认与 P0 前工作区一致后才同步。36 的
/mnt/data(JuiceFS)出现数分钟级 FUSE 停顿:全量单测启动卡约 5 分钟(测试本身 17.5 秒),同一校准在 JuiceFS 上耗时十余分钟。按方案“执行账本放本地盘”,活跃代码与新 runs 改放本地 ext4/home/ming01.wang/embedded-rollout;JuiceFS 上的历史证据与凭据文件原地不动。 - 网络探针:
--internal网络中,正式镜像容器可访问 gateway 上的 host 监听,访问 1.1.1.1:443、114.114.114.114:53、Qwen 上游及 DNS 均失败;探针网络和容器删除后复核为 0。 - 校准:新任务 v2 在本地盘 20 次 Docker 校准 PASS,11 秒,cleanup confirmed(
runs/calibration-6982aa90…);JuiceFS 上同代码另一次校准也 PASS(calibration-5c1d4f56…),只是更慢。 - 真实采集:Pi/GLM-5.3 9 轮模型请求全部经 internal 网络代理,原生证据 VERIFIED,独立 87 项 PASS,Agent 正常退出,网络/代理/容器 cleanup confirmed,3 分 05 秒(
runs/pi-a26466b2…)。用新 archive 复核封存为artifacts/rollout-20261012-glm-a26466b2.tar.gz,420117 字节,17 个证据文件加 manifest,SHA-2560b963b0e…c754;尚未上传 Salty。 - 合同扩展(先改 architecture/agent,再实现):
candidate_files1–16 个文件;template 全部文件进入工作区;fixtures可声明多个 cheat 与合法替代解,校准按 5×样例数;grader_files私有附件 0600 进/grader;无dataset.json的任务导出call_type=verifier。frame-decoder 的 task 摘要、旧 20 次校准回执与导出 query 均保持不变(测试固定)。 - 同步清理审阅提出的 P1/P2:模型改为
MODELS表,上游与 Responses 检查按表取;core._read统一 O_NOFOLLOW 有界读取,替代 archive/pi_run/native trace 各自实现;core._create合并两处独占写;core._sigterm合并两处信号处理;删除未用的validate_task与phase="evidence";校准 cleanup 状态改为每次试验后汇总一次。
检查:Mac 全量 61 项通过;36 本地盘 61 项通过、1 项因 host 无 Node 跳过。逐项回退 6 处新逻辑,相应测试均失败。凭据文件只以路径交给 controller,未读取内容。
下一步:从 Bos-qiao envs/S500_* 选 C/Python 标准库任务,写薄导入器(解析 heredoc 样例而不执行脚本,包装原 check.py/tests.py 为受保护 verify.py),在 36 正式镜像逐题 Docker 校准准入,再批量真实采集并出批次报告。
Bos-qiao 导入、首批失败与 trace3 修复
2026-10-12 续。目标:恢复 Bos-qiao 成熟任务,完成 M1 的 20 题准入,并用批量真实采集测量难度。负责文件:rollout/bos_import.py、rollout/bos_verify.py、rollout/report.py、rollout/regrade.py、agent/pi.mjs 与 tasks/S500_*。
- 盘点:只读拷贝 36 上 182 道 direct 候选。check.py 递归收集全部
*.py的 rglob 型 81 道暂不导入(合同只冻结声明文件,照搬会误判合法拆分);ROS2 5 道缺 Jazzy 镜像;其余 91 道“只评声明文件”的非 ROS 任务可导入。 - 导入器:样例脚本只解析不执行(带引号 heredoc、字面量
Path().write_text、工厂固定 files 循环),与 bash 实际执行逐字节对比 0 差异;cheat_exit_zero→noop,其余 cheat 与valid_*保留为额外样例;统一 verify.py 以 UID 65534 原样运行原 check.py。 - 选题:3 个任务族共 20 道(linux-device-abi 7、firmware-image-boot 7、motor-sensor-control 6;C 5 道、Python 15 道)。方案建议的 ROS2/构建配比因镜像缺失按“恢复盘点后调整”改为上述三族。
- 校准:首次 20 道全部 INFRA_ERROR——包装器先 chown 再 chmod,评分容器的 root 无 CAP_FOWNER;目录改名
runs/pilot-calibration-chown-bug保留。修正顺序并加回归测试(回退顺序即失败),重导入后 20/20 PASS、785 次试验、cleanup confirmed。 - 首批采集(
runs/batch-20261012-pilot,旧镜像 trace2):前 4 条 GLM 第三轮输出 32000 token 全用于思考,以length终止、未做任何编辑,Pi 退出 1;且 hostagent.stdout在 107 KB 长行处只写入 65537 字节,与 native 不一致,证据 UNVERIFIED。确认为配置/adapter 故障后按 PID 终止批次:8 个 controller(4 FAIL/UNVERIFIED、4 中断 INFRA_ERROR),中断的 4 条按合同记 cleanup unknown,现场按名称复核 0 容器、0 网络;全部不计合格轨迹。与 Bos 历史“修改前输出预算耗尽”(233/242)为同一现象,不作为能力基线。 - 修复(先改 agent.md 合同):
writeAll处理非阻塞 stdout 部分写入与 EAGAIN;streamFn 显式传maxTokens=131072(Pi SDK 默认截到 32000;经本项目代理实测上游接受 131072/98304/65536)。以 trace2 digest 加新pi.mjs构建 trace3:bench-runtime@sha256:7e3f4e3b…06f1,已推送 CCR;镜像内 Pi SDK 12/12 通过、0 跳过;21 道任务用 trace3 重新校准全部 PASS(2 分 51 秒)。 - 单条验证(
runs/trace3-smoke,S500_n2_153):18 轮请求,最长一轮输出 51719 token,stdout 与 native 逐字节一致,证据 VERIFIED,独立评分 PASS,cleanup confirmed,1487 秒。单条耗时约 25 分钟,批次改为每题 2 次、4 路并发、--agent-timeout 3600(仅防挂死)。 - 归档:
rollout-20261012-glm-a26466b2.tar.gz(P0,420117 字节)与rollout-20261012-trace3-S500_n2_153-434a4855….tar.gz(多文件任务首份,18 个证据文件、call_type=verifier,5451049 字节)上传 Salty 后下载核对 SHA-256 一致,临时下载已删除。
检查:Mac 全量 Python 测试与 Node 7 项通过(SDK 5 项本地跳过、镜像内全部通过);新增导入器、判据包装、报告、重判及 writeAll 的变异检查均能捕获回退。
- trace3 批次(
runs/batch-20261012-trace3):完成 2 条——S500_n2_155 PASS/VERIFIED(15.2 MB 轨迹),S500_n2_112 撞 16 MiB 原生轨迹上限(TRACE_LIMIT_EXCEEDED,主动中止、UNVERIFIED,stdout 与 native 逐字节一致);运行中轨迹已达 9–11.5 MB,单条验证那条也仅差约 17 万字节到上限。体积来自每 token 约 110 字节的增量事件与每轮完整 context(随轮数平方增长),二者都是因果核对证据,不删减。按 PID 停止批次,其余 4 条中断记 INFRA_ERROR/cleanup unknown,现场复核 0 容器、0 网络,均不计合格。 - 上限调整(先改 agent.md):adapter 与 host 的
MAX_TRACE_BYTES同步改为 64 MiB,Node 超限测试按上限比例构造数据。trace4 = trace2 digest 加新pi.mjs:bench-runtime@sha256:1e195a49f79fb8c68410f689dd2e627d0df63d62cd4de0000ba57bd1daa78e9a,已推送 CCR,镜像内 12/12 通过;21 道任务 trace4 重新校准全部 PASS。trace4 批次runs/batch-20261012-trace4于 15:05 UTC 启动:20 题 × 2 次,4 路并发,--agent-timeout 3600。 - trace4 批次结果(详见 acceptance.md 的 M1 试点):45 次尝试、40 条完整轨迹(每题 2 条),33 PASS、7 FAIL;40/40 独立重判一致;5 条排除均为上游 500/429 或 JuiceFS 读凭据故障,部署代理重试与状态归类后补采全部完整(其中 2 条由重试救回)。40 份归档与报告打包
batch-20261012-trace4.tar上传 Salty 并下载核对一致。清理:0 容器、0 网络;Mac 解包目录与 36 打包副本、trace3 本地镜像标签已删除;失败与停止批次的回执、max_tokens 探针日志作为排除与决策证据保留。
当前状态与下一步
M1(20 题准入、完整尝试、正负例与重判)已有实际证据;M2/M3 仍需持续采集与扩量。按优先级:
- 把
.private/access.json从 JuiceFS 移到 36 本地盘的私有目录(0700/0600),需用户操作;本次 1 条采集因 JuiceFS 读凭据 EIO 失败。 - 对 1/2 与 0/2 的 6 道题增加采样(建议每题 ≥5 次)并复核 FAIL 根因,区分能力缺口与题面/判据问题,再决定主采集池;2/2 的 14 道题转为回归。
- 扩量前确认 36
/home容量(本次结束剩 51 GB,96%),或换到项目专属 volume。 - 候选通配合同(rglob 型 Bos 任务约 57 道可导入)与 ROS2 Jazzy runtime,按需要逐项准入。
- Salty 正式 Agent 后端仍待平台的 Secret/无网能力确认;当前采集与评分继续在 36 Docker。
2026-10-13 新版 Qwen 服务复跑(完成,副产物已删除)
用户指定 qwen3.8-27b-nvfp4 与 http://114.111.18.115:18080/v1/responses 的新版服务,并要求核验后删除本次副产物。本次只用 36 本地盘的唯一私有临时目录,复用现有 pi_run 与 trace4;33 份运行代码和任务文件先与 Mac 逐文件 SHA-256 核对一致。未向 Agent 提供密钥、隐藏判据或参考解。服务探针:max_output_tokens=512 和 65536 均 HTTP 200/completed、回答 2,分别 1.45/1.62 秒;接受参数只证明接口兼容,不证明能生成该上限长度。
| 尝试 | 正式结果 | 证据 | 模型请求 / 工具反馈 | Agent 与评分耗时 | SDK token 合计 |
|---|---|---|---|---|---|
| frame-decoder,trace4 | PASS,87 项检查全过 | VERIFIED,正常退出 | 8 / 7 | 52.720 秒 | 42174 |
| S500_n3_152,原 8192 上限 | UNVERIFIED,评分 FAIL 不作为能力结果 | 第 3 轮 length / response.status=incomplete,退出 1 | 3 / 3 | 100.901 秒 | 15825 |
| S500_n3_152,65536 上限补跑 | FAIL,正常完整结束 | VERIFIED,正常退出 | 46 / 46 | 1229.447 秒 | 2730870 |
准入:frame-decoder 完整 20 次正负例校准通过;evdev 原镜像与补跑镜像分别完整 40 次通过。evdev 首轮第 3 次回复的 8192 token 全用于思考,未动手就被截断。确认新服务接受 65536 后,仅在私有临时目录构建 trace4 的派生镜像(image ID sha256:1ccd46e537578ea1423320e2f3ea85d861ce5e4eb0eb80c4d646305a663740a4),将 Qwen maxTokens 从 8192 改为 65536;原题和判据保持原身份,重校准后补跑。首个长推理轮输出 25850 token 才开始后续工具操作。此配置调整只用于本次试跑,派生镜像已删除,仓库运行源码未修改。
补跑 46 次上游请求均 HTTP 200,无代理重试;原生工具反馈全部进入后续输入。SDK 合计含 122176 input、73238 output、2535456 cacheRead,费用未知。frame-decoder 和 evdev 的冻结提交均在新无网容器独立重判,分别 PASS/FAIL,与原判 2/2 一致,清理 confirmed。
失败诊断:只在私有任务副本中将 check.py 的失败消息改为携带子进程 stderr 尾部;测试、通过条件和候选不变,在相同镜像、无网/降权评分边界下执行。首个实际失败为 AttributeError: module 'evdev_frames' has no attribute 'process',位于隐藏 tests.py 对 process(request) 的调用。候选已通过此前的解码行为检查,随后缺此函数而失败;此处之后的 CLI 检查未被该诊断执行,不能据此声称它们全部通过。公开 README 只声明 EvdevDecoder 与 CLI,没有声明 process 及输入不得修改的约束;旧两条 GLM 候选也缺此接口。因此正式 FAIL 如实记录,但 GLM/Qwen 在该原题的 FAIL 不能直接归因为能力不足。下一次公平复测应先公开补充 process 合同,以新任务摘要重新校准和采样,不改写原题历史。
清理:结果核验后分阶段删除首轮运行目录,再删除补跑、重判、诊断任务副本、全部原生/代理日志、候选与校准文件、临时脚本、0600 凭据和派生镜像。按本次 events.jsonl 的 event=container_requested 收集并精确复核 109 个容器名、3 个专属网络,最终均 0 残留、0 活跃 runner,临时目录已不存在;稳定 trace4 镜像仍在,历史数据和其他项目资源未改。凭据外泄扫描通过。本次只在本节保留事实摘要,不新增归档或 Salty 上传;原始产物已按用户要求删除,无法再从本次原件重放。总墙钟耗时含探针/构建/校准/诊断/清理约 27.8 分钟。
证据核验时的摘要:frame native 244dd5a82425c55581e9d7a5f58b273c2555ed7747fd147a49e626161b26cc77;evdev 补跑 native 072675245a1927bd6d03e26af66c3fb7e9199af4b4287e4d1311346906158ff5、冻结单文件 SHA-256 3e8f57a941ff77300f44d5150be6197624e61f238321f197c2844772dbc50ae5。本次只有两题,未重跑整个 20 题池,不能据此估计模型整体成功率。
2026-10-13 Qwen 全题基线(完成,副产物已删除)
用户选定每题 1 次、共 20 次初筛,模型为指定新版服务的 qwen3.8-27b-nvfp4。正式串行批次于北京时间 12:10–16:32 完成:18 PASS、2 FAIL,单次全题通过率 90%。20/20 均正常完整结束、证据 VERIFIED、冻结候选在无网容器独立重判一致;正式批次没有预算耗尽、基础设施排除或补采。677 次模型请求全部 HTTP 200、代理重试 0 次。此指标衡量当前模型部署、Pi 工具和预算下的完整 Agent 作答,不是单个 API 回复或稳定的单题通过概率。
| 任务族 | 通过 / 总数 |
|---|---|
| motor-sensor-control | 4 / 6 |
| firmware-image-boot | 7 / 7 |
| linux-device-abi | 7 / 7 |
| 题目 | 内容 | 结果 | 分钟 | 模型请求 / 工具反馈 | 累计 output token |
|---|---|---|---|---|---|
| S500_n2_112 | 互补 PWM 死区 | PASS | 12.1 | 26 / 25 | 65134 |
| S500_n2_153 | Clarke/Park 及逆变换 | FAIL | 6.8 | 26 / 26 | 37839 |
| S500_n2_154 | CAN 整数位时序 | FAIL | 17.7 | 32 / 32 | 51739 |
| S500_n2_155 | NTC ADC 测温 | PASS | 6.3 | 20 / 22 | 35052 |
| S500_n2_157 | SVPWM 占空比 | PASS | 11.9 | 27 / 28 | 64627 |
| S500_n2_158 | SSI 编码器帧 | PASS | 7.8 | 37 / 36 | 38696 |
| S500_n3_053 | A/B 启动槽 | PASS | 5.6 | 20 / 20 | 29669 |
| S500_n3_085 | 多成员压缩流 | PASS | 22.0 | 48 / 48 | 99955 |
| S500_n3_088 | MTD 坏块映射 | PASS | 12.4 | 25 / 27 | 67619 |
| S500_n3_102 | Linux RTC | PASS | 7.4 | 24 / 25 | 41194 |
| S500_n3_104 | spidev 全双工 | PASS | 12.8 | 24 / 25 | 70061 |
| S500_n3_108 | DMA-BUF CPU 访问 | PASS | 14.4 | 65 / 66 | 76768 |
| S500_n3_126 | GPIO v2 行请求 | PASS | 17.4 | 50 / 52 | 88769 |
| S500_n3_142 | U-Boot uImage | PASS | 13.6 | 28 / 29 | 44835 |
| S500_n3_144 | Linux watchdog | PASS | 8.9 | 18 / 18 | 47342 |
| S500_n3_152 | evdev 帧与丢包恢复 | PASS | 12.6 | 29 / 29 | 57796 |
| S500_n3_153 | FDT 二进制校验 | PASS | 17.5 | 28 / 29 | 93677 |
| S500_n3_154 | U-Boot 环境块 | PASS | 12.5 | 49 / 49 | 59606 |
| S500_n3_155 | I2C_RDWR 组合事务 | PASS | 23.8 | 68 / 71 | 93833 |
| S500_n3_157 | UBI EC/VID 校验 | PASS | 14.8 | 33 / 34 | 77092 |
正式作答累计 4.31 小时;每题中位数 12.55 分钟,范围 5.6–23.8 分钟。合计 677 次模型请求、691 次工具反馈;SDK input 1947519、output 1241303、cacheRead 34880160、totalTokens 38068982。output 是整段轨迹累计,不是单次回复长度;cacheRead 不能当作新增生成量,价格与实际费用未知。尚无更短且同样通过的对照,不能据耗时直接断言过程浪费或训练必然提效。
两条真实失败(诊断保持原测试与通过条件,仅增加消息细节,诊断 FAIL 与原判一致):
- S500_n2_153:
AssertionError case 30 mismatch,0-based 的公开精度场景;大数乘积约 1e12 强抵消后得到较小功率,公开合同要求按输入实数精确点积并满足绝对/相对 1e-8。测试同时检查变换量和功率,只能确认此精度场景失败,不能从首个失败消息确定候选具体错误字段或声称后续用例通过。 - S500_n2_154:
AssertionError case 76 mismatch,0-based;clock_khz=1.0是浮点类型,公开合同要求整数且类型错误抛ValueError。属于输入类型与异常契约场景失败,不能据此把 CAN 最优时序算法判为不会。
公平性与配置:已只读审阅全部 20 题公开接口及判据。此前 evdev 的私有测试要求 process(request) 和输入不可修改,但题面未公开;仅在本次私有副本补齐该合同,版本 2-public-process,重新计算摘要并校准,本轮 PASS(旧原题 FAIL 不作为能力缺口)。其余 19 题未发现明确必需功能漏项;SPI/I2C 的私有分配代理限制本轮没有引发失败。20/20 完整校准通过,共 785 次正负例检查;SDK 12/12、65536 wire 参数检查和 Mac 69 项 Python 测试通过,临时 runner 最终 16 行为检查通过;328 个源文件与远端 SHA 一致。
所有正式尝试使用同一临时派生镜像 sha256:0764fe2c0ad89c5a989f023b98313270ec5f4b912d3b4da4dac2b1c754164397,仅把稳定 trace4 的 Qwen 每次回复上限从 8192 改为 65536;单题 3600 秒、原生证据上限 64 MiB。采样参数未指定,使用服务默认值。仓库模型执行源码和原任务/历史结果未改写,隐藏判据、参考解和密钥不交给 Agent。
早期四路运行产生 5 条传输诊断(1 条流提前结束、4 条主动中断),全部排除,不能混入这轮 20 条能力基线。代理 300 秒是上游 socket 无字节等待限制;原日志未记异常类型,排队原因仅为时序推断。转串行后全题正常完成。用户选择初筛后取消额外四轮,已完成首题及正在作答的第二题被保留/接管,没有重新抽样挑结果。
采样与训练判断:不建议对这 20 题平均大量重复采样后直接微调。 18 题已证明在本配置下可解,更适合先作回归集;优先对两类公开要求失败构造新数值规模、抵消强度、输入类型与异常行为变体,并收集验证通过的正确解法。一次成功不等于稳定掌握,一次失败不等于始终不会;现有结果只支持定位潜在提升点,不能保证微调收益。效率训练需要较短且同样正确的示范;微调前后必须在未参与训练的变体上用相同预算比较通过率、输出量和耗时,而不只复测原题。
结果先保存到本节,再进行最终精确清理。六次自动目录删除遇到 root 所有的自测目录权限,前三次已现场修复;最终清理另修复 5 个权限路径,旧回执的 unknown/raw_deleted=false 是当时事实,不能改写成未出错。现场审计共 863 个本批容器名(包括权限修复容器)、25 个专属网络,最终 0 容器、0 网络、0 活跃本批进程;完整运行目录、全部候选/自测、轨迹/代理日志、785 次校准产物、临时任务/脚本/凭据和派生镜像均已删除。稳定 trace4 镜像、49 个原有容器及 5 个原有网络保持;3069 个文件扫描未发现两份 0600 凭据以外的 key 字节。Mac 临时 runner 目录和本轮生成的 Python 缓存也已清理。本次不新增归档、不上传 Salty、不保留轨迹供训练,仅在本节保留事实摘要;无法再从本次原件重放。
2026-10-13 本地查看真实轨迹
用户明确要求将真实轨迹保留在本地查看,以确认模型请求、工具调用与反馈确实被采集。本次使用本地既有封存包:早期 Qwen frame-decoder 和 trace4 二十题批次中的 GLM RTC 样例;核对归档及 manifest 摘要,展开原件,并生成注明原始行号的阅读副本。验收包括 host/native 一致、broker 请求摘要、工具反馈进入后续输入、完整终态和历史独立评分回执。仅保留用户要查看的两份样本及阅读文件。
完成:原归档已在 Mac 本地,不重复传输。展开到 artifacts/trace-preview-20261013-202420/,保留 Qwen frame-decoder 与 GLM RTC 两份原件、readable-trace.txt 和 inspection-checks.json,合计 38728096 字节。Qwen 与 trace4 批次归档 SHA-256 匹配历史记录;写入后逐文件核对 Qwen 17/17、RTC 20/20 摘要一致,host/native 一致,重新调用 evidence 均 VERIFIED。Qwen 7 请求、6 工具反馈、4584 事件,历史独立评分 87 项 PASS;RTC 27 请求、30 工具反馈、62492 事件,历史独立评分 PASS、批次重判一致。阅读版按原事件顺序保留完整助手消息、工具参数和结果,标注原始行号;重复上下文与逐 token 增量留在原始 JSONL。Codex 文件面板打开请求均返回 queued,聊天显示时打开;RTC 阅读版第 2422 行起可看编译错误、补头文件、复测的完整链。未重新运行模型或候选,未产生脚本、容器或网络;两份查看样本按用户新要求保留。其他并行工作的代码变更不属于本次操作。
2026-10-13 架构问题修复:模型参数、私有诊断与公开合同检查
审阅 GLM 二十题与 Qwen 基线后确认三处架构问题并逐一修复(先改 agent.md、architecture.md、task-authoring.md):
- 模型输出上限写死在镜像里:每次调整(GLM 32000→131072、Qwen 8192→65536)都要新镜像加 785 次重新校准,Qwen 基线所用临时镜像无法从仓库复现。现由
MODELS表给出max_tokens与线上字段,controller 以--model/--max-tokens传给 adapter,镜像内不留默认值;回执记录model_max_tokens与model_sampling=service-default,证据核对要求每个线上 payload 的上限等于回执值(可捕获 SDK 静默截到 32000 一类回退)。trace5 = trace2 digest 加新pi.mjs:bench-runtime@sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,已推送 CCR,镜像内 12/12 通过。此后调整上限只改MODELS,无需换镜像或重新校准。 - 准入查不出题面漏项:S500_n3_152 的隐藏测试调用 README 未公开的
process(request),GLM 的 0/2 与 Qwen 首轮 FAIL 都源于此,M1 报告已更正,不计能力信号。v2 在 README 公开该接口;bos_import对“隐藏判据使用、公开题面未提”的候选模块名直接拒绝,仓库测试对全部已准入任务重复检查(回退 evdev README 即失败)。只覆盖接口名,隐藏行为约束仍需评审。 - 评分信号过粗:
bos_verify仍原样运行原 check.py,失败子进程的 stderr 尾部抄到grade.stderr(可信侧,可能引用隐藏测试);批次报告fail_detail取其最后一行,没有时取评分 reason(如case 4 mismatch)。全部 Bos 任务更新判据包装并升为 version 2。
验收:Mac 72 项 Python 与 Node 7 项通过(SDK 5 项本地跳过、镜像内全部通过),36 上 72 项通过(1 项因 host 无 Node 跳过)。21 道任务用 trace5 完整校准 805 次全部符合预期,说明新包装不改变判定;evdev 初态在 Docker 中的 grade.stderr 带出 NotImplementedError 原文。真实 GLM 冒烟两条:frame-decoder PASS(11 次请求)、evdev v2 PASS(18 次请求,v1 上 GLM 为 0/2),均 VERIFIED;argv 实为 --model glm-5.3 --max-tokens 131072,全部 payload max_tokens=131072,清理 0 容器、0 网络。两份归档(3842204 与 375844 字节)上传 Salty 后下载核对一致,临时下载已删除。trace4 本地标签因并行会话可能使用而保留。
2026-10-13/14 Bos-qiao 原始数据核对与任务制作规范
用户要求确认 Bos-qiao 原始数据是否找全,并据此形成任务创建规范。只读核对 36,不写入任何源目录;全量扫描用 36 本地临时目录与低优先级进程,汇总后已删除。
- 原始存储为 BOS 桶
d-brain,本地副本Bos-qiao/d-brain/10,795 个文件、90 GB。9 月 1 日下载 10,794 个对象,其中 2 个“失败”是 0 字节目录占位;与 9 月 7 日清单(10,800 个对象)逐项比对,仅缺 3 个 1 KB 内的 rdstudio manifest。9 月 7 日之后的桶变化未实时核对(需凭据,未执行)。 - 只有
rdk-gateway/v2-spans(含 legacy,5/26 与 6/22–7/08)保存完整工具参数与结果:9,224 个文件、341,455 条 span、0 解析失败;2,408 个会话(168 个用户 ID),1,856 个有工具调用,263 个至少有 1 个文件在修改前被完整读取(215 个在板端device_*、48 个只在本地),每会话可回放文件中位 1、最多 8。flat-logs 的工具参数全部为空、内容只有预览;hermes 只有工具结果没有参数;rdstudio 只是对话摘要,均不能回放。此前recoverable_queries_v1用同一方法全量复核得到 18 条初态充分的 query,与本次结果相符;上一轮依据的派生sessions-spans-all只有 1,670 个会话,可回放数由 195 修正为 263。 - 另有不属于 Bos-qiao 的
/mnt/data/ming01.wang/data-litellm-1.0(2.2 TB LiteLLM 网关日志,8/18–10/08,自带统计 98.1 万段对话、25.3 万段带工具),抽样可见工具结果全文;未全量扫描,使用前需确认授权与脱敏。 - 安全:
Bos-qiao/download_bos.py明文写有 BOS AK/SK,list_bos.py/peek_bos.py以其为默认值,三个文件为-rw-rw-r--。本次未打印或使用该凭据,建议用户轮换并改为私有文件读取。
规范:将 task-authoring.md 改写为任务制作规范,合并 Bos-qiao 写题契约的判据准则、Terminal-Universe 回放规则与 M1 教训:四条来源路线(导入、回放、写题、工程问题)与各自产量,准入预筛(替身测试、不可判、缺材料、隐私、重复),初态/题面/判据/样例规则并标注机检、校准或评审,四道闸门,难度分池(同一配置 ≥5 次:全过进回归集、部分通过进主采集池、0 通过先复核题面)。规格模板 增加来源路线、来源 ID、隐私处理、替身测试、split 分组键、回放与补全清单、环境族和分池结论。未改代码与任务。
下一步:按规范导入 Bos direct 剩余 71 道候选(逐题记录拒绝原因),在 36 正式校准;路线 B 先取 48 个仅本地可回放会话中的 10 个试点,实测回放到准入的产出与人时。
2026-10-14 制题存储布局、镜像方式与 Codex 作业说明
用户问三件事:题目存哪(/home 不够)、镜像是否每题一个、如何让 Codex 按规范制题。
- 存储实测(36):
/home为 1.2 TB 多人共享盘,剩 150 GB(88%),本项目共占 3.6 GB(runs 1.9 GB、artifacts 289 MB、tasks 2.2 MB);Docker 在独立的/var/lib/docker盘(剩 128 GB);JuiceFS/mnt/data1 PB、剩 945 TB,挂载带allow_other。同日 JuiceFS 读一个小文件耗时 72 秒,逐题读取 Bos 目录 45 分钟只完成 16 题(已停止并删除临时目录)。结论:题目进 Git,制题与运行在本地盘工作副本,结束的批次台账、运行目录与归档迁入 JuiceFS/mnt/data/ming01.wang/embedded-rollout/{factory,runs,artifacts}。.gitignore增加factory/。 - 镜像:维持按环境族共用镜像、运行时挂载任务的现有设计(
core._docker只读根文件系统,挂载/workspace、/candidate、/grader);任务不能打进镜像,否则 Agent 可读到隐藏测试与 gold。 - 新增 task-factory-brief.md:给 Codex 的交付物、必读顺序、机器与访问、目录、镜像、数据地图、题库现状、路线 A 逐步命令与台账格式、路线 B/C 的启动条件、红线、已知坑与汇报格式;AGENTS.md 与 README 增加指向。36 已装 codex-cli 0.162.1,可匿名从 Gitea clone/pull——仓库含隐藏测试与 gold,建议用户确认其访问权限。
待用户确认的一次性迁移:36 现有 /home/ming01.wang/embedded-rollout 是 rsync 副本而非 Git 仓库,需改为 clone 自 Gitea,并把其中 M1 的 runs/、artifacts/ 迁入 JuiceFS;共享根目录下 2026-10-12 的旧代码副本待用户决定是否删除。迁移前需先把本次文档推送到 Gitea。
2026-10-14 磁盘保护:剩余空间下限与单次尝试上限
问题(用户侧聊指出,核对代码属实):Agent 容器的 /workspace、/trace 是输出盘上的可写挂载,控制端只用 communicate(timeout) 等待,写入量没有上限;Agent 还能经容器 1 号进程的 stdout 写进 host 的 agent.stdout,绕过 adapter 的 64 MiB 轨迹上限。36 /home 为多人共享盘,10-13 剩 51 GB、10-14 剩 150 GB,余量不能当安全边界。
实现(先改 architecture.md、agent.md):core._docker 启动任何容器前检查输出盘剩余,低于 50 GiB 不启动并记 termination=disk_low;core._process 改为每 2 秒轮询,Agent 容器运行中剩余低于 50 GiB 记 disk_low、本次 attempt 目录(st_blocks 统计,含工作区、trace、host stdout/stderr)超过 2 GiB 记 attempt_size,随即停止容器,处理同超时(容器清理 unknown、候选不冻结、回执 INFRA_ERROR)。评分容器只做启动前检查。测试新增 1 项(失控写文件被停止、剩余不足即停止、_docker 不启动且评分记 INFRA_ERROR),开发机剩余可能低于 50 GiB,测试内把下限置 0;删除大小判断后该测试失败。
验证:Mac 73 项通过;同步 rollout/core.py、tests/test_core.py 到 36(SHA-256 一致),36 73 项通过(1 项因无 Node 跳过)。36 实测(trace5):frame-decoder 完整校准 PASS;真实 Docker 失控写入(head -c 4MiB /dev/zero 循环,上限临时设 64 MiB)被停止,termination=attempt_size、回执 INFRA_ERROR,容器按名称复核已不存在,但停止前已写 2.09 GB——检查间隔内的写入仍会落盘,实际上限约为上限加 2 秒写入量,已写入 architecture.md;真实 Pi/GLM frame-decoder PASS,证据 VERIFIED(6 次请求)、Agent 正常退出、清理 confirmed。验证目录(2.0 GB,含 root 所有的写入文件)已删除,0 个 rollout- 容器、0 个专属网络,/home 剩 146 GB。Codex 说明补充阈值、余量不足即停下汇报(不得删除任何东西腾空间)与批次结束的磁盘汇报项。
2026-10-14 36 工作副本迁移
用户确认后执行。36 的 /home/ming01.wang/embedded-rollout 原为 rsync 副本,现改为从 Gitea clone 的 Git 工作副本(b5102e6),M1 运行记录迁入 JuiceFS。
- 迁移前确认没有运行中的 rollout 进程,新 clone 的
tasks/与旧副本逐文件一致(仅旧副本多一个__pycache__),rollout/、agent/、tests/相同;新副本测试 73 项通过(1 项因 host 无 Node 跳过),工作区干净。 - 旧副本的
runs/(31 项,1,905,560,892 字节)与artifacts/(5 项,302,338,726 字节)用 rsync 复制到/mnt/data/ming01.wang/embedded-rollout/{runs,artifacts},与已有的 M0 记录不重名;逐项核对文件数与总字节,36 项全部一致。另建空的factory/。 - 核对后删除旧副本。Agent 容器当时以 root 创建的 70 个路径普通用户删不掉,用 trace5 镜像起一个只挂载该旧目录、无网络、
--rm的容器删除,容器已不在;/home剩 143 GB。 - 共享根目录下 2026-10-12 的旧代码副本(
AGENTS.md、README.md、agent.md、.gitignore、.dockerignore、agent/、docs/、rollout/、tests/、tasks/、空的.tmp/,共 85 个路径,均为本人所有)经用户确认后删除;共享根目录现只剩.private/、factory/、runs/、artifacts/。 - Gitea API 显示仓库
private=false、internal=false,Mac 与 36 均可匿名读取;仓库含全部任务的隐藏判据与 gold,需由用户在 Gitea 设为私有,之后 36 拉取需配只读凭据。
现在 Codex 可按 task-factory-brief.md 在 36 的工作副本中开工。另:本地连跑 9 次测试,1 次在高负载下报 1 个错误(未能捕获是哪项),其余 8 次全部通过,待再现时定位。
2026-10-14 制题批次 20261014-A-bos-direct(完成;2026-10-15 冷迁收尾)
按作业 A 逐题盘点、静态导入、校准、独立评审及首次真实试采。边界:只新增任务与文档,不执行来源 shell/工具脚本、不直接读取或复制凭据、不写来源、不改平台、不推送;controller 仅接收已授权私有文件路径。基线 HEAD 为 3525e76b9abfba411f8d4b143e2721afc4c53a8f,fast-forward 已确认最新。
盘点与准入:182 个候选,importable 93(含已有 20)、rglob 84、ROS2 5。73 次新导入尝试中 67 成功、6 被导入器拒绝;67 题可信本地与正式 Docker 校准均 PASS。独立内容评审最终保留 54 题,拒绝 13 题,当前 tasks 为既有 21 题加新增 54 题,共 75 题。每道成功导入题都填写 spec 第 1、4、7 节,其余沿用 Bos 原题;拒绝题包与规格保留在批次 rejected 目录,不进任务池。
- 导入器拒绝 6:公开接口名字检查 1、静态样例解析不支持条件/rglob 循环 3、chmod 权限语句 1、样例数量超过上限 1;保留原拒因,不执行脚本绕过或硬改来源。
- 内容评审拒绝 13:n3_068 的定向 cheat 是语法错误坏例;n2_016 的 gold/valid 精确 PSD 检查存在浮点下溢;另外 n2_014、038、047、049、087、088、095、102、111、115、135 未公开 solve 顶层 list/空批 [] 输出合同。后 11 题由试采暴露后对 65 题逐项专项复核发现;原评审备份与修正记录完整保留。
- BLOCKED 89:84 道 rglob 题需要候选通配、多文件冻结与评分合同;5 道 ROS2 题需要正式环境族及固定镜像准入。本批继续下一题,不扩平台。
最终五族:motor-sensor-control 30、linux-device-abi 10、firmware-image-boot 6、embedded-vision 4、robot-navigation 4;完整 ID 清单及全部拒绝/BLOCKED 原因见冷盘 review.md。n3_094 原单题 real-time-scheduling 族回并到 motor-sensor-control,family 改变产生新 digest ae01826d377ff5a219796f83593bdc146eb0d4e098a5289ac7b6b9e69fab930a,新身份重新本地和正式 Docker 校准 PASS;旧回执只作历史事实。可信本地与正式 Docker 各 2195 次样例运行(包括该重校准),每类样例正式各五次符合预期。
闸门 3:54 道合格题均作一次 GLM-5.3 / Pi 0.73.1 真实试采,50 PASS、4 FAIL;全部正常退出、host/native/broker 对账 VERIFIED、cleanup confirmed,冻结候选在新无网评分容器重判 54/54 一致。原始物理尝试共 58 条完整轨迹(52 PASS、6 FAIL),另 4 条来自后被拒绝的公开输出合同缺陷题,保留原 PASS/FAIL、证据与封存事实,在 quality-report 中明确排除,不伪改 INFRA_ERROR 或当作能力信号。58 条原始轨迹全部重判一致,并按 archive 白名单、manifest 逐成员字节数/摘要核对后封存。
有效 FAIL 为 n2_013(巨大整数转 float 溢出,未按公开契约 ValueError)、n2_070(精确方差正值下溢,误过零门限)、n2_071(精确实数行列式门限误用浮点阈值)、n2_084(接收超过公开局部范围的观测)。只读核对候选、公开合同和首个评分失败证据;不声称后续用例通过,不修改候选或向运行 Agent 注入答案。真实 FAIL 不否决任务,54 题 spec 最终状态 ADMITTED;本批未做闸门 4,不能据单次结果作难度分池。
配置与验证:固定 trace5 runtime/actual image sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,GLM-5.3 每次回复上限 131072,sampling=service-default,四路并发,每题 3600 秒防挂死。基线、导入后及最终保留题集单元测试均通过;最终运行 73 项,1 项因 host 无 Node 跳过,其余通过。最终独立只读审阅确认 54 个 digest 与 admission/raw/quality 一致,规格满足模板,13 拒题均不在 tasks,已有 21 题及 rollout/agent/tests 对 HEAD 无改动。 Git whitespace 检查 exit=2:导入原材料/样例的 315 处格式提示(文件尾空行及行尾空白);无 spec 或本节提示,保留冻结原字节,不因格式重写已校准任务。真实日志另存冷盘 git-whitespace-check。
证据目标目录:/mnt/data/ming01.wang/embedded-rollout/factory/20261014-A-bos-direct/(inventory/import/gates/calibration/reviews/admission、raw report、quality report、review/summary 与拒绝包);运行证据位于同根 runs/20261014-A-bos-direct{,-dev,-calibration}/;58 个封存包位于 artifacts/20261014-A-bos-direct/。迁移前 source/回执保持冻结,五个目标均由本批独占新建,不覆盖历史数据。
收尾完成:五个批次目录冷迁时共 19743 个普通文件、1108494513 字节,逐路径文件数/字节、空目录结构及链接均一致,完整窗口 source before/after/final 元数据未变,58 包摘要与字节数全部核对。先核对再删除本批热副本;迁移后五根实测缺失、占用 0 字节(Git 任务包保留),残留容器 0、网络 0、活跃作业 0,disk_low 0、attempt_size 0。/home 可用 154132492288 字节(约 143.55 GiB)。四个目录普通用户直接清理;真实运行目录的权限残留仅用挂载该单个目录的无网 trace5 容器清理,helper exit=0 且已不存在。原始回执与轨迹不改写;最终 review/summary 在 cold 更新,迁移前版本另存,后续派生元数据不计入复制时原始 payload 统计。
迁移历史:第一次顺序复制小文件较慢,为提速按本批专属 PID/进程组正常中止,保留原记录,改为 16 路独占子目录复制。恢复预检发现一个 rsync 遗留 0 字节临时文件,明确记 BLOCKED;核对本批拥有的路径、UID、普通文件属性与源前缀后,完整保存到 migration-quarantine 并记录空文件 SHA,再移除原临时路径恢复复制。首次中止和预检阻塞事实均保留,最终第二次完整迁移已通过;不是模型 INFRA_ERROR,未删历史数据或为腾空间清理。准备版辅助脚本也在验证 cold 留档摘要后清理。
本地提交范围为 54 道新任务目录及本节;只提交 main、不推送。下一步按来源或平台所需合同解除已列拒绝/BLOCKED 后,以新身份重新准入;闸门 4 仍为另批范围。
限制:Salty CLI/连接不可用,上传及下载摘要核对单列 BLOCKED,本地封存不冒充已上传。既有 Bos wrapper 的 checker/candidate 同 UID 临时限制按 spec 的 shortcut 记录,未声称任意恶意候选隔离已解决;本批不改平台。原回执绝对路径与字节不改写,冷迁后入口尚无路径重定位合同,直接重跑需恢复原路径或审定合同升级。后续先由来源/平台对应升级解除拒绝或 BLOCKED,再以新身份重校准/试采;难度分池另批处理。
2026-10-15 Bos 判分隔离修复与重新校准
问题:bos_verify 把临时根目录连同 grader 副本全部 lchown 给 UID 65534,check.py 与它启动的候选进程同为 65534,候选可经 /proc/<check>/cwd/grader/check.py 读到隐藏用例与 oracle。10-15 已在 36 用 trace5 复现(S500_n2_070 加“查答案”样例,正式校准 5/5 PASS),因此全部 74 道 Bos 题此前的 PASS 都排除不了作弊。
实现(先改 architecture.md):verify 以 root 运行原 check.py,grader 副本归 root、目录 0700,临时根目录 0711,只有 work/ 归 65534。包装器让 subprocess.Popen 一律带 user/group=65534, extra_groups=[],tempfile.mkdtemp 新建的目录改归 65534。check 进程装有 audit hook:执行来自候选或临时目录的代码、从中 import 或 dlopen,以及隔离模式下调用 os.system/exec/spawn/fork/posix_spawn 时,以退出码 86 结束,verify 记 UNVERIFIED。check.py 原文未改。
分类(逐份读 74 个 check.py):
- 可隔离 38 道:36 道 n2 RUNNER 型,候选子进程只从 stdin 收输入、回传结果,期望值在 check 进程复算比对;S500_a3_838b7704edd2 的探针只回传调用记录;S500_a3_92990efd63db 只比对候选数据,执行的是 SHA-256 锁定的原始类。
- BLOCKED 36 道:35 道 tests.py 型(a1 7 道、n3 28 道),check 把隐藏 tests.py 复制进临时目录,由同一子进程 import、ctypes 加载候选,或把候选与 oracle 编进同一程序;S500_a2_426889b9a968 的
_probe.py在候选进程内断言隐藏用例。UID 隔离对同进程无效,原先粗估约 7 道偏低。 - 用户确认按 BLOCKED 失败关闭:这 36 道带私有
isolation-blocked.txt,verify 直接返回 UNVERIFIED,校准不能 PASS,run/pi_run 拒绝;bos_import 遇到根目录有 check.py 以外的*.py时自动加此标记。task-authoring、task-factory-brief、README 同步改为“候选只能在子进程里运行、只拿输入”。
Git:经用户确认,36 未推送的 f1acc8c(54 道新题)fast-forward 到 Mac main 并推送;Mac 上另一会话未提交的 deployment.md、progress.md 改动原样保留。修复提交 de3755c:74 道 Bos 题换新 verify.py 并升 version(1→2、2→3),其中 36 道加标记。
验证:
- Mac:75 项测试通过(Docker 探针 1 项跳过)。38 道可隔离题可信本地校准 37 PASS;S500_n2_158 的 gold 用
int.bit_count(),Mac 的 Python 3.9 不支持,镜像内 3.10 正常,不是本次回归。本地运行中 guard 没有一次误判。 - 36(de3755c,工作区干净):75 项通过(Node 与 Docker 探针 2 项跳过)。
ROLLOUT_TEST_IMAGE=<trace5> python3 -m unittest tests.test_bos_isolation在 S500_n2_070 上加cheat_lookup样例走正式 Docker 校准:探针 5/5 FAIL,子进程 stderr 为grader unreadable,gold PASS,整体 PASS。对照:同一测试换回f1acc8c的包装器,探针 5/5 PASS、测试失败,说明测试能抓住回退。临时目录已删除。 - 74 题正式校准(trace5 digest,4 路并发):
runs/20261015-bos-isolation-calibration/,共 2530 次样例运行。38 道可隔离题 PASS,每类样例 5 次全部符合预期;36 道 BLOCKED 为 UNVERIFIED,原因均为isolation blocked。回执的 digest、version、image 与当前任务包一致,cleanup 全部 confirmed。结束后 0 个rollout-容器、0 个网络,/home剩 141 GB。运行目录 39 MB(8347 个文件)与日志 308 KB 暂留 36 本地盘,供下批 pi_run--calibration复用,批次结束后按 brief §4 迁冷盘。
限制:
- root 身份的 check 会跟随候选在共享临时目录里放的符号链接(代码内 shortcut)。
- guard 只看 Python 层审计事件:经 ctypes 直接调用 libc 的 fork、用
spec_from_file_location加载候选扩展模块都不在覆盖内。目前 38 道题都不在 check 进程里执行候选代码。 - 旧包装器下的历史 PASS(M1 与 20261014 批次轨迹)仍排除不了作弊;38 道可隔离题的冻结候选可用
rollout.regrade按新版本重判,尚未做。 - 36 道 BLOCKED 题须按 RUNNER 方式重写判据,升版本后重新准入。
下一步:重判 38 道题的历史 PASS 候选;另批重写 36 道 BLOCKED 题的判据。
2026-10-15 制题批次 20261015-C-embedded-pilot
按本批 BRIEF 执行路线 C,在 serial-protocol 一个族内原创五道 C11 现成工程修复题;盘点 5、新增并准入 5、拒绝 0,闸门 1–3 各通过 5。仅新增五个任务目录与本节,不改平台或已有任务;main 只做一个本地提交,不推送。开工 git pull --ff-only 已最新,工作区干净,/home 可用 150373117952 字节,超过 60 GiB。
| 任务 | 工程文件数(源/头) | candidate_files | 真实通过 | 工具调用数(三次;中位) | 耗时秒(三次;中位) |
|---|---|---|---|---|---|
| serial-hdlc-recovery | 8(6) | hdlc.c、packet.c | 3/3 | 29、47、34;34 | 412.726、510.550、724.110;510.550 |
| serial-cobs-recovery | 8(6) | cobs.c、packet.c | 3/3 | 32、48、40;40 | 454.087、821.667、558.291;558.291 |
| serial-fragment-reassembly | 7(5) | reassembly.c | 3/3 | 27、18、35;27 | 309.405、262.400、344.334;309.405 |
| serial-dma-ingress | 9(7) | ingress.c | 3/3 | 25、29、19;25 | 182.786、337.411、167.179;182.786 |
| serial-rtu-timing | 7(5) | rtu.c、rtu_timing.c | 3/3 | 31、29、29;29 | 308.957、322.570、209.589;308.957 |
每题初态可编译,判据仅 check.py,verify.py 原样复制 bos_verify;只读工程与 template 逐字节一致,C harness 只输出原始观察,Python 独立复算预期。输入、工程和编译在候选运行前准备,之后不访问共享 scratch。每题检查项与公开条款逐项对齐,均有七类样例。最终身份可信本地和 trace5 Docker 各 175 次样例运行全部符合预期;125 次负例均成功编译后按设计机制行为失败,gold 与不同结构合法解全部通过。开发及正式校准历史共 22 次、770 次样例运行全部保留。审阅发现的 CRC/XOR 自测字节、公开规模/期限、RTU 负例构建告警及 HDLC chmod 故障均在采样前修正,失败或失效回执不作准入证据。
真实环境固定 trace5 digest/actual ID sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,GLM-5.3 / Pi 0.73.1,回复上限 131072、sampling=service-default、四路并发、3600 秒防挂死。15 条完整真实轨迹:15 PASS、0 FAIL、0 排除,host/native/broker 均 VERIFIED、Agent 正常退出 0、cleanup confirmed。15 个冻结候选全部在新容器独立重判一致,15 份 archive 经 manifest 逐成员字节/SHA-256 与外包摘要复核通过。工具共 472 次;usage input 589072、output 384792、cacheRead 8293248、totalTokens 9267112,费用未知。
通过率分布为 5 题均 3/3,按 BRIEF 全部照常准入并标回归候选;未达到“GLM-5.3 不能稳定一次做对”的难度目标,未产出部分通过题,不重抽或扩量。闸门 4 未执行,三次试采不能冒充至少五次的分池证据。基线 75 项通过、2 项环境跳过;最终 ROLLOUT_TEST_IMAGE=<trace5> python3 -m unittest discover -s tests -v 75 项通过,仅 host 无 Node 跳过 1 项,真实 Docker 隔离探针已运行通过。根 Agent 与非作者交叉只读审阅通过,全部任务摘要与准入、校准及真实回执一致;最终 Git whitespace 检查通过。
证据位于 /mnt/data/ming01.wang/embedded-rollout 下同名 factory/20261015-C-embedded-pilot/、runs/20261015-C-embedded-pilot{,-dev,-calibration}/、artifacts/20261015-C-embedded-pilot/。factory 保留 inventory、admission、calibration-history、failure-mechanisms、package-audit、report、summary、review、测试及资源记录。冷迁已完成:原始payload共3452个普通文件、287924302字节;非log双端SHA、路径/size/mode/mtime与源冻结核对通过,最终log另行复制并复读SHA。精确删除五个已核验热根,实测缺失、热payload占用0字节。迁移42份派生记录共22284251字节另存cold factory的migration-evidence/及manifest,不计入原始payload;storage-final.json列最终事实。
已按本批前缀、UID、普通文件树及源码与冻结样例/harness 摘要核对清理 494 个可信本地 scratch,实际剩 0;本批已记录 325 个容器及 15 个网络均无残留,没有 prune 或清理其他作业。结构化事件核对 disk_low 0、attempt_size 0。活跃批次作业0,迁移临时目录已在复制/SHA核对后清理;/home可用140569747456字节(约130.92GiB)。首次终核因950个目录utime与冷树复扫超过等待窗口、活跃Codex日志增长而安全失败,未删源;完整保留失败冷log快照/摘要及回执后,仅移除本次生成的失败log,重新全量核对非log冷元数据并经独立只读审阅,将耗时核对前置,最后0.704秒同步完成log快照/源冻结检查与精确删除。最终票据明确采用先前双端SHA、prepare全量元数据与冷目标唯一写者证据,没有宣称末阶段又做全量SHA。原始payload与回执不改写;迁移派生记录另增,不回写封存轨迹。Salty CLI 本机不可用,上传及下载摘要复核单列 BLOCKED,未上传;解除条件是提供已登录 CLI/连接后按归档合同完成上传、下载核对并删除临时下载。原回执绝对路径与字节不改写;冷迁后直接重跑需恢复原路径或先审定路径重定位合同。
下一步:停在本批五题闸门 1–3 的审阅点,等待用户审阅后再决定难度调整或同族扩量;Salty 发布待具备连接后补齐。未做硬件验证、模型训练或权重更新。
2026-10-15 BLOCKED 判据重写试点(3 道)
目标:验证 36 道 isolation-blocked 题能否把判据改成“候选只在子进程里运行、只拿输入、回传原始结果,期望值与断言全部留在 check.py”,并估算其余题的工作量。题面、template、公开接口与原有样例都不变。
选题:Python n3 取 S500_n3_133(iio_scan,tests.py 84 行,含严格类型比对、改输入与别名探测、CLI,是剩余 Python n3 的典型形态);C n3 取 S500_n3_102(rtc_client,tests.py 把带断言的 C 驱动与候选编进同一程序;剩余 8 道 C/C++ 题有 6 道是这种 harness 型,ctypes 型只有 n3_041);以及 S500_a2_426889b9a968。
实现(每题只改 check.py、task.json,删掉 isolation-blocked.txt 与已并入 check.py 的 tests.py,新增 cheat_read_grader 样例):
- n3_133 v2→v3:用例生成代码原样搬进 check.py(同一随机种子,输入不变)。RUNNER 子进程 import 候选,从 stdin 收全部用例,回传按类型标记的结果(保留原 strict 的 list/tuple、bool/int 区分,dict 不计键序)、ValueError、是否改了输入、别名探测后的长度;CLI 由 check 直接以 65534 运行。
- n3_102 v3→v4:日历与故障组合在 check.py 用原种子生成;新 harness 只把每个用例的 rc、errno、调用次数、fd 是否仍打开、out 原始 32 字节和桩记录的调用(request、fd 是否一致、fd 是否打开、buffer 是否非空)打印出来。桩不再断言,只在 request 匹配时写 buffer;期望的 errno、调用序列与 out 字节由 check.py 计算。输出行带随机前缀,候选自己的整行打印不影响判分。
- a2 v2→v3:systemd 字段仍在 check 进程解析;原
_probe.py的断言改成 RUNNER 回传原始观察(签名默认值的 repr、日志字节、sleep 参数序列、stderr 是否非空、非法样本是否抛 ValueError、无限模式如何结束、CLI 退出码与日志),比对全部在 check.py。原 probe 在桩里断言 sleep(60),候选若吞掉该异常可能漏判;现在 sleep 参数序列在 check 里比对,按 README 同样要求 60。 - 三题都先写好全部输入文件,候选运行后 check 不再读写临时目录。
- cheat_read_grader:gold 前加一段探测,读得到
/grader/check.py、/proc/<父进程>/cwd/grader/check.py或任一进程命令行里的*/grader/check.py才按 gold 行为解题,否则以grader unreadable失败(C 版 exit 3)。
验证:
- 新旧判据等价:对 gold 做 45 个手写变异(a2 14、n3_133 15、n3_102 16,含改默认值、少 sleep/多 sleep、吞坏样本、tuple 代替 list、帧别名、改输入、重试 EINTR、ENOTTY 兼容、闰年 400 规则、提前写 out、关 fd、调试打印、改头文件等),旧判据(HEAD 的 check.py+tests.py)与新判据逐个在 Mac 上本地运行,判定 45/45 一致(gold 与“打印调试行”“dict 键序不同”PASS,其余 FAIL)。
- Mac 可信本地校准:a2 35 次、n3_133 45 次、n3_102 50 次全部符合预期,PASS(Mac 没有 /proc,cheat_read_grader 读不到判据而 FAIL)。Mac 测试 75 项通过(Docker 探针 1 项跳过),公开接口名检查覆盖新 check.py。
- 36 正式校准(trace5 digest
sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,三题并发):runs/20261015-bos-rejudge-pilot-calibration/,共 130 次样例运行,三题均 PASS,每类样例 5 次全部符合预期,cleanup confirmed;cheat_read_grader 15/15 FAIL,stderr 都是grader unreadable。task digest 与 Mac 一致:a2 v33a52bb6fcdad58b3bac6afcd63c34b1190d5c9c3be2c5367f385bcc4285799d6、n3_133 v3a40ca298e8de04beaead1f553102d4316e236ecb13dfb118efde0711fe94bced、n3_102 v4fbb4656868e10011a52489a66c6943cdce30837e7f60e7a33d63515b27f4a10e;verifier 未改(5c12094d…)。校准墙钟 22/77/37 秒。结束后 0 个rollout-容器、0 个网络,运行目录 2.4 MB 留在 36 本地盘供--calibration复用。 - 对照:同样的任务副本在 36 上走可信本地校准(无隔离),三题的 cheat_read_grader 都 5/5 PASS,其余样例全部符合预期,说明这个样例确实能抓到判据泄露,正式校准里的 FAIL 来自隔离。因此在 Linux 上做闸门 1 时,这个样例不符合预期属正常,已写入 task-authoring §7。对照输出已删除。
- 任务副本经 tar 传到 36 的
.tmp/rejudge-pilot-20261015/tasks(Git 忽略),未改动 36 工作副本的受控文件。第一次用 macOS tar 传输时带了 96 个._*文件,digest 不一致,已删除并用COPYFILE_DISABLE=1 tar --no-xattrs重传。
工作量(Agent 墙钟,同一会话连续完成,按文件时间戳):13:57 开始,通读合同、选题并写完 a2 判据到 14:05;之后每题写 check.py、作弊样例并跑变异对照约 3–4 分钟(n3_133 14:08、n3_102 14:11 写完,变异对照 14:13 前结束);36 传输与三题并发正式校准 14:14–14:18,对照与文档在其后。按人工估算:纯函数型 Python 题约 1–2 小时/题,带桩或回调的 Python 题与 C harness 题约 2–4 小时/题,均含变异对照与校准。
其余 33 道的形态:Python 少桩(与 n3_133 同型)17 道:a1_993e8b5b0064、a1_2718bf3679a5、a1_42207d48c1f6、a1_35c5ce8f8465、n3_012、017、045、053、094、134、142、146、148、153、154、156、157;Python 多桩或回调(与 a2 同型,桩更多)8 道:a1_9c6eba37e895、n3_076、085、088、100、144、152、158;C/C++ 8 道:n3_037、041(ctypes)、104、108、126、155、a1_03167860845e、a1_305ad288e24f。
结论:值得转换。33 道占当前 75 题的 44%,转换不改题面、template 和样例,每题成本远低于新导入一道题(路线 A 0.5–1.5 人日),模式已固定,变异对照能发现判据被放松。建议按上面三组顺序批量转换,每题仍做变异对照、Mac 可信本地与 36 正式校准,并补 cheat_read_grader。
限制:
- 三道试点是新版本身份,只完成闸门 2;旧版本的真实试采、准入与 spec 中的 ADMITTED 只作历史事实,新版本需真实试采后才能恢复 ADMITTED。
- RUNNER 和 harness 与候选在同一进程,候选可以伪造回传;伪造出的结果仍要与 check 里的期望一致,相当于解题,但“未修改输入”“调用了几次桩”这类观察只能抓到诚实的错误实现,与 n2 RUNNER 题相同。
- 任务改动只在 Mac 工作区,未提交、未推送;36 上的正式校准用的是相同 digest 的副本。
下一步:用户确认后,按三组顺序转换其余 33 道 BLOCKED 题;三道试点提交并同步到 36 后做一次真实试采,恢复准入。
2026-10-16 Mac 断电前停机
- Qwen 批次
20261016-qwen-20:60 条中 30 条已完成;正在跑的 4 条(hal-bus-recovery ×3、hal-dma-callback ×1)按 PID 发 SIGTERM,回执为 INFRA_ERROR、agent_termination=interrupted;现场复核 0 个 rollout 容器、0 个 rollout-pi 网络。新增factory/20261016-qwen-20/resume_qwen.sh(36),只重跑没有非中断回执的尝试(模拟运行剩 30 条),完成后出报告。 - Codex 批次
20261016-C-embedded-3:migrate.py final-delete停在 verify_target(重新计算目标哈希)阶段,final-check.json 未写,没有删除任何文件;已 SIGTERM Codex 及该进程,主会话01a1437b-a5c9-7341-8db2-57c7f13bbd1c。 - Mac:停掉 17898 代理隧道和另一会话的监视脚本,bench 虚拟机
limactl stop。中继隧道、bench 虚拟机、Clash Verge 开机自启。
下一步:Mac 开机且 Clash Verge 已启动后运行 sh factory/restart-after-poweroff.sh(本机 gitignore)。它会起隧道并验证,然后续跑 Qwen,再 resume Codex 会话。
2026-10-17 批次 20261016-C-embedded-4(执行中)
目标:按 factory/20261016-C-embedded-4/BRIEF.md 完成 A 规范修订、B 五道 HWE 现象型 C11 任务、C Qwen 流式空闲期限修复及历史补跑、D Qwen 试采。优先 A/B/D,C.3 最后;本批只做本地提交、不推送,结束停在审阅点。
范围:规范与规格模板、五个新任务目录、批次台账和运行证据;平台仅允许 model_proxy 的上游空闲期限由 300 改为命名常量 900 秒及对应测试/架构文档。已有任务行为不改;第 3 批两道 v2 与三道 Bos 新版本仅补闸门 3 和状态记录。已知第 3 批三道来源的变体命中保留集,本批只报告,交用户决定去留。
验收:五题来源 public、基础ID和全部变体未入保留集且未复用;五个知识点互异;每题 C11 源码至少600行、现象型题面、有据可查的判据、隔离及完整正负例/合法替代解;闸门1/2通过后每题Qwen三次,另补两道v2和三道Bos各一次;2路并发、3600秒防挂死、凭据只传私有路径。全部完整候选重判/归档和证据核对后迁冷盘,本地批次副本清理。历史20题按有效完整轨迹补到每题3次,仍中断最多再补一轮,透明报告未完成次数。
开工事实:main=e70e129、工作区干净,git pull --ff-only 已最新;旧作业 progress.log 已有 launches stopped,现场无 pi_run 进程;/home 可用81GiB,超过60GiB开批线。外部依赖为已固定trace5镜像、Docker、Qwen服务、私有凭据路径和JuiceFS冷盘;不使用GLM。下一步:先提交A,确认无旧运行后单独提交C.2,制作并校准首个纵向任务,再扩到五题。
2026-10-17 续作执行
按 factory/20261016-C-embedded-4/CONTINUE.md 续作,不读取或续用旧 codex.log。先补五题至每题三条有效 Qwen 轨迹(已有两条有效、两条中断不计),再补五条闸门3,完成报告、独立重判、归档与五题本地提交;最后历史二十题补齐并迁冷盘。只用 qwen3.8-27b-nvfp4、两路并发、3600秒期限;复用已通过的同身份正式校准,不改任务行为、不推送。开工 /home 可用81GiB,现场没有 pi_run。外部依赖为固定trace5镜像、Docker、Qwen服务、私有凭据路径和JuiceFS;Salty是否可用另核对。下一步:执行13条试点补采,逐批核对完整证据、清理和实际判分。
2026-10-17 试点和闸门3补采完成
续作未读取或续用旧会话日志。五题来源均public、基础ID及任一变体均未命中保留集、无复用;当前身份正式Docker校准共225次全部符合预期(每题45次),独立合同审阅通过。条件隔离校准样例均按预期拒绝;掩盖症状样例在变体场景下失败。普通stderr探针合法,wire以最终公平性修正后的身份准入。
| ID | HWE基础ID | 知识点 | C/头行数 | 候选文件 | Qwen有效结果 | 中位工具 |
|---|---|---|---|---|---|---|
| diag-device-session | gi-leak-error-path-multi-fd | 多描述符失败回滚与配置事务替换 | 925 | session.c | PASS、PASS、PASS | 26 |
| diag-lock-cleanup | gi-lock-cleanup-double-unlock | 错误与取消路径的锁所有权 | 724 | job.c、cleanup.c | PASS、PASS、PASS | 21 |
| diag-signal-notify | gi-sig-handler-errno-save | 信号保存errno与传输进度提交 | 789 | notifier.c、transfer.c | PASS、PASS、PASS | 22 |
| diag-window-reader | gi-intovf-offset-range | 数学区间检查与采样乘积回绕 | 602 | range.c、session.c | PASS、PASS、PASS | 20 |
| diag-wire-reader | dbg-ubsan-misaligned-load | 字节缓冲区的安全对齐读取 | 626 | cursor.c、decoder.c | PASS、PASS、PASS | 27 |
试点17次原始尝试中15条完整PASS、0条完整FAIL;续作前2条无回执中断独立保留排除,本轮13条补采全部完整有效。每次Qwen、两路并发、3600秒、最大输出65536、service-default、无费用/轮数上限,凭据只传私有路径。有效通过率100%,高于30%–70%目标;五题均为回归候选,不据三次正式分池。根据候选范围151–334行、gold变更15–24行、公开协议与确定性复现的工程结构,推测定位范围和修复规模仍偏小;本批未为凑通过率改题重跑。
闸门3补采:concur-cond-workqueue v2、mem-zero-copy-ring v2、S500_n3_133 v3、S500_n3_102 v4、S500_a2_426889b9a968 v3各1次Qwen,全部PASS/VERIFIED、Agent正常exit0、cleanup confirmed。本阶段20个冻结候选独立重判20/20一致,20份archive的显式成员、源字节和SHA-256均通过。三道Bos新版本技术闸门3补齐;两道v2不再依赖GLM。旧批次的失败/中断原件不改写,新增补采旁路记录。
来源限制仍保留:concur-signal-defer←dbg-sig-handler-locks、concur-lock-transfer←dbg-tsan-deadlock-order、concur-cond-workqueue←dbg-tsan-cond-predicate各有变体命中保留集;本批只报告,由用户决定去留,技术闸门3通过不解除来源问题。
证据:factory/20261016-C-embedded-4/phase3-summary.{json,md}、三个postprocessed-report、postprocess逐条重判/封存审计;runs/20261016-C-embedded-4/{pilot-first,pilot-resume,gate3-supplement};artifacts/20261016-C-embedded-4/。本机Salty CLI及连接工具缺失,上传/下载摘要复核单列BLOCKED,当前完成本地封存。原回执路径和字节保留,冷迁后复跑须恢复原路径或先审定重定位合同。
检查:续作全量unittest运行75项,73通过、2项环境跳过(host无Node、未配置Docker隔离测试镜像);exit0。五题当前digest及样例摘要与校准完全一致;独立只读审阅无实质问题,Git空白检查通过。迁移临时smoke与真实Docker权限helper均PASS,三个测试容器消失。已按逐文件证据核验清理338个本批host scratch、2961文件、20443089字节;活动采样对象未动。
下一步:本节与五个新任务目录作为一个本地提交,不推送;之后历史二十题按有效缺额补28条Qwen(两路、3600秒,仍中断最多再补一轮),完成汇总、重判/封存和冷迁后停止。本批旧禁读codex.log将不打开/hash/copy/delete,保留在热端作为明确例外;其余本批payload核对后精确清理。