Codex 69521e54e0 Add 15 embedded repair tasks and correct grader-read controls
Complete batch 20261016-C-embedded-2: 45 verified GLM/Pi samples, independent regrades and archives; preserve difficulty misses and Salty blockage.
2026-10-16 14:23:48 +08:00

14 KiB
Raw Blame History

任务规格:fw-image-stream

参照 制作规范。本文件含根因和私有验收信息,不进入Agent。

1. 身份与来源

字段 内容
task-id / 版本 fw-image-stream / 1
作者 / 独立评审 Codex firmware制题agent / 根agent与ABI独立审已通过
审核状态 ADMITTED;3/3完整PASS,独立重判与标准归档闭环;仅回归候选
原项目 / 冻结版本 本仓库本批原创C11工程;task digest b5eeeefdc0a935fc16fbf37808680a48c67e3b85f2b9356e1d1862552ff6ccb5
来源路线 / ID C,原创 / original/image-stream
来源与授权 用户本批BRIEF授权原创制题;无外部代码、用户会话或授权不明资产
隐私 无用户内容、凭据或外部路径
替身测试 软件。字节流、元数据和文件Flash在受控输入下复现,原问题不依赖电气或板端时序
split分组键 / 来源组 original/image-stream / original/image-stream
根因族 / 与已有题关系 串行镜像容器解析、扩展头和分片重同步;独立问题,非参数改写的serial变体
验证范围 C11可执行程序的输入、返回码、回调、状态和原始文件字节观察
未验证范围 实板、启动ROM、电气掉电、密码学认证、硬件时序

原创问题说明:多次feed的部分头被丢弃;reset后floor未更新;镜像完整性、资格与扩展头组合被误接受或拒绝。 不声称来自真实现场工单。

2. 初态与环境

  • template为完整可编译工程:policy.c, codec.c, main.c, image.h, stream.c,另有Makefile和公开README。
  • 所有文件原创;非轨迹回放,无补全缺失来源文件。冻结上下文逐字保存在私有cases.json,check用它构建,候选只能影响声明文件。
  • 源码合计640行(.c/.h,含正常空行与接口注释,不计README/Makefile);候选 {'stream.c': 123, 'policy.c': 148},总计271行现有代码。
  • 8处行为缺陷跨两个候选文件和多个函数;单次最小请求不能暴露分片、连续启动或掉电恢复路径。gold/template差异 +15/-9,合计24;保守替换计一次仍至少15行。
  • 公开资产仅template与prompt;私有资产为check.py、cases.json、spec、gold/valid/负例。验证器逐字复制rollout/bos_verify.py,grader_files仅check.py与非.py数据。
  • 环境:C/Python runtime、Linux、C11、Python3标准库;无安装、联网、板卡或外部服务要求。
  • 固定镜像:ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc(trace5)。实际image ID sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc。
  • 资源:评分512MiB/1CPU;编译子进程20秒,程序12秒,包装器100秒,任务120秒;Agent为2GiB/1CPU,真实采样防挂死3600秒。
  • 构建依赖全部在镜像或源码中。运行在唯一scratch,候选启动前冻结源码与输入;启动后root check不读写/遍历/删除scratch。

3. 公开题面与接口

题面见prompt.md,template/README逐字相同。按P1接口、P2/P3模块合同、P4跨调用/持久状态组织,描述症状,不指出错误行/函数。构建argv见P1与Makefile,正常构建/处理返回0,语法错误2,业务错误按题面公开返回码或事件表达。只评分 stream.c, policy.c,不依赖新增文件或构建产物。

4. 验收矩阵与合法解

判据检查项 公开条款原文位置 输入/场景
镜像字段、头维度、board和CRC P2「基本头固定32字节」「校验不能信任报文声明」 single-complete / crc-not-self-report / header-and-policy-invalid
TLV数量、唯一性、critical、填充、entry/dependency P3「必须各出现且仅出现一次」「未知类型」「entry必须4字节对齐」 duplicate-options / unknown-critical / unknown-noncritical-padding / header-and-policy-invalid
rollback等号和reset新floor P3「大于等于当前floor」;P1「替换防回滚下限」 rollback-equality / reset-floor-transition
分片、空feed、噪声后缀、重同步、连续包、嵌套合法包 P4「只丢弃该magic的首字节」「不应因feed的边界丢弃未完成内容」「最长0..3字节」 split-header-and-payload / resync-inside-bad-payload / reset-partial-and-noise-suffix / mixed-0..23
回调数据、累计计数、未决缓存、输入不变 P1「不修改调用者输入」「累计交付数」;P4「pending必须与上述扫描后残留一致」 所有F的V/A/S原始观察
  • 所有数值、边界、错误码、布局与观察格式均公开。隐藏的是具体组合、随机种子和数据,未增加隐藏精度或接口要求。
  • oracle使用Python字节切片、struct、zlib和独立状态模型,不调用gold生成预期。harness只打印调用结果、状态与原始数据,不持有期望、断言或通过标记。
  • 每个模式固定种子;正常、边界、非法、跨调用、恢复与组合场景全部必须一致。单次输出整体逐行比较,无跳过。
  • valid_bulk 使用批量拷贝摄取而gold逐字节推进,相同公开状态与事件可通过。
  • 硬编码公开演示、忽略校验或省略状态步骤会在动态输入下被拦截;构建成功或退出0本身不代表成功。
  • 正式入口stdout一行JSON,checks=1代表完整check套件执行,PASS/FAIL分别退出0/1;缺环境或隔离不能成立为UNVERIFIED,基础设施异常另记。详细失败只进入私有stderr。
  • Docker中编译器和程序均UID65534,check保留root;候选不得读/grader,包含read-grader的正反对照。没有历史归档、其他任务答案或凭据挂入工作区。

5. 样例与校准

样例 候选文件 预期 实际失败机制/合法性
gold stream.c, policy.c PASS 完整行为通过
template stream.c, policy.c FAIL FAIL: AssertionError behavior mismatch split-header-and-payload at 7: S 0 0 expected S 0 7
noop stream.c, policy.c FAIL FAIL: AssertionError behavior mismatch single-complete at 1: A 2404831243 expected V 41 5 0 1 8 6162636465666768
cheat stream.c, policy.c FAIL FAIL: AssertionError behavior mismatch crc-not-self-report at 50: V 43 5 0 1 8 6162636465666768 expected A 3674644687
cheat_read_grader stream.c, policy.c FAIL FAIL: AssertionError behavior mismatch single-complete at 1: A 2404831243 expected V 41 5 0 1 8 6162636465666768;Docker stderr为 read-grader: denied; using noop;host可读时完整实现PASS。
cheat_stream_only stream.c, policy.c FAIL 仅修复feed结束清空分片这一处缺陷,保留reset及全部policy缺陷。 实际:FAIL: AssertionError behavior mismatch rollback-equality at 24: A 2404831243 expected V 41 5 0 1 8 6162636465666768
cheat_policy_only stream.c, policy.c FAIL 仅修复已知TLV重复检查,保留其他七处缺陷。 实际:FAIL: AssertionError behavior mismatch split-header-and-payload at 7: S 0 0 expected S 0 7
valid_bulk stream.c, policy.c PASS 完整行为通过
  • Docker正式校准:/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-2-calibration/calibration-fa1c7359e0684637b0f1bd7232260d7c,8类各5次,共40次,全部符合预期,整体PASS,cleanup=confirmed。
  • 可信host校准:/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-2-dev/calibration-92f0544f10b744138ea11c6277affd1c,8类各5次。gold/valid和常规负例全部符合预期;正确read-grader可读/proc父进程cwd的grader后走完整gold,因此5次PASS,整体FAIL。这是无UID隔离host的阳性对照,未强行隐藏路径以伪造隔离通过;正式准入以Docker拒读与FAIL为依据。
  • 命令和完整日志:factory/20261016-C-embedded-2/firmware/fw-image-stream-{local,docker}-final.log。正式task identity b5eeeefdc0a935fc16fbf37808680a48c67e3b85f2b9356e1d1862552ff6ccb5;verify SHA256 5c12094deda2dc1b70016e0edd1c8a21c6d762da78fca61433b45e91cb30b8c0。
  • 重置一致性40/40,未出现UNVERIFIED或INFRA_ERROR;旧开发身份的attempt保留事实,不沿用准入。

6. 真实试采与证据

本题真实试采已完成:3/3完整PASS,原生轨迹均VERIFIED、controller与评分cleanup均confirmed;3次独立重判全部与原判一致,3份标准rollout.archive归档的manifest、候选/公开题面绑定及文件SHA均已核验。工具调用按native tool_execution_end计数,中位数为31。

根统一配置为GLM-5.3(model_id=glm-5.3、openai-completions、max_tokens=131072、service-default采样)、Pi0.73.1、固定trace5镜像digest aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,Agent防挂死3600秒、全批最多4路并发。仅软件过程/受控替身验证,没有实板、电气、真实硬件时序或硬件通过声明;费用缺字段仍记unknown。

controller 工具调用 独立重判 标准归档
pi-6b8c0e5bcb814895982e32a3f445161e 55 PASS,一致 manifest/SHA已核验
pi-90716bda79184562ba1125b3e109e2ac 26 PASS,一致 manifest/SHA已核验
pi-e91309a20ea044a4be07a085bf73e08d 31 PASS,一致 manifest/SHA已核验

本表由rollout.report.report和只读verify_chain逐条核对;原始证据及归档摘要索引在factory/20261016-C-embedded-2/postprocess/.json。本题最终root批准依据为批次独立审阅,以及2026-10-16本次根agent明确授权将HAL5+FW5私有spec按制作规范§9收尾为ADMITTED;评分冻结身份未变。

每题仅3次同配置试采,所以当前为“回归候选”;尚未达到闸门4每题至少5次的正式难度分池门槛,不登记为正式回归集或主采集池。既有缺陷表、修正历史和静态覆盖限制继续有效。

Salty状态BLOCKED:当前无可用Salty CLI/tool入口,未完成上传/下载摘要核对;目标仍为personal:/embedded-rollout。本地标准归档完成不代表Salty持久上传完成。全量冻结评分实测记录为tests-final-after15.log:75运行、74PASS、1SKIP(host缺Node),Docker隔离实测PASS;calibration-audit-final.json为15题600次Docker和600次host、75拒读/75可读gold对照,package-audit-final.json为20题全PASS。本次仅收尾私有spec,没有重跑候选。

controller、网络、代理、Agent和评分回执cleanup均confirmed。根已按作者证明精确删除1757个scratch根,事实见删除回执,不是本题新增清理动作。冷迁目标为 /mnt/data/ming01.wang/embedded-rollout;最终冷迁与commit结果仅以该冷目录的 factory/20261016-C-embedded-2/migration-evidence/completion.json 为准,本规格不提前宣称已迁移或已提交。

7. 评审与准入

  • 原创来源、初态、完整公开合同、可编译工程和替身测试已核对。
  • Docker各类5次全部符合预期,read-grader stderr确认为拒读,cleanup confirmed。
  • 每个FAIL fixture均成功编译,以实际行为差异拒绝,未用语法错误冒充机制。
  • 以下逐缺陷探针从gold只重新引入该一处缺陷,全部成功编译并被独立场景拒绝;与只修一处仍失败的fixtures互补。
  • 根与ABI独立审通过;真实3次均完整PASS,controller见第6节。
  • 3次独立重判一致、标准归档manifest/SHA核验完成;回执cleanup与精确scratch删除事实见§6,冷迁/提交另以completion.json为准。
重新引入的单缺陷 实际check失败证据
partial FAIL: AssertionError behavior mismatch split-header-and-payload at 7: S 0 0 expected S 0 7
reset-floor FAIL: AssertionError behavior mismatch reset-floor-transition at 44: V 41 5 0 1 8 6162636465666768 expected A 2404831243
unknown-critical FAIL: AssertionError behavior mismatch unknown-critical at 34: V 1 5 0 1 4 61626364 expected A 1941925686
duplicate-options FAIL: AssertionError behavior mismatch duplicate-options at 28: V 1 8 0 1 4 61626364 expected A 2489270200
rollback-equality FAIL: AssertionError behavior mismatch rollback-equality at 24: A 2404831243 expected V 41 5 0 1 8 6162636465666768
header-crc FAIL: AssertionError behavior mismatch crc-not-self-report at 50: V 43 5 0 1 8 6162636465666768 expected A 3674644687
payload-crc FAIL: AssertionError behavior mismatch crc-not-self-report at 52: V 41 5 0 1 8 616263646566676c expected A 2285573138
entry-bounds FAIL: AssertionError behavior mismatch header-and-policy-invalid at 96: V 1 5 4 1 4 61626364 expected V 41 5 0 1 8 6162636465666768

逐缺陷原件位于 factory/20261016-C-embedded-2/firmware/probes/fw-image-stream/,输出汇总为probes/results.json与probe-defects.log。独立审查、真实链路、重判与标准归档均已闭环,最终状态ADMITTED;证据见§6。规格不进入task digest,后续只补事实不改已准入题目内容。

独立审阅补充:根agent与ABI交叉审指出并已在采样前修正公开20/12秒期限、Flash掉电错误优先级和slot嵌套记录oracle检查;slots增加两个顶CRC正确而内层非法的场景,gold/valid仍通过。本节所列正式回执为最后冻结身份,之前所有开发回执均已失效,不得作为采样授权。

最终准入核对(2026-10-16)

  • 正式Docker校准与根独立审阅通过,最终批准依据见§6及批次review.md。
  • 3/3真实Pi完整PASS,原生轨迹VERIFIED、cleanup confirmed。
  • 3次独立重判一致,3份标准归档manifest/SHA核验闭环。
  • 闸门4正式难度分池:当前3次不足每题≥5次,仅回归候选。
  • Salty上传/下载摘要核对:BLOCKED,CLI/tool无入口。