Complete batch 20261016-C-embedded-2: 45 verified GLM/Pi samples, independent regrades and archives; preserve difficulty misses and Salty blockage.
14 KiB
任务规格:fw-image-stream
参照 制作规范。本文件含根因和私有验收信息,不进入Agent。
1. 身份与来源
| 字段 | 内容 |
|---|---|
| task-id / 版本 | fw-image-stream / 1 |
| 作者 / 独立评审 | Codex firmware制题agent / 根agent与ABI独立审已通过 |
| 审核状态 | ADMITTED;3/3完整PASS,独立重判与标准归档闭环;仅回归候选 |
| 原项目 / 冻结版本 | 本仓库本批原创C11工程;task digest b5eeeefdc0a935fc16fbf37808680a48c67e3b85f2b9356e1d1862552ff6ccb5 |
| 来源路线 / ID | C,原创 / original/image-stream |
| 来源与授权 | 用户本批BRIEF授权原创制题;无外部代码、用户会话或授权不明资产 |
| 隐私 | 无用户内容、凭据或外部路径 |
| 替身测试 | 软件。字节流、元数据和文件Flash在受控输入下复现,原问题不依赖电气或板端时序 |
| split分组键 / 来源组 | original/image-stream / original/image-stream |
| 根因族 / 与已有题关系 | 串行镜像容器解析、扩展头和分片重同步;独立问题,非参数改写的serial变体 |
| 验证范围 | C11可执行程序的输入、返回码、回调、状态和原始文件字节观察 |
| 未验证范围 | 实板、启动ROM、电气掉电、密码学认证、硬件时序 |
原创问题说明:多次feed的部分头被丢弃;reset后floor未更新;镜像完整性、资格与扩展头组合被误接受或拒绝。 不声称来自真实现场工单。
2. 初态与环境
- template为完整可编译工程:policy.c, codec.c, main.c, image.h, stream.c,另有Makefile和公开README。
- 所有文件原创;非轨迹回放,无补全缺失来源文件。冻结上下文逐字保存在私有cases.json,check用它构建,候选只能影响声明文件。
- 源码合计640行(.c/.h,含正常空行与接口注释,不计README/Makefile);候选 {'stream.c': 123, 'policy.c': 148},总计271行现有代码。
- 8处行为缺陷跨两个候选文件和多个函数;单次最小请求不能暴露分片、连续启动或掉电恢复路径。gold/template差异 +15/-9,合计24;保守替换计一次仍至少15行。
- 公开资产仅template与prompt;私有资产为check.py、cases.json、spec、gold/valid/负例。验证器逐字复制rollout/bos_verify.py,grader_files仅check.py与非.py数据。
- 环境:C/Python runtime、Linux、C11、Python3标准库;无安装、联网、板卡或外部服务要求。
- 固定镜像:
ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc(trace5)。实际image IDsha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc。 - 资源:评分512MiB/1CPU;编译子进程20秒,程序12秒,包装器100秒,任务120秒;Agent为2GiB/1CPU,真实采样防挂死3600秒。
- 构建依赖全部在镜像或源码中。运行在唯一scratch,候选启动前冻结源码与输入;启动后root check不读写/遍历/删除scratch。
3. 公开题面与接口
题面见prompt.md,template/README逐字相同。按P1接口、P2/P3模块合同、P4跨调用/持久状态组织,描述症状,不指出错误行/函数。构建argv见P1与Makefile,正常构建/处理返回0,语法错误2,业务错误按题面公开返回码或事件表达。只评分 stream.c, policy.c,不依赖新增文件或构建产物。
4. 验收矩阵与合法解
| 判据检查项 | 公开条款原文位置 | 输入/场景 |
|---|---|---|
| 镜像字段、头维度、board和CRC | P2「基本头固定32字节」「校验不能信任报文声明」 | single-complete / crc-not-self-report / header-and-policy-invalid |
| TLV数量、唯一性、critical、填充、entry/dependency | P3「必须各出现且仅出现一次」「未知类型」「entry必须4字节对齐」 | duplicate-options / unknown-critical / unknown-noncritical-padding / header-and-policy-invalid |
| rollback等号和reset新floor | P3「大于等于当前floor」;P1「替换防回滚下限」 | rollback-equality / reset-floor-transition |
| 分片、空feed、噪声后缀、重同步、连续包、嵌套合法包 | P4「只丢弃该magic的首字节」「不应因feed的边界丢弃未完成内容」「最长0..3字节」 | split-header-and-payload / resync-inside-bad-payload / reset-partial-and-noise-suffix / mixed-0..23 |
| 回调数据、累计计数、未决缓存、输入不变 | P1「不修改调用者输入」「累计交付数」;P4「pending必须与上述扫描后残留一致」 | 所有F的V/A/S原始观察 |
- 所有数值、边界、错误码、布局与观察格式均公开。隐藏的是具体组合、随机种子和数据,未增加隐藏精度或接口要求。
- oracle使用Python字节切片、struct、zlib和独立状态模型,不调用gold生成预期。harness只打印调用结果、状态与原始数据,不持有期望、断言或通过标记。
- 每个模式固定种子;正常、边界、非法、跨调用、恢复与组合场景全部必须一致。单次输出整体逐行比较,无跳过。
- valid_bulk 使用批量拷贝摄取而gold逐字节推进,相同公开状态与事件可通过。
- 硬编码公开演示、忽略校验或省略状态步骤会在动态输入下被拦截;构建成功或退出0本身不代表成功。
- 正式入口stdout一行JSON,checks=1代表完整check套件执行,PASS/FAIL分别退出0/1;缺环境或隔离不能成立为UNVERIFIED,基础设施异常另记。详细失败只进入私有stderr。
- Docker中编译器和程序均UID65534,check保留root;候选不得读/grader,包含read-grader的正反对照。没有历史归档、其他任务答案或凭据挂入工作区。
5. 样例与校准
| 样例 | 候选文件 | 预期 | 实际失败机制/合法性 |
|---|---|---|---|
| gold | stream.c, policy.c | PASS | 完整行为通过 |
| template | stream.c, policy.c | FAIL | FAIL: AssertionError behavior mismatch split-header-and-payload at 7: S 0 0 expected S 0 7 |
| noop | stream.c, policy.c | FAIL | FAIL: AssertionError behavior mismatch single-complete at 1: A 2404831243 expected V 41 5 0 1 8 6162636465666768 |
| cheat | stream.c, policy.c | FAIL | FAIL: AssertionError behavior mismatch crc-not-self-report at 50: V 43 5 0 1 8 6162636465666768 expected A 3674644687 |
| cheat_read_grader | stream.c, policy.c | FAIL | FAIL: AssertionError behavior mismatch single-complete at 1: A 2404831243 expected V 41 5 0 1 8 6162636465666768;Docker stderr为 read-grader: denied; using noop;host可读时完整实现PASS。 |
| cheat_stream_only | stream.c, policy.c | FAIL | 仅修复feed结束清空分片这一处缺陷,保留reset及全部policy缺陷。 实际:FAIL: AssertionError behavior mismatch rollback-equality at 24: A 2404831243 expected V 41 5 0 1 8 6162636465666768 |
| cheat_policy_only | stream.c, policy.c | FAIL | 仅修复已知TLV重复检查,保留其他七处缺陷。 实际:FAIL: AssertionError behavior mismatch split-header-and-payload at 7: S 0 0 expected S 0 7 |
| valid_bulk | stream.c, policy.c | PASS | 完整行为通过 |
- Docker正式校准:
/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-2-calibration/calibration-fa1c7359e0684637b0f1bd7232260d7c,8类各5次,共40次,全部符合预期,整体PASS,cleanup=confirmed。 - 可信host校准:
/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-2-dev/calibration-92f0544f10b744138ea11c6277affd1c,8类各5次。gold/valid和常规负例全部符合预期;正确read-grader可读/proc父进程cwd的grader后走完整gold,因此5次PASS,整体FAIL。这是无UID隔离host的阳性对照,未强行隐藏路径以伪造隔离通过;正式准入以Docker拒读与FAIL为依据。 - 命令和完整日志:
factory/20261016-C-embedded-2/firmware/fw-image-stream-{local,docker}-final.log。正式task identityb5eeeefdc0a935fc16fbf37808680a48c67e3b85f2b9356e1d1862552ff6ccb5;verify SHA2565c12094deda2dc1b70016e0edd1c8a21c6d762da78fca61433b45e91cb30b8c0。 - 重置一致性40/40,未出现UNVERIFIED或INFRA_ERROR;旧开发身份的attempt保留事实,不沿用准入。
6. 真实试采与证据
本题真实试采已完成:3/3完整PASS,原生轨迹均VERIFIED、controller与评分cleanup均confirmed;3次独立重判全部与原判一致,3份标准rollout.archive归档的manifest、候选/公开题面绑定及文件SHA均已核验。工具调用按native tool_execution_end计数,中位数为31。
根统一配置为GLM-5.3(model_id=glm-5.3、openai-completions、max_tokens=131072、service-default采样)、Pi0.73.1、固定trace5镜像digest aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,Agent防挂死3600秒、全批最多4路并发。仅软件过程/受控替身验证,没有实板、电气、真实硬件时序或硬件通过声明;费用缺字段仍记unknown。
| controller | 工具调用 | 独立重判 | 标准归档 |
|---|---|---|---|
| pi-6b8c0e5bcb814895982e32a3f445161e | 55 | PASS,一致 | manifest/SHA已核验 |
| pi-90716bda79184562ba1125b3e109e2ac | 26 | PASS,一致 | manifest/SHA已核验 |
| pi-e91309a20ea044a4be07a085bf73e08d | 31 | PASS,一致 | manifest/SHA已核验 |
本表由rollout.report.report和只读verify_chain逐条核对;原始证据及归档摘要索引在factory/20261016-C-embedded-2/postprocess/.json。本题最终root批准依据为批次独立审阅,以及2026-10-16本次根agent明确授权将HAL5+FW5私有spec按制作规范§9收尾为ADMITTED;评分冻结身份未变。
每题仅3次同配置试采,所以当前为“回归候选”;尚未达到闸门4每题至少5次的正式难度分池门槛,不登记为正式回归集或主采集池。既有缺陷表、修正历史和静态覆盖限制继续有效。
Salty状态BLOCKED:当前无可用Salty CLI/tool入口,未完成上传/下载摘要核对;目标仍为personal:/embedded-rollout。本地标准归档完成不代表Salty持久上传完成。全量冻结评分实测记录为tests-final-after15.log:75运行、74PASS、1SKIP(host缺Node),Docker隔离实测PASS;calibration-audit-final.json为15题600次Docker和600次host、75拒读/75可读gold对照,package-audit-final.json为20题全PASS。本次仅收尾私有spec,没有重跑候选。
controller、网络、代理、Agent和评分回执cleanup均confirmed。根已按作者证明精确删除1757个scratch根,事实见删除回执,不是本题新增清理动作。冷迁目标为 /mnt/data/ming01.wang/embedded-rollout;最终冷迁与commit结果仅以该冷目录的 factory/20261016-C-embedded-2/migration-evidence/completion.json 为准,本规格不提前宣称已迁移或已提交。
7. 评审与准入
- 原创来源、初态、完整公开合同、可编译工程和替身测试已核对。
- Docker各类5次全部符合预期,read-grader stderr确认为拒读,cleanup confirmed。
- 每个FAIL fixture均成功编译,以实际行为差异拒绝,未用语法错误冒充机制。
- 以下逐缺陷探针从gold只重新引入该一处缺陷,全部成功编译并被独立场景拒绝;与只修一处仍失败的fixtures互补。
- 根与ABI独立审通过;真实3次均完整PASS,controller见第6节。
- 3次独立重判一致、标准归档manifest/SHA核验完成;回执cleanup与精确scratch删除事实见§6,冷迁/提交另以completion.json为准。
| 重新引入的单缺陷 | 实际check失败证据 |
|---|---|
| partial | FAIL: AssertionError behavior mismatch split-header-and-payload at 7: S 0 0 expected S 0 7 |
| reset-floor | FAIL: AssertionError behavior mismatch reset-floor-transition at 44: V 41 5 0 1 8 6162636465666768 expected A 2404831243 |
| unknown-critical | FAIL: AssertionError behavior mismatch unknown-critical at 34: V 1 5 0 1 4 61626364 expected A 1941925686 |
| duplicate-options | FAIL: AssertionError behavior mismatch duplicate-options at 28: V 1 8 0 1 4 61626364 expected A 2489270200 |
| rollback-equality | FAIL: AssertionError behavior mismatch rollback-equality at 24: A 2404831243 expected V 41 5 0 1 8 6162636465666768 |
| header-crc | FAIL: AssertionError behavior mismatch crc-not-self-report at 50: V 43 5 0 1 8 6162636465666768 expected A 3674644687 |
| payload-crc | FAIL: AssertionError behavior mismatch crc-not-self-report at 52: V 41 5 0 1 8 616263646566676c expected A 2285573138 |
| entry-bounds | FAIL: AssertionError behavior mismatch header-and-policy-invalid at 96: V 1 5 4 1 4 61626364 expected V 41 5 0 1 8 6162636465666768 |
逐缺陷原件位于 factory/20261016-C-embedded-2/firmware/probes/fw-image-stream/,输出汇总为probes/results.json与probe-defects.log。独立审查、真实链路、重判与标准归档均已闭环,最终状态ADMITTED;证据见§6。规格不进入task digest,后续只补事实不改已准入题目内容。
独立审阅补充:根agent与ABI交叉审指出并已在采样前修正公开20/12秒期限、Flash掉电错误优先级和slot嵌套记录oracle检查;slots增加两个顶CRC正确而内层非法的场景,gold/valid仍通过。本节所列正式回执为最后冻结身份,之前所有开发回执均已失效,不得作为采样授权。
最终准入核对(2026-10-16)
- 正式Docker校准与根独立审阅通过,最终批准依据见§6及批次review.md。
- 3/3真实Pi完整PASS,原生轨迹VERIFIED、cleanup confirmed。
- 3次独立重判一致,3份标准归档manifest/SHA核验闭环。
- 闸门4正式难度分池:当前3次不足每题≥5次,仅回归候选。
- Salty上传/下载摘要核对:BLOCKED,CLI/tool无入口。