Codex 69521e54e0 Add 15 embedded repair tasks and correct grader-read controls
Complete batch 20261016-C-embedded-2: 45 verified GLM/Pi samples, independent regrades and archives; preserve difficulty misses and Salty blockage.
2026-10-16 14:23:48 +08:00

138 lines
14 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 任务规格:abi-evdev-resync
## 1. 身份与来源
| 字段 | 内容 |
| --- | --- |
| ID / version / family | abi-evdev-resync / 1 / linux-userspace-abi |
| 作者 / 独立评审 | ABI制作Agent / 根Agent独立终审PASS(交叉审见本批review.md) |
| 审核状态 | ADMITTED;闸门2/3及独立评审闭环,3/3为回归候选,闸门4正式分池未完成 |
| 来源路线 / ID | C 原创 / original/abi-evdev-resync;本批明确授权原创工程,不声称历史现场回放 |
| 授权/隐私 | 用户本批制题指令;无真实用户会话、网络、凭据、个人信息 |
| 原工程 / 冻结版本 | 本仓库原创template v1,无外部代码依赖 |
| 来源组 / split key | original/abi-evdev-resync;独立工程及根因,不是其他题参数mutation |
| 验证范围 | Linux用户态软件与公开的系统调用桩;C11离线行为 |
| 未验证范围 | 真实板卡、串口电气、实际设备驱动、时间负载,不作硬件PASS声明 |
原创 evdev 转发输入流工程。使用软件 fd 源提供原生 input_event ABI,分片、丢包和事务提交与硬件无关。
## 2. 初态与环境
- 公开资产:events.h、event_console.c、text.h、text.c、Makefile、README.md;已实现事件采集和源模型。 template完整可构建,candidate为event_io.c, event_state.c。
- 模板源码(.c/.h、不含README)602行;candidate现有代码169行。逐文件见factory本题metrics.json,未用空文件/重复数据/无业务注释凑行。
- gold相对template:新增19、删除14,合计33行,替换只计一次的保守差异19行。
- 受保护:check.py、context.json冻结工程与私有输入参数、全部参考样例、spec;不进入Agent工作区。没有额外.py判据文件。
- 依赖:Python3标准库、gcc、Linux头文件;C11源码全部内置,无下载或外部服务。
- 正式镜像:ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,image ID应由正式校准回执核对,不以浮动tag准入。
- 评分构建20秒、运行15秒、整体验收120秒(wrapper内部100秒上限);工作容器1 CPU/2GiB、grade1 CPU/512MiB;Agent防挂死3600秒由根统一采样。
初态缺陷:
1. EAGAIN错误地清除半个input_event,跨pump分片丢字节。
2. SYN_DROPPED恢复复用旧pending而不读取snapshot,丢包后键状态错误。
3. repeat(value2)当作按下而非重复计数,改变未按下键。
4. 正常提交后的clear_frame既清按键又保留旧位移,污染下个事务。
5. discard与init混淆,清除committed keys和frames/lost等持久状态。
## 3. 公开题面与接口
prompt.md与template/README.md包含相同公开P1–P4合同:问题症状、模块接口、全部边界、状态/错误与恢复规则、原始观测、完整gcc argv、自测脚本和时限。不指出根因所在行或函数。候选文件以task.json精确冻结,只读工程由context.json原字节重建;额外文件不评分。有效控制台脚本退出0,stdout仅公开观察,stderr可诊断。
## 4. 验收矩阵与合法解
| 判据检查项 | 题面条款原文位置 | 独立oracle与输入 |
| --- | --- | --- |
| 24字节ABI分片/短读/EAGAIN/EINTR | P1“任何跨pump的不完整事件必须保留”“capacity不超过…剩余容量” | Python struct原生编码,全部23个跨调用切分点,随机read上限 |
| 事务键/相对位移/repeat/空报告 | P2 EV_KEY/EV_REL 与 SYN_REPORT完整条款 | Python整数掩码和int64范围内累加,独立报告及清帧 |
| SYN_DROPPED与失败后恢复 | P2“必须通过ops.snapshot_call”“错误…保持dropping…后续SYN_REPORT可重试” | 随机32位snapshot、丢包重复、失败/EINTR/后续事务 |
| EOF/EIO/重置/NULL callback/多实例 | P1 EOF/错误与init;P2 event_discard;P4验收说明 | 半事件EOF后第二次EOF、源错误重试、静默回调和交错队列 |
| gcc构建、进程、超时、stdout | P4完整构建argv及20/15秒;P3所有观察格式 | 新scratch中降权构建/运行,必须全部观察吻合且exit0 |
- 同族共享判据:五题check.py最终同字节,五个公开ABI模型的独立Python oracle;差异在context.json冻结只读工程和kind/seed。后两工程已按前三9/9结果加码;oracle分支在前三采样前提前冻结。
- harness只把stdin解释成系统调用输入,记录回调/状态/原始字节;没有断言、预期值或比较。隐藏场景和期望仅存在check内存,不写进候选可读目录。
- verifier逐字复制rollout/bos_verify.py;只有降权子进程编译/执行候选,不import/ctypes/exec候选。候选运行后check只访问内存中的stdout/stderr,不再访问共享scratch或自动rmtree;独占前缀embedded2-abi-由可信批次owner最终核对清理。
- 合法替代解见valid_*,使用不同表达/分支/位操作结构,要求行为而非源码相似性。单纯编译通过、静态检查、打印PASS不能通过原始行为oracle。
- read-grader为有意义双分支:读取/grader/check.py或/proc/<ppid>/cwd/grader/check.py成功时完整gold行为,否则noop并stderr明确denied。trusted-local无UID隔离时允许该正对照PASS,整体本地校准FAIL如实保留;正式Docker必须拒读且样例行为FAIL才准入。
## 5. 样例与校准
| fixture | 预期 | 机制 |
| --- | --- | --- |
| gold | PASS | 满足全部公开行为 |
| template | FAIL | 第一帧repeat观察不符,其他缺陷由单缺陷探针分离 |
| noop | FAIL | 不读取queued bytes,首次key pump后pending/queued不符 |
| cheat | FAIL | 恢复时固定keys=0,被随机非零snapshot拒绝 |
| cheat_only_fragment | FAIL | 只修分片,repeat/事务/恢复仍坏 |
| cheat_only_resync | FAIL | 只修恢复,repeat/清帧/分片仍坏 |
| valid_bitset | PASS | 位重组实现键状态、逐字节拷贝还原事件 |
| cheat_read_grader | 正式FAIL / host正对照PASS | 拒读时noop;可读时完整gold,stderr证明实际分支 |
可信本地与trace5 Docker均每类5次;最终身份、回执、失败点和stderr由factory/20261016-C-embedded-2/abi/calibrations.json记录。此前首题建族校准只作开发事实,不代替共享引擎冻结后的正式身份。所有FAIL必须成功编译后按行为拒绝;每一处缺陷另作gold只重新引入该处缺陷的独立探针,见single-defect-audit.json。仅修一处的两个cheat独立保留,不把组合样例的首个失败当所有缺陷证据。
## 6. 真实试采与证据
根Agent按本批批准身份统一采样,固定 GLM-5.3、Pi 0.73.1、trace5 digest `sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc`,Agent防挂死3600秒,全批最多4并发。本题3次均为完整真实Pi会话、任务PASS;不是脚本、静态检查或校准替代。
| controller | run | native工具调用数 | 终态 / native / cleanup | 重判 / archive |
| --- | --- | --- | --- | --- |
| `pi-5a1b801f3e73498285270483d63e3a72` | `run-c47d856459ed4804bc9e5bc254f4acd4` | 24 | PASS / VERIFIED / confirmed | PASS一致 / manifest及SHA已核验 |
| `pi-6418c382784a407993b3e0718bf7eb3b` | `run-655b65f869d14bef866c1d21d217ff53` | 28 | PASS / VERIFIED / confirmed | PASS一致 / manifest及SHA已核验 |
| `pi-98a05911a384490f9532e7d95b7d92a0` | `run-1748aabf673b48ce8bc5e970322ec56f` | 24 | PASS / VERIFIED / confirmed | PASS一致 / manifest及SHA已核验 |
工具调用按真实native.jsonl中的tool_execution_end计数,中位数为 **24**。每条controller与子run的task digest、固定Agent配置、native SHA、正常exit0、session_end complete以及agent/proxy/network/grade cleanup均已核对;独立regrade为PASS且consistent=true、cleanup=confirmed;archive成功、manifest_verified=true,压缩包实际SHA与postprocess记录一致。
controller/run相对于 `runs/20261016-C-embedded-2/`;逐条重判、归档路径和摘要见 `factory/20261016-C-embedded-2/postprocess/<controller>.json`,本次只读收尾证据见 `factory/20261016-C-embedded-2/abi/spec-first3-closure-evidence.json`,归档位于 `artifacts/20261016-C-embedded-2/<controller>.tar.gz`。
按制作规范§9,本题闸门2正式校准、独立评审和闸门3真实试采链已闭环,状态为ADMITTED。3/3仅标记**回归候选**;尚未完成闸门4每题至少5次的同配置采样,不能提前标记正式回归集或主采集池。该结论仅为Linux软件行为,不是硬件PASS。
全量收尾检查见 tests-final-after15.log:75项运行、74 PASS、1 SKIP(host缺Node),Docker隔离实测PASS;calibration-audit-final.json对15题600 Docker+600 host逐项强核验,75次拒读和75次可读gold正对照均保留。批次1757个已证明归属scratch根已精确删除,回执 `factory/20261016-C-embedded-2/abi/scratch-cleanup-final-deleted.jsonl`;本次没有再运行候选或清理。
冷迁目标为 `/mnt/data/ming01.wang/embedded-rollout`。最终冷迁与本地提交完成事实,以冷盘 `factory/20261016-C-embedded-2/migration-evidence/completion.json` 为准;当前不提前宣称已迁或已提交。Salty导出/上传为BLOCKED:本环境没有可用Salty CLI/tool,不能声称上传或下载核验完成。
## 7. 评审与准入
- [x] 原创、软件替身、现成工程、源码/candidate/实质差异规模满足批次硬条件。
- [x] P1–P4与独立oracle逐项映射,最少两个仅修一处FAIL样例,不以编译失败冒充机制。
- [x] 最终可信本地常规样例及read-grader可读正对照、正式Docker各5次及拒读stderr核对。
- [x] 根Agent独立只读终审PASS(本批review.md及本次收尾授权),单缺陷探针与合法替代解已核。
- [x] 本题3次真实完整PASS、native VERIFIED、独立重判一致和archive闭环;批次1757个scratch精确删除有回执。
- [ ] 闸门4至少5次的正式难度分池尚未完成;当前仅回归候选。
- [ ] 最终冷迁与本地提交完成事实待冷盘migration-evidence/completion.json,不提前勾选。
当前状态为ADMITTED,仅表示规范§9的准入链闭环;3/3为回归候选,尚非闸门4正式池。硬件未验证;Salty因无CLI/tool为BLOCKED,冷迁及提交不提前宣称。
### 最终校准事实补充(2026-10-16)
- Docker:`/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-2-calibration/calibration-e6b78e1b65e740a9b8fc9e0f958c0d63`,40/40符合预期,整体PASS,cleanup=confirmed;每个fixture五次。task_digest=`87c07f9c80b6b1521f4666e970e61cec64bd31894f2885d7dd4974dfa6d576fd`;verifier=`5c12094deda2dc1b70016e0edd1c8a21c6d762da78fca61433b45e91cb30b8c0`;image_id=`sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc`。
- trusted-local:`/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-2-dev/calibration-b7f38afe4b9e4449b7da95e858a0b496`,35/35常规样例符合预期,read-grader为5/5完整gold PASS阳性对照,整体FAIL;与Docker同task_digest。无UID隔离的本地状态未冒充隔离通过。
- 正式read-grader五次stderr均为`read-grader: denied; using noop`;host五次均为`read-grader: readable; using correct implementation`,原字节在各attempt的cheat_read_grader-*.stderr与factory聚合calibrations.json。
- 每个负例均成功编译后按下表行为拒绝;未以语法/构建故障、程序异常退出或超时冒充预定失败机制。
| fixture | 正式五次实际结果 | 首个行为失败机制 |
| --- | --- | --- |
| gold | PASS 5/5 | 全部公开观察通过 |
| template | FAIL 5/5 | observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1' |
| noop | FAIL 5/5 | observation 4 got 'S 0 0 0 0 0 0 0 0 0 0 24' expected 'S 0 0 0 128 0 0 0 0 0 0 0' |
| cheat | FAIL 5/5 | observation 642 got 'D 0 1 0 0 0 0 37' expected 'D 0 1 4131218356 0 0 0 37' |
| cheat_read_grader | FAIL 5/5 | observation 4 got 'S 0 0 0 0 0 0 0 0 0 0 24' expected 'S 0 0 0 128 0 0 0 0 0 0 0' |
| cheat_only_fragment | FAIL 5/5 | observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1' |
| cheat_only_resync | FAIL 5/5 | observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1' |
| valid_bitset | PASS 5/5 | 全部公开观察通过 |
以下为独立探针:从gold只重新引入指定缺陷,不同于fixture中的“只修一处、其他仍错”。
| 单缺陷探针 | 实际行为失败点 |
| --- | --- |
| fragment | observation 15 got 'S 0 0 0 0 0 0 0 0 0 0 0' expected 'S 1 0 0 0 0 0 0 0 0 0 0' |
| snapshot | observation 642 got 'D 0 1 546324525 0 0 0 37' expected 'D 0 1 4131218356 0 0 0 37' |
| frame | observation 11 got 'S 0 0 128 0 100 -50 0 1 0 0 0' expected 'S 0 0 128 128 0 0 0 1 0 0 0' |
| discard | observation 696 got 'S 0 0 0 0 0 0 0 0 0 6 0' expected 'S 0 0 2370358021 2370358021 0 0 0 42 3 6 0' |
| repeat | observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1' |
独占可信本地scratch精确清单见factory/abi/scratch-owned.json,含device/inode/UID/mtime及只读源码SHA256;根已依据精确归属清单完成批次1757根清理,回执见scratch-cleanup-final-deleted.jsonl;作者未自行启动Pi,根统一的本题3次完整PASS与准入事实见§6。冷迁及提交状态仅以最终completion.json为准。
修订历史:前三共享判据在独立审阅发现poll复合位优先级缺少用例后,加入6种复合位×收发两方向及单独readiness-before-error探针;采样前统一重新校准。此前身份和回执保存在factory/abi/calibrations-pre-priority.json,不授权当前身份。
### 静态与动态验证边界
缺失ops回调的-EINVAL分支和直接event_accept(NULL等无效指针)不在控制台动态注入范围;合法输入指针属于公开前提。动态验收覆盖原生字节流/分片/事务/丢包恢复/EOF/源错误与双实例。