Complete batch 20261016-C-embedded-2: 45 verified GLM/Pi samples, independent regrades and archives; preserve difficulty misses and Salty blockage.
14 KiB
任务规格:abi-evdev-resync
1. 身份与来源
| 字段 | 内容 |
|---|---|
| ID / version / family | abi-evdev-resync / 1 / linux-userspace-abi |
| 作者 / 独立评审 | ABI制作Agent / 根Agent独立终审PASS(交叉审见本批review.md) |
| 审核状态 | ADMITTED;闸门2/3及独立评审闭环,3/3为回归候选,闸门4正式分池未完成 |
| 来源路线 / ID | C 原创 / original/abi-evdev-resync;本批明确授权原创工程,不声称历史现场回放 |
| 授权/隐私 | 用户本批制题指令;无真实用户会话、网络、凭据、个人信息 |
| 原工程 / 冻结版本 | 本仓库原创template v1,无外部代码依赖 |
| 来源组 / split key | original/abi-evdev-resync;独立工程及根因,不是其他题参数mutation |
| 验证范围 | Linux用户态软件与公开的系统调用桩;C11离线行为 |
| 未验证范围 | 真实板卡、串口电气、实际设备驱动、时间负载,不作硬件PASS声明 |
原创 evdev 转发输入流工程。使用软件 fd 源提供原生 input_event ABI,分片、丢包和事务提交与硬件无关。
2. 初态与环境
- 公开资产:events.h、event_console.c、text.h、text.c、Makefile、README.md;已实现事件采集和源模型。 template完整可构建,candidate为event_io.c, event_state.c。
- 模板源码(.c/.h、不含README)602行;candidate现有代码169行。逐文件见factory本题metrics.json,未用空文件/重复数据/无业务注释凑行。
- gold相对template:新增19、删除14,合计33行,替换只计一次的保守差异19行。
- 受保护:check.py、context.json冻结工程与私有输入参数、全部参考样例、spec;不进入Agent工作区。没有额外.py判据文件。
- 依赖:Python3标准库、gcc、Linux头文件;C11源码全部内置,无下载或外部服务。
- 正式镜像:ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,image ID应由正式校准回执核对,不以浮动tag准入。
- 评分构建20秒、运行15秒、整体验收120秒(wrapper内部100秒上限);工作容器1 CPU/2GiB、grade1 CPU/512MiB;Agent防挂死3600秒由根统一采样。
初态缺陷:
- EAGAIN错误地清除半个input_event,跨pump分片丢字节。
- SYN_DROPPED恢复复用旧pending而不读取snapshot,丢包后键状态错误。
- repeat(value2)当作按下而非重复计数,改变未按下键。
- 正常提交后的clear_frame既清按键又保留旧位移,污染下个事务。
- discard与init混淆,清除committed keys和frames/lost等持久状态。
3. 公开题面与接口
prompt.md与template/README.md包含相同公开P1–P4合同:问题症状、模块接口、全部边界、状态/错误与恢复规则、原始观测、完整gcc argv、自测脚本和时限。不指出根因所在行或函数。候选文件以task.json精确冻结,只读工程由context.json原字节重建;额外文件不评分。有效控制台脚本退出0,stdout仅公开观察,stderr可诊断。
4. 验收矩阵与合法解
| 判据检查项 | 题面条款原文位置 | 独立oracle与输入 |
|---|---|---|
| 24字节ABI分片/短读/EAGAIN/EINTR | P1“任何跨pump的不完整事件必须保留”“capacity不超过…剩余容量” | Python struct原生编码,全部23个跨调用切分点,随机read上限 |
| 事务键/相对位移/repeat/空报告 | P2 EV_KEY/EV_REL 与 SYN_REPORT完整条款 | Python整数掩码和int64范围内累加,独立报告及清帧 |
| SYN_DROPPED与失败后恢复 | P2“必须通过ops.snapshot_call”“错误…保持dropping…后续SYN_REPORT可重试” | 随机32位snapshot、丢包重复、失败/EINTR/后续事务 |
| EOF/EIO/重置/NULL callback/多实例 | P1 EOF/错误与init;P2 event_discard;P4验收说明 | 半事件EOF后第二次EOF、源错误重试、静默回调和交错队列 |
| gcc构建、进程、超时、stdout | P4完整构建argv及20/15秒;P3所有观察格式 | 新scratch中降权构建/运行,必须全部观察吻合且exit0 |
- 同族共享判据:五题check.py最终同字节,五个公开ABI模型的独立Python oracle;差异在context.json冻结只读工程和kind/seed。后两工程已按前三9/9结果加码;oracle分支在前三采样前提前冻结。
- harness只把stdin解释成系统调用输入,记录回调/状态/原始字节;没有断言、预期值或比较。隐藏场景和期望仅存在check内存,不写进候选可读目录。
- verifier逐字复制rollout/bos_verify.py;只有降权子进程编译/执行候选,不import/ctypes/exec候选。候选运行后check只访问内存中的stdout/stderr,不再访问共享scratch或自动rmtree;独占前缀embedded2-abi-由可信批次owner最终核对清理。
- 合法替代解见valid_*,使用不同表达/分支/位操作结构,要求行为而非源码相似性。单纯编译通过、静态检查、打印PASS不能通过原始行为oracle。
- read-grader为有意义双分支:读取/grader/check.py或/proc//cwd/grader/check.py成功时完整gold行为,否则noop并stderr明确denied。trusted-local无UID隔离时允许该正对照PASS,整体本地校准FAIL如实保留;正式Docker必须拒读且样例行为FAIL才准入。
5. 样例与校准
| fixture | 预期 | 机制 |
|---|---|---|
| gold | PASS | 满足全部公开行为 |
| template | FAIL | 第一帧repeat观察不符,其他缺陷由单缺陷探针分离 |
| noop | FAIL | 不读取queued bytes,首次key pump后pending/queued不符 |
| cheat | FAIL | 恢复时固定keys=0,被随机非零snapshot拒绝 |
| cheat_only_fragment | FAIL | 只修分片,repeat/事务/恢复仍坏 |
| cheat_only_resync | FAIL | 只修恢复,repeat/清帧/分片仍坏 |
| valid_bitset | PASS | 位重组实现键状态、逐字节拷贝还原事件 |
| cheat_read_grader | 正式FAIL / host正对照PASS | 拒读时noop;可读时完整gold,stderr证明实际分支 |
可信本地与trace5 Docker均每类5次;最终身份、回执、失败点和stderr由factory/20261016-C-embedded-2/abi/calibrations.json记录。此前首题建族校准只作开发事实,不代替共享引擎冻结后的正式身份。所有FAIL必须成功编译后按行为拒绝;每一处缺陷另作gold只重新引入该处缺陷的独立探针,见single-defect-audit.json。仅修一处的两个cheat独立保留,不把组合样例的首个失败当所有缺陷证据。
6. 真实试采与证据
根Agent按本批批准身份统一采样,固定 GLM-5.3、Pi 0.73.1、trace5 digest sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,Agent防挂死3600秒,全批最多4并发。本题3次均为完整真实Pi会话、任务PASS;不是脚本、静态检查或校准替代。
| controller | run | native工具调用数 | 终态 / native / cleanup | 重判 / archive |
|---|---|---|---|---|
pi-5a1b801f3e73498285270483d63e3a72 |
run-c47d856459ed4804bc9e5bc254f4acd4 |
24 | PASS / VERIFIED / confirmed | PASS一致 / manifest及SHA已核验 |
pi-6418c382784a407993b3e0718bf7eb3b |
run-655b65f869d14bef866c1d21d217ff53 |
28 | PASS / VERIFIED / confirmed | PASS一致 / manifest及SHA已核验 |
pi-98a05911a384490f9532e7d95b7d92a0 |
run-1748aabf673b48ce8bc5e970322ec56f |
24 | PASS / VERIFIED / confirmed | PASS一致 / manifest及SHA已核验 |
工具调用按真实native.jsonl中的tool_execution_end计数,中位数为 24。每条controller与子run的task digest、固定Agent配置、native SHA、正常exit0、session_end complete以及agent/proxy/network/grade cleanup均已核对;独立regrade为PASS且consistent=true、cleanup=confirmed;archive成功、manifest_verified=true,压缩包实际SHA与postprocess记录一致。
controller/run相对于 runs/20261016-C-embedded-2/;逐条重判、归档路径和摘要见 factory/20261016-C-embedded-2/postprocess/<controller>.json,本次只读收尾证据见 factory/20261016-C-embedded-2/abi/spec-first3-closure-evidence.json,归档位于 artifacts/20261016-C-embedded-2/<controller>.tar.gz。
按制作规范§9,本题闸门2正式校准、独立评审和闸门3真实试采链已闭环,状态为ADMITTED。3/3仅标记回归候选;尚未完成闸门4每题至少5次的同配置采样,不能提前标记正式回归集或主采集池。该结论仅为Linux软件行为,不是硬件PASS。
全量收尾检查见 tests-final-after15.log:75项运行、74 PASS、1 SKIP(host缺Node),Docker隔离实测PASS;calibration-audit-final.json对15题600 Docker+600 host逐项强核验,75次拒读和75次可读gold正对照均保留。批次1757个已证明归属scratch根已精确删除,回执 factory/20261016-C-embedded-2/abi/scratch-cleanup-final-deleted.jsonl;本次没有再运行候选或清理。
冷迁目标为 /mnt/data/ming01.wang/embedded-rollout。最终冷迁与本地提交完成事实,以冷盘 factory/20261016-C-embedded-2/migration-evidence/completion.json 为准;当前不提前宣称已迁或已提交。Salty导出/上传为BLOCKED:本环境没有可用Salty CLI/tool,不能声称上传或下载核验完成。
7. 评审与准入
- 原创、软件替身、现成工程、源码/candidate/实质差异规模满足批次硬条件。
- P1–P4与独立oracle逐项映射,最少两个仅修一处FAIL样例,不以编译失败冒充机制。
- 最终可信本地常规样例及read-grader可读正对照、正式Docker各5次及拒读stderr核对。
- 根Agent独立只读终审PASS(本批review.md及本次收尾授权),单缺陷探针与合法替代解已核。
- 本题3次真实完整PASS、native VERIFIED、独立重判一致和archive闭环;批次1757个scratch精确删除有回执。
- 闸门4至少5次的正式难度分池尚未完成;当前仅回归候选。
- 最终冷迁与本地提交完成事实待冷盘migration-evidence/completion.json,不提前勾选。
当前状态为ADMITTED,仅表示规范§9的准入链闭环;3/3为回归候选,尚非闸门4正式池。硬件未验证;Salty因无CLI/tool为BLOCKED,冷迁及提交不提前宣称。
最终校准事实补充(2026-10-16)
- Docker:
/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-2-calibration/calibration-e6b78e1b65e740a9b8fc9e0f958c0d63,40/40符合预期,整体PASS,cleanup=confirmed;每个fixture五次。task_digest=87c07f9c80b6b1521f4666e970e61cec64bd31894f2885d7dd4974dfa6d576fd;verifier=5c12094deda2dc1b70016e0edd1c8a21c6d762da78fca61433b45e91cb30b8c0;image_id=sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc。 - trusted-local:
/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-2-dev/calibration-b7f38afe4b9e4449b7da95e858a0b496,35/35常规样例符合预期,read-grader为5/5完整gold PASS阳性对照,整体FAIL;与Docker同task_digest。无UID隔离的本地状态未冒充隔离通过。 - 正式read-grader五次stderr均为
read-grader: denied; using noop;host五次均为read-grader: readable; using correct implementation,原字节在各attempt的cheat_read_grader-*.stderr与factory聚合calibrations.json。 - 每个负例均成功编译后按下表行为拒绝;未以语法/构建故障、程序异常退出或超时冒充预定失败机制。
| fixture | 正式五次实际结果 | 首个行为失败机制 |
|---|---|---|
| gold | PASS 5/5 | 全部公开观察通过 |
| template | FAIL 5/5 | observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1' |
| noop | FAIL 5/5 | observation 4 got 'S 0 0 0 0 0 0 0 0 0 0 24' expected 'S 0 0 0 128 0 0 0 0 0 0 0' |
| cheat | FAIL 5/5 | observation 642 got 'D 0 1 0 0 0 0 37' expected 'D 0 1 4131218356 0 0 0 37' |
| cheat_read_grader | FAIL 5/5 | observation 4 got 'S 0 0 0 0 0 0 0 0 0 0 24' expected 'S 0 0 0 128 0 0 0 0 0 0 0' |
| cheat_only_fragment | FAIL 5/5 | observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1' |
| cheat_only_resync | FAIL 5/5 | observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1' |
| valid_bitset | PASS 5/5 | 全部公开观察通过 |
以下为独立探针:从gold只重新引入指定缺陷,不同于fixture中的“只修一处、其他仍错”。
| 单缺陷探针 | 实际行为失败点 |
|---|---|
| fragment | observation 15 got 'S 0 0 0 0 0 0 0 0 0 0 0' expected 'S 1 0 0 0 0 0 0 0 0 0 0' |
| snapshot | observation 642 got 'D 0 1 546324525 0 0 0 37' expected 'D 0 1 4131218356 0 0 0 37' |
| frame | observation 11 got 'S 0 0 128 0 100 -50 0 1 0 0 0' expected 'S 0 0 128 128 0 0 0 1 0 0 0' |
| discard | observation 696 got 'S 0 0 0 0 0 0 0 0 0 6 0' expected 'S 0 0 2370358021 2370358021 0 0 0 42 3 6 0' |
| repeat | observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1' |
独占可信本地scratch精确清单见factory/abi/scratch-owned.json,含device/inode/UID/mtime及只读源码SHA256;根已依据精确归属清单完成批次1757根清理,回执见scratch-cleanup-final-deleted.jsonl;作者未自行启动Pi,根统一的本题3次完整PASS与准入事实见§6。冷迁及提交状态仅以最终completion.json为准。
修订历史:前三共享判据在独立审阅发现poll复合位优先级缺少用例后,加入6种复合位×收发两方向及单独readiness-before-error探针;采样前统一重新校准。此前身份和回执保存在factory/abi/calibrations-pre-priority.json,不授权当前身份。
静态与动态验证边界
缺失ops回调的-EINVAL分支和直接event_accept(NULL等无效指针)不在控制台动态注入范围;合法输入指针属于公开前提。动态验收覆盖原生字节流/分片/事务/丢包恢复/EOF/源错误与双实例。