Codex 69521e54e0 Add 15 embedded repair tasks and correct grader-read controls
Complete batch 20261016-C-embedded-2: 45 verified GLM/Pi samples, independent regrades and archives; preserve difficulty misses and Salty blockage.
2026-10-16 14:23:48 +08:00

14 KiB
Raw Blame History

任务规格:abi-evdev-resync

1. 身份与来源

字段 内容
ID / version / family abi-evdev-resync / 1 / linux-userspace-abi
作者 / 独立评审 ABI制作Agent / 根Agent独立终审PASS(交叉审见本批review.md)
审核状态 ADMITTED;闸门2/3及独立评审闭环,3/3为回归候选,闸门4正式分池未完成
来源路线 / ID C 原创 / original/abi-evdev-resync;本批明确授权原创工程,不声称历史现场回放
授权/隐私 用户本批制题指令;无真实用户会话、网络、凭据、个人信息
原工程 / 冻结版本 本仓库原创template v1,无外部代码依赖
来源组 / split key original/abi-evdev-resync;独立工程及根因,不是其他题参数mutation
验证范围 Linux用户态软件与公开的系统调用桩;C11离线行为
未验证范围 真实板卡、串口电气、实际设备驱动、时间负载,不作硬件PASS声明

原创 evdev 转发输入流工程。使用软件 fd 源提供原生 input_event ABI,分片、丢包和事务提交与硬件无关。

2. 初态与环境

  • 公开资产:events.h、event_console.c、text.h、text.c、Makefile、README.md;已实现事件采集和源模型。 template完整可构建,candidate为event_io.c, event_state.c。
  • 模板源码(.c/.h、不含README)602行;candidate现有代码169行。逐文件见factory本题metrics.json,未用空文件/重复数据/无业务注释凑行。
  • gold相对template:新增19、删除14,合计33行,替换只计一次的保守差异19行。
  • 受保护:check.py、context.json冻结工程与私有输入参数、全部参考样例、spec;不进入Agent工作区。没有额外.py判据文件。
  • 依赖:Python3标准库、gcc、Linux头文件;C11源码全部内置,无下载或外部服务。
  • 正式镜像:ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,image ID应由正式校准回执核对,不以浮动tag准入。
  • 评分构建20秒、运行15秒、整体验收120秒(wrapper内部100秒上限);工作容器1 CPU/2GiB、grade1 CPU/512MiB;Agent防挂死3600秒由根统一采样。

初态缺陷:

  1. EAGAIN错误地清除半个input_event,跨pump分片丢字节。
  2. SYN_DROPPED恢复复用旧pending而不读取snapshot,丢包后键状态错误。
  3. repeat(value2)当作按下而非重复计数,改变未按下键。
  4. 正常提交后的clear_frame既清按键又保留旧位移,污染下个事务。
  5. discard与init混淆,清除committed keys和frames/lost等持久状态。

3. 公开题面与接口

prompt.md与template/README.md包含相同公开P1–P4合同:问题症状、模块接口、全部边界、状态/错误与恢复规则、原始观测、完整gcc argv、自测脚本和时限。不指出根因所在行或函数。候选文件以task.json精确冻结,只读工程由context.json原字节重建;额外文件不评分。有效控制台脚本退出0,stdout仅公开观察,stderr可诊断。

4. 验收矩阵与合法解

判据检查项 题面条款原文位置 独立oracle与输入
24字节ABI分片/短读/EAGAIN/EINTR P1“任何跨pump的不完整事件必须保留”“capacity不超过…剩余容量” Python struct原生编码,全部23个跨调用切分点,随机read上限
事务键/相对位移/repeat/空报告 P2 EV_KEY/EV_REL 与 SYN_REPORT完整条款 Python整数掩码和int64范围内累加,独立报告及清帧
SYN_DROPPED与失败后恢复 P2“必须通过ops.snapshot_call”“错误…保持dropping…后续SYN_REPORT可重试” 随机32位snapshot、丢包重复、失败/EINTR/后续事务
EOF/EIO/重置/NULL callback/多实例 P1 EOF/错误与init;P2 event_discard;P4验收说明 半事件EOF后第二次EOF、源错误重试、静默回调和交错队列
gcc构建、进程、超时、stdout P4完整构建argv及20/15秒;P3所有观察格式 新scratch中降权构建/运行,必须全部观察吻合且exit0
  • 同族共享判据:五题check.py最终同字节,五个公开ABI模型的独立Python oracle;差异在context.json冻结只读工程和kind/seed。后两工程已按前三9/9结果加码;oracle分支在前三采样前提前冻结。
  • harness只把stdin解释成系统调用输入,记录回调/状态/原始字节;没有断言、预期值或比较。隐藏场景和期望仅存在check内存,不写进候选可读目录。
  • verifier逐字复制rollout/bos_verify.py;只有降权子进程编译/执行候选,不import/ctypes/exec候选。候选运行后check只访问内存中的stdout/stderr,不再访问共享scratch或自动rmtree;独占前缀embedded2-abi-由可信批次owner最终核对清理。
  • 合法替代解见valid_*,使用不同表达/分支/位操作结构,要求行为而非源码相似性。单纯编译通过、静态检查、打印PASS不能通过原始行为oracle。
  • read-grader为有意义双分支:读取/grader/check.py或/proc//cwd/grader/check.py成功时完整gold行为,否则noop并stderr明确denied。trusted-local无UID隔离时允许该正对照PASS,整体本地校准FAIL如实保留;正式Docker必须拒读且样例行为FAIL才准入。

5. 样例与校准

fixture 预期 机制
gold PASS 满足全部公开行为
template FAIL 第一帧repeat观察不符,其他缺陷由单缺陷探针分离
noop FAIL 不读取queued bytes,首次key pump后pending/queued不符
cheat FAIL 恢复时固定keys=0,被随机非零snapshot拒绝
cheat_only_fragment FAIL 只修分片,repeat/事务/恢复仍坏
cheat_only_resync FAIL 只修恢复,repeat/清帧/分片仍坏
valid_bitset PASS 位重组实现键状态、逐字节拷贝还原事件
cheat_read_grader 正式FAIL / host正对照PASS 拒读时noop;可读时完整gold,stderr证明实际分支

可信本地与trace5 Docker均每类5次;最终身份、回执、失败点和stderr由factory/20261016-C-embedded-2/abi/calibrations.json记录。此前首题建族校准只作开发事实,不代替共享引擎冻结后的正式身份。所有FAIL必须成功编译后按行为拒绝;每一处缺陷另作gold只重新引入该处缺陷的独立探针,见single-defect-audit.json。仅修一处的两个cheat独立保留,不把组合样例的首个失败当所有缺陷证据。

6. 真实试采与证据

根Agent按本批批准身份统一采样,固定 GLM-5.3、Pi 0.73.1、trace5 digest sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,Agent防挂死3600秒,全批最多4并发。本题3次均为完整真实Pi会话、任务PASS;不是脚本、静态检查或校准替代。

controller run native工具调用数 终态 / native / cleanup 重判 / archive
pi-5a1b801f3e73498285270483d63e3a72 run-c47d856459ed4804bc9e5bc254f4acd4 24 PASS / VERIFIED / confirmed PASS一致 / manifest及SHA已核验
pi-6418c382784a407993b3e0718bf7eb3b run-655b65f869d14bef866c1d21d217ff53 28 PASS / VERIFIED / confirmed PASS一致 / manifest及SHA已核验
pi-98a05911a384490f9532e7d95b7d92a0 run-1748aabf673b48ce8bc5e970322ec56f 24 PASS / VERIFIED / confirmed PASS一致 / manifest及SHA已核验

工具调用按真实native.jsonl中的tool_execution_end计数,中位数为 24。每条controller与子run的task digest、固定Agent配置、native SHA、正常exit0、session_end complete以及agent/proxy/network/grade cleanup均已核对;独立regrade为PASS且consistent=true、cleanup=confirmed;archive成功、manifest_verified=true,压缩包实际SHA与postprocess记录一致。

controller/run相对于 runs/20261016-C-embedded-2/;逐条重判、归档路径和摘要见 factory/20261016-C-embedded-2/postprocess/<controller>.json,本次只读收尾证据见 factory/20261016-C-embedded-2/abi/spec-first3-closure-evidence.json,归档位于 artifacts/20261016-C-embedded-2/<controller>.tar.gz。

按制作规范§9,本题闸门2正式校准、独立评审和闸门3真实试采链已闭环,状态为ADMITTED。3/3仅标记回归候选;尚未完成闸门4每题至少5次的同配置采样,不能提前标记正式回归集或主采集池。该结论仅为Linux软件行为,不是硬件PASS。

全量收尾检查见 tests-final-after15.log:75项运行、74 PASS、1 SKIP(host缺Node),Docker隔离实测PASS;calibration-audit-final.json对15题600 Docker+600 host逐项强核验,75次拒读和75次可读gold正对照均保留。批次1757个已证明归属scratch根已精确删除,回执 factory/20261016-C-embedded-2/abi/scratch-cleanup-final-deleted.jsonl;本次没有再运行候选或清理。

冷迁目标为 /mnt/data/ming01.wang/embedded-rollout。最终冷迁与本地提交完成事实,以冷盘 factory/20261016-C-embedded-2/migration-evidence/completion.json 为准;当前不提前宣称已迁或已提交。Salty导出/上传为BLOCKED:本环境没有可用Salty CLI/tool,不能声称上传或下载核验完成。

7. 评审与准入

  • 原创、软件替身、现成工程、源码/candidate/实质差异规模满足批次硬条件。
  • P1–P4与独立oracle逐项映射,最少两个仅修一处FAIL样例,不以编译失败冒充机制。
  • 最终可信本地常规样例及read-grader可读正对照、正式Docker各5次及拒读stderr核对。
  • 根Agent独立只读终审PASS(本批review.md及本次收尾授权),单缺陷探针与合法替代解已核。
  • 本题3次真实完整PASS、native VERIFIED、独立重判一致和archive闭环;批次1757个scratch精确删除有回执。
  • 闸门4至少5次的正式难度分池尚未完成;当前仅回归候选。
  • 最终冷迁与本地提交完成事实待冷盘migration-evidence/completion.json,不提前勾选。

当前状态为ADMITTED,仅表示规范§9的准入链闭环;3/3为回归候选,尚非闸门4正式池。硬件未验证;Salty因无CLI/tool为BLOCKED,冷迁及提交不提前宣称。

最终校准事实补充(2026-10-16)

  • Docker:/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-2-calibration/calibration-e6b78e1b65e740a9b8fc9e0f958c0d63,40/40符合预期,整体PASS,cleanup=confirmed;每个fixture五次。task_digest=87c07f9c80b6b1521f4666e970e61cec64bd31894f2885d7dd4974dfa6d576fd;verifier=5c12094deda2dc1b70016e0edd1c8a21c6d762da78fca61433b45e91cb30b8c0;image_id=sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc。
  • trusted-local:/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-2-dev/calibration-b7f38afe4b9e4449b7da95e858a0b496,35/35常规样例符合预期,read-grader为5/5完整gold PASS阳性对照,整体FAIL;与Docker同task_digest。无UID隔离的本地状态未冒充隔离通过。
  • 正式read-grader五次stderr均为read-grader: denied; using noop;host五次均为read-grader: readable; using correct implementation,原字节在各attempt的cheat_read_grader-*.stderr与factory聚合calibrations.json。
  • 每个负例均成功编译后按下表行为拒绝;未以语法/构建故障、程序异常退出或超时冒充预定失败机制。
fixture 正式五次实际结果 首个行为失败机制
gold PASS 5/5 全部公开观察通过
template FAIL 5/5 observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1'
noop FAIL 5/5 observation 4 got 'S 0 0 0 0 0 0 0 0 0 0 24' expected 'S 0 0 0 128 0 0 0 0 0 0 0'
cheat FAIL 5/5 observation 642 got 'D 0 1 0 0 0 0 37' expected 'D 0 1 4131218356 0 0 0 37'
cheat_read_grader FAIL 5/5 observation 4 got 'S 0 0 0 0 0 0 0 0 0 0 24' expected 'S 0 0 0 128 0 0 0 0 0 0 0'
cheat_only_fragment FAIL 5/5 observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1'
cheat_only_resync FAIL 5/5 observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1'
valid_bitset PASS 5/5 全部公开观察通过

以下为独立探针:从gold只重新引入指定缺陷,不同于fixture中的“只修一处、其他仍错”。

单缺陷探针 实际行为失败点
fragment observation 15 got 'S 0 0 0 0 0 0 0 0 0 0 0' expected 'S 1 0 0 0 0 0 0 0 0 0 0'
snapshot observation 642 got 'D 0 1 546324525 0 0 0 37' expected 'D 0 1 4131218356 0 0 0 37'
frame observation 11 got 'S 0 0 128 0 100 -50 0 1 0 0 0' expected 'S 0 0 128 128 0 0 0 1 0 0 0'
discard observation 696 got 'S 0 0 0 0 0 0 0 0 0 6 0' expected 'S 0 0 2370358021 2370358021 0 0 0 42 3 6 0'
repeat observation 9 got 'D 0 0 128 100 -50 0 1' expected 'D 0 0 128 100 -50 1 1'

独占可信本地scratch精确清单见factory/abi/scratch-owned.json,含device/inode/UID/mtime及只读源码SHA256;根已依据精确归属清单完成批次1757根清理,回执见scratch-cleanup-final-deleted.jsonl;作者未自行启动Pi,根统一的本题3次完整PASS与准入事实见§6。冷迁及提交状态仅以最终completion.json为准。

修订历史:前三共享判据在独立审阅发现poll复合位优先级缺少用例后,加入6种复合位×收发两方向及单独readiness-before-error探针;采样前统一重新校准。此前身份和回执保存在factory/abi/calibrations-pre-priority.json,不授权当前身份。

静态与动态验证边界

缺失ops回调的-EINVAL分支和直接event_accept(NULL等无效指针)不在控制台动态注入范围;合法输入指针属于公开前提。动态验收覆盖原生字节流/分片/事务/丢包恢复/EOF/源错误与双实例。