amos 60319fadd5 Merge only Qwen-hard and -medium tasks: 11 from batches 25, 26 and 27
The user wants 2000 tasks, most of them ones Qwen cannot solve. New batch
tasks are now measured on their branch first (3 Qwen trials each), and only
HARD or MEDIUM tasks reach main; ROUTINE ones stay on the batch branches.
A session cut by context_limit or output_limit counts as a failure for
difficulty (user decision 2026-11-03); the trajectory stays incomplete.

- Batch 26 (route D, real upstream fixes in embedded open-source projects):
  7 HARD of 20 (coreJSON, littlefs, CANopen, coreMQTT, LwM2M, Zephyr ring,
  lwIP SNTP). Most failures are Qwen exhausting its context in the larger
  workspaces.
- Batch 25 (HWE mutation repairs): 1 HARD and 1 MEDIUM of 56.
- Batch 27 (spec-dense implementation tasks): 2 MEDIUM of the first 10.

Each task comes from the exact commit Qwen measured, and its digest matches
the measured one. Failure reasons are not yet reviewed, so difficulty is
the automatic label.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 10:51:08 +08:00

11 KiB
Raw Blame History

runtime-sensor-stop-mailbox 规格

身份与来源

  • 路线 C 的原创 mutation 改写,source=hwe/syn-arm-002-mut-isr_block_injector-0,mutation_type=isr_block_injector,base_id/split_group=syn-arm-002,family=linux-userspace-abi,language=C++17。
  • 只读本批原料的 metadata.yaml、prompt.md、reference/main.c。原料 public、medium;来源的通知上下文调用非重入日志机制被改写为用户态受控 Runtime 回调合同。没有执行来源文件或复用来源 checks。原料中 I2C/温度转换完全不进入本题。
  • 同基础既有题 tasks/numeric-temperature-registers/spec.md 已读:该题为分辨率寄存器与温度符号转换;本题为会话通知交接、读写重试、帧发送与接收统计,缺陷机制和用户场景均不同。split 仍与基础 ID 同组。
  • 不涉及模型调用、训练或板卡。难度为 UNMEASURED(未测难度),来源 medium 不代表本题难度。主 Agent 已完成质量审阅;可信 host 与最新 Docker 校准均 PASS,待主 Agent 复核最新门2回执与统一回归后决定准入。校准不代表正式真实 Agent 轨迹。

工程与缺陷

Session 管理软件传感器记录,会话 start 建立资源,pump 将分片数据发送为带 epoch/sequence 的帧,Catalogue 汇总接收记录。主程序是症状报告者,真正的通知接收与 I/O 处理在独立模块中。candidate_files 为 include/sensor.hpp、src/codec.cpp、src/mailbox.cpp、src/session.cpp、src/catalogue.cpp;公开 main、Makefile 和 docs 不在候选内。

D1:Session::notify 在通知上下文调用 Runtime::log 和 Runtime::reserve,形成可观察的非重入日志/分配违约。邮箱仍能保存原因,故最终状态看似正常,而调用日志保留通知中的额外操作。修复应由主循环在交接后完成日志和释放;观察器不根据候选源码判分。

D2:读和写路径把 count=-1/error=4 当成永久 I/O 故障,丢弃本应继续完成的会话。精确合同边界类型为 eintr_retry。公开 smoke 没有中断;合法生产分段输入里,部分成功传输之后遇到中断必须保持 offset、缓冲与发送后缀,并在同一 pump 重试。D1 与 D2 相互独立。

gold 沿用固定输入数组、分散的进度字段、read_piece/write_piece 分拆过程。valid_staged 以 Snapshot 作为权威状态,使用动态负载队列、Fill/Send 阶段机及统一的 I/O 结果处理;没有 gold 的三个分拆处理函数,帧编码也用固定索引组装而非 push_back/append_word。两种正确实现均通过同一 Python 独立模型。

公开依据与检查项

行号相对于 template/;每条公开合同都有实际行为检查,期望值不来自 gold。

ID 实际检查 公开依据
C01 五候选文件与 raw observer 以 g++ -std=c++17 构建;六场景逐字节检查 stdout、空 stderr、正常退出 docs/contract.md:3;README.md:7
C02 两个 Session 的新状态、默认配置、全部快照字段与交错运行互不影响 docs/contract.md:3;docs/contract.md:4;docs/contract.md:5
C03 validate 直接调用及 configure 的三个参数上下端、域邻,失败不改状态;Running+非法配置返回 Invalid、Running+合法配置返回 Busy docs/contract.md:4;docs/contract.md:5;include/sensor.hpp:63
C04 start epoch=0/1/UINT32_MAX,Running 时 Invalid 优先于 Busy,启动资源与日志顺序 docs/contract.md:6
C05 从 Stopped/Ended/Fault 直接重新 start,保存配置并清除历史进度;reset 在各终态恢复默认且 Running 拒绝 docs/contract.md:6
C06 独立 Mailbox 的空值、非法原因、1/31、重复 publish、take/clear,以及 peek 无副作用 docs/contract.md:7
C07 notify 在 Idle/Running/Stopped/Ended/Fault 的行为,两个原因先后到达,所有 Runtime 方法记录上下文,通知阶段不得出现 Runtime 事件 docs/contract.md:7
C08 pump -1/0/1/2/32/33,非 Running 状态、域外优先,quota=0交接和无I/O,完整记录配额后不多读 docs/contract.md:8
C09 读缓冲和部分发送时停止,stop原因、discarded、缓冲清空、无后续I/O及 log/release 顺序 docs/contract.md:9
C10 read/write 内按受控顺序通知,覆盖成功、部分成功、EINTR、暂停,返回传输先记账再交接 docs/contract.md:9;docs/contract.md:10
C11 block=1/2/3/4/7/16/31/32,空输入、短输入、整记录与余数;每次read offset/size与write offset/后缀原始观察 docs/contract.md:10
C12 中断前零进度与部分进度、重复20次中断、读写分别重试、reads/writes与interrupts、无偏移跳跃 docs/contract.md:10;docs/contract.md:13
C13 读写暂停保持状态并在下次pump延续,读EOF残余帧及无残余结束,write=0按Io/error5 docs/contract.md:10;docs/contract.md:11
C14 两侧永久错误5/0、count=-2、超请求长度、成功带error9,返回码、Fault/error、日志/释放及失败前缓冲保存 docs/contract.md:11
C15 encode/decode直接逐字段观察,payload=0/1/2/31/32/33、epoch/sequence 0/UINT32_MAX、大小端与校验、每关键区域修改、截短与额外字节;decode失败输出哨兵不变 docs/contract.md:12
C16 帧完全送达才增加sequence/records;limit=0/1/2/100000,无多余I/O,EOF最后一帧后结束及资源一次释放 docs/contract.md:13
C17 全路径直接快照19项:state/config/epoch/sequence/stop/pending/error/input/output/records/reads/writes/interrupts/discarded/buffered/remaining/owned docs/contract.md:4;docs/contract.md:5;docs/contract.md:13
C18 全256字节hex、小写与空串,unhex大小写、空串、奇数及非法字符,失败不改原输出 docs/contract.md:14
C19 每次快照直接describe,包含五状态、全部字段顺序、十进制和无末尾换行,字符串用观察器自己的hex封装 docs/contract.md:15
C20 多channel接收、重复/跳号拒绝、epoch变化与重新从0开始、Frame错误、失败后目录观察 docs/contract.md:16
C21 lookup的输出哨兵,channel=-1/0/255/256,contains存在与不存在、erase成功/失败、clear;总计与升序channel集合 docs/contract.md:17
C22 accept_stream空串、两帧成功、不足头部、截短、校验失败及序号错误;空目录和非空目录下全部回滚 docs/contract.md:18
C23 merge空/非空/相交/不相交/自身,双方状态与来源不变分别观察 docs/contract.md:18
C24 summary空串、多channel升序、所有字段与分隔符,以raw字符串逐字比较 docs/contract.md:19
C25 与公开Demo相同的ABCDEFG/epoch7/default/pump1/notify2/pump0,停机完整输出观察 prompt.md:3;docs/contract.md:6;docs/contract.md:9;docs/contract.md:12

固定种子为11022026002。正式六个 scene 是 smoke/callback/retry/sessions/codec/catalogue;所有场景输入及独立期望在首次编译前生成完毕。正常行为负例均完成编译并实际运行;cheat_read_grader 是判据读取隔离负控,读取失败时主动exit19。

判据边界

verify.py 与 rollout/bos_verify.py 字节相同,check.py 是唯一私有 Python 附件,无 isolation-blocked.txt。C++ observer 只解析 stdin、调用公开 API 和记录 Runtime 返回/事件;不含断言、期望或内部判错。所有期望均由 Python 根据合同独立重算,帧 checksum/字段与 Catalogue 状态不通过运行 gold 取得。

check.py 只将候选送入 subprocess:编译器与观察进程在正式 wrapper 中降为65534。候选仅接触自己的源码、raw observer 及输入,不拿到 check 的期望。scratch 的目录/候选/observer 写入和输入生成全部在首次编译前完成,此后 check 不访问候选可写树;wrapper 退出统一清理。每个场景独立核对 exit、stdout、stderr,超时保留原因并停止其余运行。构建25秒、单场景12秒,wrapper整体100秒、task timeout120秒。

Runtime::reserve/log 是软件模型里可观察的分配/非重入服务边界;不声称检测系统 malloc/stdio 的真实信号安全性,也不运行真实异步线程、内核中断或硬件。没有原生工具事件,不能宣称完整 rollout 轨迹。

样例与行数

样例 预期 作用
gold PASS 固定数组和分拆传输过程
valid_staged PASS Snapshot权威、动态负载、Fill/Send阶段机、统一I/O结果处理、固定索引帧编码
template FAIL D1与D2
fix_callback FAIL 只修D1,retry见证失败
fix_eintr FAIL 只修D2,callback见证失败
mask_symptom FAIL 只对公开原因2抑制额外操作,smoke通过;其他原因和中断仍失败
noop FAIL pump不工作
cheat FAIL 硬编码公开停止原因2,其他原因被拒绝
cheat_read_grader FAIL 判据读取隔离负控

按 template 内唯一业务文件统计,不累计样例、observer、生成脚本、空白或注释:原始632行;去空/注释/预处理610行;再去纯括号/仅符号行521行。候选五文件分别为134/199/25/120/126原始行,保守114/170/18/99/99行;公开main另28原始/21保守行。所有模块与方法在正式观察路径调用;没有为凑行数复制样例或保留未使用业务代码。

开发证据位于本题 factory subagent 目录 dev-results.json。gold/valid_staged 六scene全通过,fix_callback 的 callback通过而retry失败,fix_eintr相反;mask_symptom通过完整smoke、callback/retry失败。开发过程中的生成脚本一次字符串拼接语法错误未写入任务,随后用单独扩展脚本完成;valid_staged最初的局部重试实现经根预审不够独立,已在门前整体重写并重新验证。

正式校准 task_digest 为 0c17dfd2f12406e3f0fccee33a28caad627e43c7443133cb80cbf53bf709499a,两门与当前任务完全一致:

  • 可信 host 门:runs/20261102-C-hwe-mut-25/syn-arm-002-mut-isr_block_injector-0/host/calibration-43b99b4b44734e4db8dbcb21b371f16c/receipt.json,PASS,9类各5次均符合预期,cleanup confirmed。
  • 最新 Docker 门:runs/20261102-C-hwe-mut-25/syn-arm-002-mut-isr_block_injector-0/docker-floor10-20261102T042903Z/calibration-37f80aa1f1264312a152fdc8aa317bfe/receipt.json,PASS,gold与valid_staged各5次PASS,其余7类各5次FAIL;45次均正常退出且cleanup confirmed。镜像引用为 ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1,实际image ID为 sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1。逐名检查45个本题容器均已不存在,未创建网络或镜像。

旧 Docker 回执 runs/20261102-C-hwe-mut-25/syn-arm-002-mut-isr_block_injector-0/docker/calibration-f37b20efda2245e5876c2fd4a2c2411c/receipt.json 保留:当时平台30GiB下限导致45次disk_low跳过、0容器,不能作为行为验证。2026-11-02按用户已授权、Claude已落地的10GiB下限重新完整运行;门前/home约26.39GiB、Docker盘约34.73GiB,门后约26.34GiB与34.73GiB。恢复中未改评分身份文件或平台。

完整身份、每类结果与精确对象核对见 factory/20261102-C-hwe-mut-25/subagents/syn-arm-002-mut-isr_block_injector-0/report.json 和 gate2-resume-audit.json。全库unittest由根统一运行,本子 Agent 不扫描并行未完成任务。不提交Git、不运行真实模型;难度保持未测。