The user wants 2000 tasks, most of them ones Qwen cannot solve. New batch tasks are now measured on their branch first (3 Qwen trials each), and only HARD or MEDIUM tasks reach main; ROUTINE ones stay on the batch branches. A session cut by context_limit or output_limit counts as a failure for difficulty (user decision 2026-11-03); the trajectory stays incomplete. - Batch 26 (route D, real upstream fixes in embedded open-source projects): 7 HARD of 20 (coreJSON, littlefs, CANopen, coreMQTT, LwM2M, Zephyr ring, lwIP SNTP). Most failures are Qwen exhausting its context in the larger workspaces. - Batch 25 (HWE mutation repairs): 1 HARD and 1 MEDIUM of 56. - Batch 27 (spec-dense implementation tasks): 2 MEDIUM of the first 10. Each task comes from the exact commit Qwen measured, and its digest matches the measured one. Failure reasons are not yet reviewed, so difficulty is the automatic label. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
9.1 KiB
任务规格:numeric-lwm2m-float-resource-width
身份与来源
- 版本:1;族:numeric-reliability;语言:C;来源路线 D,真实开源历史修复。
- 上游:https://github.com/contiki-ng/contiki-ng 。冻结提交
b1673d8687052af7c3acd8eaabe0585a9b817527;修复提交3341c65d0a110def8a298d6502b02d105f71ac4b。 - 修复原文:
3341c65d0a。上游根 LICENSE.md 和每个源码文件头均为 BSD-3-Clause,保留原版权与完整条件。 - source:
oss/contiki-ng/contiki-ng@3341c65d0a11;split 分组键:contiki-ng/contiki-ng。 - 作者:本批单题 Agent;状态:Docker 校准通过,待主 Agent 独立审阅;难度未测。
- 实际缺陷:按旧二进制宽度解析所有足够长的 Float 值,八字节资源被当成四字节资源前缀,产生貌似合理的错误测量值;非 4/8 字节的畸形宽度也被接受。
- 单修复适用理由:原提交跨 binary32/binary64 解析、共享有符号饱和缩放、公开入口的宽度选择和头文件说明;不是单个局部常数修改。对两个候选文件完整保留上游提交的所有实际改动(96 行新增、46 行删除);未拼入其他补丁。
- 故障在合成字节流、对象读接口、纯内存缓冲上确定复现,不依赖网络、外设、板卡、墙钟或原生字长。不是以内存破坏为核心的修复。冻结版本已有的长度检查保持原样。
- 无用户数据与凭据。与已有题的跨批 ID/主题去重由主 Agent 统一核对。
冻结与补全
以下文件逐字取自冻结提交,目录结构与版权头保留:
| 文件 | 分类与用途 |
|---|---|
| LICENSE.md | 上游冻结;根许可证 |
| os/services/lwm2m/lwm2m-tlv.c | 上游冻结;通用 TLV 与整数/Float 编解码,候选 |
| os/services/lwm2m/lwm2m-tlv.h | 上游冻结;公开 TLV API,候选 |
| os/services/lwm2m/lwm2m-object.h | 上游冻结;对象上下文与 inline 读写调用链 |
| os/services/lwm2m/lwm2m-tlv-reader.c | 上游冻结;对象类型读取与消费长度、上下文元数据 |
| os/services/lwm2m/lwm2m-tlv-reader.h | 上游冻结;reader 表声明 |
| os/services/lwm2m/lwm2m-tlv-writer.c | 上游冻结;对象写入与资源实例选择 |
| os/services/lwm2m/lwm2m-tlv-writer.h | 上游冻结;writer 表声明 |
以下文件由作者补全,仅用于离线构建、公开合同和正常路径观察:
| 文件 | 分类与用途 |
|---|---|
| include/coap.h | 补全;CoAP 类型声明与固定返回的块状态函数 |
| include/coap-observe.h | 补全;不运行网络的 observer 空桩 |
| include/coap-log.h | 补全;关闭日志的宏声明 |
| include/lwm2m-engine.h | 补全;无运行中 engine 的配置头 |
| Makefile | 补全;标准 GCC 构建入口 |
| smoke.c | 补全;正常路径写后读与任意十六进制报文观测,无隐藏断言 |
| README.md | 补全;自测命令、输入输出、交付范围 |
| docs/resource-format.md | 补全;从 TLV API、冻结实现、上游修复合同和 OMA LwM2M Appendix C 整理的公开行为条款 |
template 共 16 文件。7 个上游 C/H 文件共 1255 物理行;工作区 C/H 去空行、去注释后 776 行,独有上下文超过 500 行。无 .git、修复新增测试、变更日志、issue 号或修复链接进入 template。保留上游已有 #if 0 整数演示,它不涉及 Float 修复或参考实现。
受保护附件仅 check.py、support.zip、observer.c;support.zip 是固定上下文源码和构建桩,不含答案;每次评分先完整解包可信支撑材料、复制声明候选并写入 observation harness,再以子进程构建与执行。C harness 只接收输入并打印原始观察,未携带断言和期望值。Python check 独立以任意精度整数解释 IEEE 位域并计算缩放结果;不运行 gold 求答案。
公开接口与判据依据
正常入口 make smoke,预期 written=7 read=7 value=320 last_length=4。这是 binary32 的正常写后读,不触发目标故障。任意报文入口 ./smoke HEX_PACKET FRACTION_BITS,语法见 README;退出 0 只表示观察程序正常结束。
所有下列文件行号均相对 template,合同 docs/resource-format.md 的相关条款与其他条款使用相同叙述风格。
| 判据检查项 | 公开依据 | 输入与独立判定 |
|---|---|---|
| 类型、ID 宽度、0/1/2/3 字节长度与网络字节序 | docs/resource-format.md:5(R01) | T/R 模式,四种类型、跨 255 的 ID,显式长度宽度 |
| 消费一条 TLV、保留后续报文、截断返回零 | docs/resource-format.md:7(R02) | T/R 模式,对完整报文追加后续字节,截断头部或值 |
| 两种合法 Float 宽度及其返回长度 | docs/resource-format.md:9(R03) | D/R 模式,binary32/binary64 与整数位域 oracle |
| 正负数、fraction bits、向零截断、双端饱和、零与 subnormal | docs/resource-format.md:11(R04) | bits=0/1/4/8/16/23/30;指数上下界、饱和前后、随机尾数、符号与零;任意精度整数独立计算 |
| 畸形宽度、正负 infinity 和多类 NaN | docs/resource-format.md:13(R05) | D/R 模式,不合法的 0/1/2/3/5/6/7/9/10/12/16 字节;特殊指数与不同 payload |
| 对象消费量、last_value_len 更新和失败保持、解析前输出保持 | docs/resource-format.md:15(R06) | R 模式,完整/非有限/非法宽度/截断各路径,初始输出与元数据为哨兵 |
| 整数最短表示、负数符号扩展、布尔规范化 | docs/resource-format.md:17(R07) | I/B 模式,正负边界与 32 位端点,独立编码期望报文并读回 |
| Float 写入回归与资源/实例 ID 选择 | docs/resource-format.md:19(R08) | W 模式,多种 bits 与可精确表示的正负输入;验证报文字节、读取值、消费量和 ID/type |
| 字符串长度、末尾零、容量相等拒绝、上下文保持 | docs/resource-format.md:21(R09) | S 模式,空/单字节/多字节字符串与 len、len+1、len+5 容量 |
| 通用尺寸和写入的头部、值一致性 | docs/resource-format.md:23(R10) | T 模式尺寸与 I/B/W/S 模式写入报文独立编码比较 |
公开合同限制 bits 为 0..30;不以未定义参数制造隐藏要求。判据涵盖这次修复相关全部行为,额外回归只约束已公开的既有 API。网络桩不参与预期计算。没有真实硬件/时序验证要求。
样例
| 样例 | 预期 | 说明 |
|---|---|---|
| gold | PASS | 完整应用上游两文件修复 |
| template | FAIL | 原样冻结版本;binary64 的 direct:normal 观察失败 |
| noop | FAIL | Float 入口始终返回零 |
| cheat | FAIL | 八字节测量统一清零并返回成功,其余仍冻结 |
| mask_symptom | FAIL | 仅对一个常用 fractional bits 与有限量程的八字节数据走替代处理,其他保持旧实现 |
| cheat_read_grader | FAIL | 判据隔离负例 |
| valid_wide_integer | PASS | 用单个统一 uint64_t 有效数、指数与饱和路径解析两种编码,与上游拆分宽度和对齐到第 30 位的实现明显不同 |
每个非 template 样例仅含两个 candidate_files。只有一个真实修复,因此不另设“只修其中一处”样例。
验证与边界
core.load_task成功;verify.py与rollout/bos_verify.py字节一致。没有 isolation-blocked 标记。- 禁止宿主执行上游代码:全部编译与实际运行均在 trace6 镜像、Docker
--network none内完成。未运行可信本地校准。 - 镜像固定为
ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1,实际 image ID 见 receipt;评分资源 512 MiB / 1 CPU,任务期限 120 秒,wrapper 内部 100 秒,编译 30 秒、observer 20 秒。 - Docker 校准命令:
python3 -m rollout calibrate tasks/numeric-lwm2m-float-resource-width --image IMAGE --output runs/20261102-D-oss-fix-26/contiki-3341c65。 - 回执:
runs/20261102-D-oss-fix-26/contiki-3341c65/calibration-d794839e407048188714b36a355a6bc5/receipt.json;7 类各 5 次,35/35 与预期一致,task_verdict/status PASS,cleanup confirmed。 - 当前 task digest:
5ae65b3b584419be2780159a42df2d144fb968d1071d670f69582f357032d344;verifier digest:5c12094deda2dc1b70016e0edd1c8a21c6d762da78fca61433b45e91cb30b8c0。 - Docker 正常 smoke:
factory/20261102-D-oss-fix-26/subagents/contiki-3341c65/smoke.log;唯一容器batch26-contiki3341c65-smoke-20261102使用--rm,正常结束。 - 正式 wrapper 以 root 保护 grader,编译器和候选进程降为 UID/GID 65534;原生隔离探针与负例确认边界。候选代码从不在 check 进程运行。所有 scratch 文件在候选执行前写好,执行后仅比较捕获的 stdout,不再读取候选可写目录。
- 判据返回 PASS 需要全部行为观察通过。全库 unittest 由 root 统一跑,本题不修改 tests/。
- 未调用任何模型、未测难度、无真实 Agent 或原生工具轨迹;不宣称硬件或生产 LwM2M 服务器验证。
- 原始克隆由主 Agent 批次收尾统一清理;本题不清理其他容器、网络或历史输出,不提交 Git。