Batch 26 commit 7f99538 measured 1 HARD (FreeRTOS loopback and mDNS state, where Qwen ran out of context in all three attempts), 3 MEDIUM (canmatrix JSON round trip, Zephyr byte-value formatting, Contiki event timer sleep) and 4 ROUTINE; two tasks still need more valid attempts. From batch 27 the lazy integer expression task becomes MEDIUM once its top-up attempts are added. Each task comes from the commit Qwen measured, its digest matches, and it is still present at the batch branch head. Attempts made while /home was below the 20 GiB sampling floor are recorded as disk_low and left out. Batches 26, 28 and 29 are stopped: after a login refresh on 11-03 the Codex account no longer offers the sol models they use. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
9.0 KiB
config-lazy-integer-expression 作者规格
本题为经授权原创的纯软件实现题,来源路线 C,source 为 original/config-lazy-integer-expression。规范族 config-calibration,语言 Python 3.9+ 标准库,split 分组键 bounded-lazy-infix-integer-expression。本题不代表历史工程恢复、实板结果或模型能力测量。状态 CALIBRATED,难度 UNMEASURED;真实模型与硬件均未运行。
任务是实现单文件 lazy_integer.py 的 evaluate(expression, bindings)。公开材料为 prompt 和 template 中的 README、未实现桩;候选、参考解、判据和运行证据分离。固定环境为 trace6:ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1,评分期限 60 秒,无外部服务或数据依赖。
去重扫描覆盖本工作树全部 task.json 的 family/source 与扩展 metadata、README 首标题及本批 qwen-difficulty.json 的相关完整记录。resource-expression-tree 是 C11 前缀树的分配/克隆事务与所有权;S500_n2_138 是结构化字典谓词路由;numeric-mode-formula 是固定数值公式和多通道状态。它们均未提供本题的中缀完整语法、惰性分支和运行时有界中间结果组合;未复制这些主题实现。第25、26批仅查询同名目录,均不存在。
公开合同保守计为 17 条独立规则,其中纯校验为 3 条(3/17),合并同一输入域与词法约定的澄清分项。将字面量/逐运算32位范围与一元正负/加减乘的共用数学整数策略合为一条,下表每项只计算一次规则;校验、零值、闭端点、自然错误先后与有界中间结果互相制约。
| 检查项 / 规则 | README 原句及行号 | 判据覆盖 |
|---|---|---|
| 1 输入域与全部绑定 | template/README.md:3:“expression 为长度 1..4096 的 str,bindings 为至多 64 项的 dict”;“调用先检查全部输入与绑定” | expression-domain、binding-domain-unused、input-before-runtime;1/4096/4097、64/65、未用非法值 |
| 2 ASCII 词法 | template/README.md:5:“标识符匹配 [A-Za-z_][A-Za-z0-9_]{0,31} 且区分大小写,数字串匹配 [0-9]+”;“词法从左到右取最长数字串、标识符或运算符” | 字母大小写、32/33长名、前导零、Unicode/VT/FF/NUL、拆开多字符运算符 |
| 3 整串解析先于运行 | template/README.md:5:“整个字符串必须先完成词法和语法解析,只允许一个表达式,即使一个分支不会运行,其语法错误仍须在任何运行错误之前抛 ValueError” | whole-lexical-syntax-before-runtime、死分支非法语法、missing/除零/溢出同时有语法错 |
| 4 括号与连续前缀 | template/README.md:5:“圆括号内必须是一个完整表达式,前缀 +、-、! 可连续出现并从右向左结合” | 手写前缀/分组及最长连续一元、2047层括号 |
| 5 二元优先级与左结合 | template/README.md:5:“其后二元优先级由高到低是 * / %,+ -,< <= > >=,== !=,&&, | |
| 6 条件表达式结合 | template/README.md:5:“最低优先级为 condition ? yes : no,右结合,yes 与 no 都可为完整条件表达式” | 三种嵌套位置、条件含二元、最长嵌套条件、随机AST |
| 7 有界数学整数算术 | template/README.md:7:“每个被求值的数字字面量以及每次运算的结果都必须落在上述有符号 32 位闭区间”;“字面量是否越界在访问它时判断”;“一元正负及加减乘按数学整数计算后检查范围,中间运算不会因最终结果回到范围内而被撤销” | 上下端点、连续符号、最小值取负、-2147483648先访问越界正字面量、(MAX+1)-1、乘法溢出、4096位数字及跳过分支、near_upper_endpoint |
| 8 朝零截断除法 | template/README.md:7:“除法 / 对数学商向零截断,除数为零时抛内置 ZeroDivisionError 或其子类” | -4..4符号全组合、MIN/-1、near_floor_division |
| 9 余数与商越界 | template/README.md:7:“余数 % 定义为 a-q*b,q 是该向零截断的数学商,只按余数结果检查范围而不要求 q 可表示” | -4..4符号全组合、MIN%-1=0、0除数、随机 |
| 10 六比较 | template/README.md:7:“六种比较按整数值比较并返回 0 或 1,连续比较按上述二元结合规则计算” | 所有六操作、相等端点、2<1<1、随机 |
| 11 零值真假与非 | template/README.md:9:“整数 0 为假,其它整数为真,! 将操作数真假取反并返回 0 或 1” | 负数、0、连续!、随机 |
| 12 惰性与 | template/README.md:9:“a && b 在 a 为假时返回 0 且不求 b,否则求 b 并将其真假变为 0 或 1” | 跳过缺名/越界、非零负值归一化、随机 |
| 13 惰性或 | template/README.md:9:“a | |
| 14 惰性条件分支 | template/README.md:9:“条件表达式先求 condition,仅求 yes 或 no 中被选中的一个,并原样返回那个分支的整数值” | 正负非布尔选中值、跳过除零/缺名/溢出、随机 |
| 15 自然求值先后与异常身份 | template/README.md:7:“普通二元运算先左操作数再右操作数,一元运算先操作数;缺少绑定的被访问标识符抛内置 NameError 或其子类,遇到第一个运行错误即停止” | 四种真实内置异常/MRO、左右错误混合、near_right_first |
| 16 输入保全与重复调用 | template/README.md:3:“不修改任何传入对象,成功或异常后均不保留影响以后调用的求值状态” | 父进程比较原始before/after实际类名和值;成功/仅异常改写定向探针;同表达式换绑定 |
| 17 整数输出与普通子类 | template/README.md:3:“返回值允许普通 int 子类,不包括 bool;异常文本不限”;“这两种容器及其普通无额外行为子类均可使用” | 输入str/dict/key/int子类分位置及组合;valid_subclasses输出与四种异常子类;不查文本或对象身份 |
判据含 317 个手写请求和 3200 个固定随机 AST 请求,seed=27031109,共 3517 请求。独立参考将生成的 AST 编译为有分支跳转的字节码,用 Fraction 精确截断求商,串化器独立依据优先级添加必要括号与随机空白。它不导入 gold、不以候选结果作真值。gold 为 113 行 Pratt AST;valid_stack 为 116 行栈式解析和栈式执行。合法域包括4096字符,深度未额外收窄;连续4095个一元符号与2047层括号已加入正式手写检查。
候选只在 -I -B 子进程导入。观察器在导入前保存内置四异常、isinstance、type及观察类型,回传原始参数 before/after、实际类名、值、异常 MRO 和继承身份;期望与比较全部在受保护父进程。scratch 位于 wrapper 的共同临时根 Path.cwd();候选启动后父进程只读捕获管道、不访问候选可写目录,最终由 wrapper 清理。verify.py 逐字复制 rollout/bos_verify.py,唯一私有Python附件为 check.py,无 isolation-blocked。
样例共12类:gold、valid_stack、valid_subclasses 期望 PASS;template、noop、cheat、cheat_read_grader 及三个近似解、两个观察边界探针期望 FAIL。三个近似解分别只修改运行范围上界为开端点、除法舍入为向下、非惰性二元访问右先于左;它们对应闭端点、符号算术、自然错误先后三个类别。cheat_mutate_input 仅在成功后新增绑定;cheat_named_error 仅让 ValueError 同名但无内置继承。合法替代解覆盖栈式结构和普通返回/异常子类。隔离校准 reader 的本地 PASS 属允许例外,须保留原总 FAIL,Docker 必须 FAIL。
两门原始回执、最终 task/verifier digest、逐样例五次统计、唯一差异及实际拒绝原因、清理与限制记录于 factory/20261102-C-spec-hard-27/subagents/config-lazy-integer-expression/report.json。全仓 unittest 由 root 在作者静止后统一执行,本作者只做本题检查与两门。盲写由 root 独立安排,本作者未读取 blind 或其产出。
最终身份 5623fba9bf3ccd7bf2d117deb0db3cc90fa7daa4beced231864c09633e75c168,verify 摘要 5c12094deda2dc1b70016e0edd1c8a21c6d762da78fca61433b45e91cb30b8c0。本地回执 runs/20261102-C-spec-hard-27/config-lazy-integer-expression/local/calibration-eb80ab8d3e05458dbc6a1185201706db/receipt.json 原总 FAIL,60次中55次符合预期,唯一例外为 reader PASS 5/5;其余各类均5/5符合预期,cleanup confirmed。Docker 回执 runs/20261102-C-spec-hard-27/config-lazy-integer-expression/docker/calibration-405a9e14c99d4dcda4401cfb1fa8cad1/receipt.json 总 PASS,60/60符合预期,包括 reader FAIL 5/5,cleanup confirmed。60个本题容器按 events.jsonl 中的精确名字逐个 inspect 均不存在;没有清理其它资源。两门和当前 task digest 相同,公开三文件 SHA256 保持冻结值。