The user wants 2000 tasks, most of them ones Qwen cannot solve. New batch tasks are now measured on their branch first (3 Qwen trials each), and only HARD or MEDIUM tasks reach main; ROUTINE ones stay on the batch branches. A session cut by context_limit or output_limit counts as a failure for difficulty (user decision 2026-11-03); the trajectory stays incomplete. - Batch 26 (route D, real upstream fixes in embedded open-source projects): 7 HARD of 20 (coreJSON, littlefs, CANopen, coreMQTT, LwM2M, Zephyr ring, lwIP SNTP). Most failures are Qwen exhausting its context in the larger workspaces. - Batch 25 (HWE mutation repairs): 1 HARD and 1 MEDIUM of 56. - Batch 27 (spec-dense implementation tasks): 2 MEDIUM of the first 10. Each task comes from the exact commit Qwen measured, and its digest matches the measured one. Failure reasons are not yet reviewed, so difficulty is the automatic label. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
10 KiB
任务规格:vision-integer-area-resize
1. 身份与来源
- 任务版本:1;family:embedded-vision;language:Python 3.9+ 标准库。
- 来源路线 C,原创纯软件题;source:original/vision-integer-area-resize。按本批用户授权制作,不主张恢复历史工程或真实故障。
- split 分组键与来源组:masked-integer-pixel-area-resampling;根因机制为像素面积积分、缺测覆盖量与精确整数输出。
- 已核对当前工作树所有 embedded-vision metadata/README 标题及面积重采样相关关键词;现有 BMP 旋转、Bayer、深度 ROI、相机投影、体素降采样不采用本题的有效面积分母和重采样合同。batch25/26 仅检查任务目录名,无本 ID。
- 无用户日志、凭据或其他需脱敏材料。输入均为合成离线二维数组,不需要外设替身,因此是 software;不验证相机、板卡或成像物理过程。
2. 初态与环境
- template 只有 README.md 与 area_resize.py 的 NotImplementedError 桩;公开 prompt 简述按 README 实现和自测,不给出算法或定向例子。
- 唯一 candidate_files 为 area_resize.py;私有 Python 只有 check.py,verify.py 逐字复制 rollout/bos_verify.py,无 isolation-blocked。
- trace6 镜像:ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1。
- 不下载或安装依赖;评分容器为平台默认 1 CPU、512 MiB;task timeout_seconds=60,候选观察子进程 timeout=40。
- 输入最大 32×32,输出最大 32×32;坐标和 minimum 整数无大小上限,测试包含 10**400。
3. 公开题面与接口
公开入口为 from area_resize import resample,调用 resample(request)。返回 pixels 与 coverage 字典,精确整数和约分有理数,无 CLI 或日志格式要求。公开自测方法在 template/README.md:23。函数定义与候选文件名在 template/area_resize.py:1 及 prompt.md:3。
4. 判据检查项与逐条依据
以下行号对应冻结的 template/README.md;每项按该原句验收,不添加更严的输出类型或异常文本要求。所有输入、参考答案、断言均在私有父进程中;观察子进程仅 import 候选、调用接口、返回函数值/异常继承身份和调用前后输入快照。
| 检查项 | README 原句与行号 | 实际场景与判断 |
|---|---|---|
| 顶层对象、必需字段、额外键 | 5:“request 是内建 dict,必需键依次为 pixels、window、size、minimum、fill;忽略所有额外键及其内容。” | 错误顶层类型、缺键、额外嵌套值,按值或异常身份比较 |
| 严格输入类型 | 6:“输入中的列表和整数均指内建 list 和内建 int,不接受其子类,bool 不属于整数;像素的缺测值为 None。” | bool/float/tuple 与 int/list/dict 子类拒绝 |
| 矩形和像素域 | 7:“pixels 是矩形二维列表,行数和列数均在 0..32;空外层列表的列数为 0,也允许若干长度为 0 的行。非缺测像素为 0..65535 的整数。” | 空图/空行、32 边界、33/不等长及像素越界 |
| 窗口顺序、无界整数与退化 | 8:“window 为四元素列表 [x0,y0,x1,y1],坐标为任意大小整数,满足 x0<=x1、y0<=y1,可超出源图像,也允许零宽或零高。” | 逆序、零宽/高、图外与巨大坐标 |
| 输出尺寸域 | 9:“size 为两元素列表 [width,height],二者为 0..32 的整数,指定输出列数和行数。” | 0/32、负数/33、参数次序 |
| 覆盖门限域 | 10:“minimum 为两元素列表 [n,d],二者为任意大小整数,满足 0<=n<=d 且 d>0;它表示所需最小有效覆盖比例,不要求输入约分。” | 0/1/未约分门限、超大分子分母和非法分母 |
| fill 域 | 11:“fill 为 0..65535 的整数,用于未达到所需覆盖量的输出格。” | 0/65535 及错误类型/范围 |
| 多错阶段次序和异常继承 | 12:“错误按以下阶段确定……类型不合抛 TypeError,缺键抛 KeyError,其余非法值抛 ValueError,允许这些内建异常的子类;异常文本不限。” | 15 类手写多错组合、300 随机多错,isinstance 校验而非异常名称 |
| 字段内优先级 | 13:“pixels 结构阶段依次检查外层列表类型、行数上限、从上到下的所有行类型、所有行的列数上限和等长性;pixels 值阶段按行优先逐元素检查类型后检查范围。window、size、minimum 阶段各依次检查列表类型、长度、从左到右的所有元素类型、数值限制。” | 行类型优先于列长,像素顺序及向量长度/类型优先于值 |
| 全验证与输入保全 | 14:“每次调用先完成全部输入验证,再计算结果;输出为空或窗口退化也不能省略验证。调用成功或抛异常均不得修改 request 及其嵌套内容。” | 空输出/退化窗口伴随非法字段;每次调用比较原始输入前后快照 |
| 像素格及缺测语义 | 15:“源图像第 r 行第 c 列的像素……图像外和 None 像素都没有有效值。” | 不对称二维值/None 图像与边界窗口 |
| 输出格完整窗口均分 | 16:“输出格按整个 window 均分……不先裁剪 window,也不以格中心采样。” | 3×2/2×3、上/下采样与部分图外窗口 |
| 面积与加权和 | 17:“一个输出格的有效面积 A 为它与所有非缺测源像素的交集面积之和……仅边或顶点接触的交集面积为零,所有面积和加权和按精确有理数计算。” | 网格端点接触、巨大整数、随机有理边界,零容差精确比对 |
| 裁剪前分母、零面积 | 18:“覆盖比例为 A 除以该输出格裁剪前的面积 B;当 B 为零时覆盖比例规定为零。图像外面积和缺测面积均保留在 B 中。” | 图外/None 对分母的影响、零宽高窗口 coverage=[0,1] |
| 闭门限、有效面积与偶数舍入 | 19:“A 大于零且覆盖比例大于或等于 minimum 时……恰为两个整数中点时取偶数;其余情况输出 fill。” | 1/2 门限相等、空掩码零门限、偶/奇 midpoint,精确比较 |
| 输出字段和二维形状 | 20:“返回 dict,键恰为 pixels、coverage……height 为零时二者为 [],width 为零时二者有 height 个空行。” | 空尺寸和一般尺寸、全部字段与嵌套类型 |
| 有理数规范与合法子类 | 21:“每个 coverage 元素是约分整数对列表……返回 dict、list 和 int 允许对应类型的子类……不接受浮点近似或 tuple 替代列表。” | 约分/正分母/零规范,允许输出容器整数子类及 str 子类键 |
| 自包含交付 | 23:“area_resize.py 须自包含;最终只收集此文件,新增文件不会被评分。” | 只复制唯一候选到新目录,所有样例仅含此文件 |
私有 reference 把每个输出格在源图像整数网格线处分割,逐子矩形按中点确定恒值后用 Fraction 累加;gold 则用按目标宽高缩放的整数矩形交集,代码组织与参考算法不同。valid_prefix_integral 使用两个二维前缀积分,四角求格内面积与加权和。合法实现不限算法。
随机 seed=270227;2400 个小域合法请求、300 个非法/多错请求,另有逐条手写边界。小域频繁覆盖零尺寸、相等坐标、None、门限相等和舍入中点。最终测试数与回执见作者 report.json。
5. 样例与两道校准
共 12 类,每类五次;预期 PASS 为 gold、valid_prefix_integral、valid_subclasses,其余 FAIL。
| 样例 | 唯一差异或作用 |
|---|---|
| gold | 约 90 行,缩放整数矩形交集与精确余数舍入 |
| template | 接口桩抛 NotImplementedError |
| noop | 返回 None,无核心功能 |
| cheat | 直接返回输入像素并给空 coverage |
| cheat_read_grader | 只用于隔离校准;正式评分应拒绝 |
| cheat_strict_threshold | gold 的 >= 改为 >,仅违反第15条闭门限,端点类别 |
| cheat_half_up | gold 的 midpoint 偶数判定改为总向上,仅违反第15条舍入规则,数值舍入类别 |
| cheat_boolean_fill | gold 的 fill 严格 int 判断改为 isinstance(int),仅多接受 bool fill,输入域类别 |
| cheat_mutate_input | 正确计算后向 request 加键,验证输入保全 |
| cheat_named_typeerror | 同名无关异常代替内建 TypeError,验证异常继承身份 |
| valid_prefix_integral | 源图二维前缀积分;与 gold 的逐像素交集结构不同 |
| valid_subclasses | 正确计算后返回 dict/list/int 和键 str 子类,异常为公开内建异常子类 |
最终 task digest:5b9e334844560de844bd21fd29c1f65918b45475ee655620e8377927d176ca25,两门原回执与当前 load_task 指纹一致。
- 可信本地:
runs/20261102-C-spec-hard-27/vision-integer-area-resize/local/calibration-4ff47f7c8d9647a3afe933d64e5ebdc3/receipt.json。60 次全部完成,除 reader 无隔离 PASS 五次外,55 次符合预期;原 task_verdict=FAIL 保留,此项按制题规范为允许例外,不作为隔离证据。 - trace6:
runs/20261102-C-spec-hard-27/vision-integer-area-resize/docker/calibration-3766b28a8cdf443d873ce1e6026155f4/receipt.json,task_verdict=PASS;60/60 符合预期,gold 和两个 valid 各五次 PASS,全部负例各五次 FAIL,reader 五次 FAIL。 - 实际 image ID 为
sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1。最大单个容器运行与清理耗时 4.00 秒,小于 60 秒评分预算。 - 两门 cleanup=confirmed;仅按本题 events.jsonl 记录的 60 个精确容器名逐一 inspect,全部不存在,残留为 0;不创建网络,不执行前缀清理或 prune。
- 固定用例共 2969 个(2542 合法、427 非法),包含上述 2400+300 随机请求。
6. 真实试采与难度
本批不调用模型。真实 Agent、原生 rollout、Qwen 难度和硬件均 UNMEASURED。作者不读取 blind 目录,独立盲写由 root 另行安排并验收。此题只可据本地与 trace6 样例称 CALIBRATED,不据规则数或断言数宣称难题。
7. 评审与边界
- 作者自审:候选只在子进程内加载,期望与断言留在私有 check;scratch 置于 wrapper 共同临时根 Path.cwd(),候选启动后父进程不遍历或读写候选可写目录。
- 输出在每次调用时即时序列化,不要求跨调用返回缓存独立;异常用 isinstance 核继承;普通合法返回子类有独立 PASS 样例。
- 全库 unittest 由环境 Agent 统一执行;独立只读评审与盲写由 root 记录,作者不代签。
- 当前状态:CALIBRATED / UNMEASURED;独立审阅与盲写未由作者签署,不标 ADMITTED。