amos 2f32624d3b Batch 18 (20261026-C-hwe-codegen-18): add 100 calibrated HWE code-gen tasks; pause production for rollout
100 tasks from the HWE arm-linux code-gen pool (outside the lk/man/pth
range given to batch 22), each with at least one independent
contract-edge defect and plain public docs. Claude reviewed 100/100
USABLE against current digests; no ID or source overlap with main or
batch 22. Difficulty is unmeasured.

progress.md records the wrap-up: all Codex sessions and Qwen schedulers
stopped for the user's rollout, Qwen results so far (57 HARD of 373),
and what is left on each batch branch.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-27 17:52:13 +08:00

11 KiB
Raw Permalink Blame History

任务规格:numeric-asymmetric-quantization

1. 身份与来源

字段 内容
task-id / 版本 / family numeric-asymmetric-quantization / 1 / numeric-reliability
作者 / 独立审阅 单题Codex作者 / 等待根Agent独立审阅
审核状态 CALIBRATED;不宣称ADMITTED
来源路线 C,HWE素材方向改写,原创工程/合同/判据/fixtures
来源ID / source syn-hard-x188-quant-asymm-zeropoint / hwe/syn-hard-x188-quant-asymm-zeropoint
原料快照 factory/20261026-C-hwe-codegen-18/hwe/arm-linux/code-gen/syn-hard-x188-quant-asymm-zeropoint,metadata.yaml/prompt.md/reference/main.c只读,不执行其中脚本
授权与隐私 本批BRIEF授权公开hard非held-out素材;无真实用户会话或私密内容
split分组键 syn-hard-x188-quant-asymm-zeropoint
根因族 数值舍入次序与分块张量profile路由
替身测试 software-only;没有硬件、内核、真实时钟或网络依赖
与既有题关系 与int4打包的位布局问题不同;本题核心为精确有理数值映射、配置状态与批量布局
验证/未验证 验证普通用户态数值和状态行为;不验证ARM指令、板卡、电气、模型或真实Agent

来源只给float范围[0,2]映射到int8端点的方向。完整的精确整数/有理数、Bank、布局、状态及错误合同均为本题原创公开,不冒称来源或公认标准已有。工程与初态不是历史真实故障复现。

2. 初态与环境

公开工程由quant.hpp、numeric.cpp、bank.cpp、tensor.cpp四个候选文件,加README.md、docs/contract.md、demo.cpp构成。数值、配置和张量路由分模块;demo症状出现在调用方,根因位于numeric和tensor模块。所有材料足以离线重建,新增文件不收集。私有材料为check.py、observer.cpp、gold及其他fixtures,不进入template。

独立缺陷:

  1. A,公开smoke故障:Blocked的物理位置误当Interleaved路由,导致不同scale通道混用,横跨tensor路由与bank配置数据。fix_layout只恢复这处,仍在精确边界失败。
  2. B,精确合同边界,公开smoke未展示:把zero-point先并入分子再舍入,平移后的符号支配半值方向。公开R04明确要求先对有符号缩放值ties-away舍入,再加zero。定向输入scale=1、zero=1、x=-1/2,正确0,错误1。fix_rounding只恢复这一处,仍在公开布局回放失败。类型为“数值舍入顺序/负半值符号边界”,由根分配轮换。

公开smoke不含负数、半值或非零zero-point,只展示A。template应输出0 2 1 2 1 2 1\n;正确输出0 2 2 1 1 2 1\n。真实编译/运行证据见单题factory/public-repro.json。

环境为C++17,Python3标准库独立Fraction模型,无额外依赖。固定正式镜像为ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1;实际image ID由双门回执记录,不以浮动tag代替。编译30秒、observer20秒,wrapper总100秒、task120秒;不跑真实Agent。当前初态候选非空非注释541行(含普通括号),去纯括号385行;独有公开工程557行,去纯括号398行。只对一个工程计数,不累计fixtures副本。

3. 公开题面与接口

prompt.md只说明回放清单不一致、自测命令、完整规格和交付范围,不点名根因函数/文件/类别。所有API和项目规则在template/docs/contract.md与quant.hpp可查,要求满足全部条款。

公开构建argv为["c++","-std=c++17","-O2","numeric.cpp","bank.cpp","tensor.cpp","demo.cpp","-o","demo"],运行argv为["./demo"]。运行应退出0,stdout完整为上述清单,stderr为空。正式验收单独编译受保护的无断言observer,stdin输入全部来自check进程;observer只是解析和直接调用API、打印原始结果与输出缓冲区哨兵。

4. 判据检查项与依据

以下行号为最终公开文件实际行号。coverage.json记录每一R规则对应的真实观察标签和数量。每次inspect分别调用get、ready、count、revision、counters,查询API不存在用snapshot代替的缺口。

检查项 公开依据 实际行为检查
库不写stdout/stderr template/docs/contract.md:3 对全部stdout二进制逐字节比较;stderr必须零字节;cheat_stdout输出NUL、cheat_stderr只输出诊断,均运行0后拒绝
R01通道域/Status template/docs/contract.md:7 索引0/7/8/999及各错误分支直接数值观察
R02配置域/规范化 template/docs/contract.md:8 scale分量1/1000000及越界,zero=-128/127及越界,low/high边界/倒置,规范化查询
R03输入与输出有理数域 template/docs/contract.md:9 num正负10^9、den1/10^6和越界;全256个int8码;最简输出、零0/1
R04精确舍入顺序 template/docs/contract.md:10 ±半值、半值左右1/10^6、正负zero-point、未平移符号的指定负半值
R04饱和计数边界 template/docs/contract.md:10 夹前等于上下界和邻点,直接counters核对低/高clip
R05反量化 template/docs/contract.md:11 8个scale/zero/区间配置乘全256码,Fraction独立复算
R05转换 template/docs/contract.md:11 8×8源目标、同通道收窄区间、端点,独立精确复算;只累计converted/clip
R06构造 template/docs/contract.md:15 初始get/ready/count/revision/counters各API分别调用
R06 configure原子性/优先级/幂等 template/docs/contract.md:15 Index与多个坏字段并存,Scale优先于Zero优先于Range,失败后全状态直接查询,6/8与3/4幂等
R07 replace template/docs/contract.md:16 count0/1/8/9,null优先级,后项无效不提交,前项错误优先,整体替换/缩小/重复/规范化
R08 erase template/docs/contract.md:17 已就绪/未就绪/越界/重复删除,revision与保留Counters直接观测
R08 reset template/docs/contract.md:17 空/非空/重复reset,非零Counters在reset后保留
R09 get template/docs/contract.md:18 全通道、越界、未就绪,输出Profile全部字段哨兵保留
R09 ready/count/revision template/docs/contract.md:18 每个状态检查分别直接调用三方法,不以get推导实际值
R10 counters/clear_counters template/docs/contract.md:19 直接取五计数,成功、失败、空batch,清空和重复清空保留配置/revision
R11 quantize/dequantize template/docs/contract.md:23 Index/NotReady/Value组合优先级、输出哨兵、不改配置/revision、成功元素累计
R12 convert错误路径 template/docs/contract.md:24 源目标分别越界或未就绪加非法码,输出哨兵和计数原子性
R13布局API/枚举 template/docs/contract.md:25 quantize_many和dequantize_many分别直接调用,-1/99 Layout先于其他错误
R14尺寸/指针/容量 template/docs/contract.md:26 channels0/1/8/9,frames0/1/32/33,block0/1/16/17;count不等/257;容量不足与各null组合
R15 batch错误顺序与原子性 template/docs/contract.md:27 Layout/Shape/Buffer/NotReady/Value组合;末项错误时全部258个哨兵仍保留,配置/计数不变
R15空batch template/docs/contract.md:27 无配置且null指针,所有合法布局的零元素以及零容量,成功不累计
R16布局与标量一致 template/docs/contract.md:28 通道1/2/3/8、帧0/1/2/3/7/16/32、三布局/块1/2/3/16与尾组,Fraction模型逐元素比较
R17缓冲区写界 template/docs/contract.md:29 两侧guard、count外剩余容量、最大256和小于最大尺寸,输出全量打印后比较
R18接口/离线构建 template/docs/contract.md:33 四个唯一候选文件与原始observer共同全新构建;无链接缺符号负例;全部公开API直接调用
R19公开回放 template/docs/contract.md:34 正确两个Profile和6个2/1;正式观察与公开demo真实构建/运行两种证据

模型不参考gold输出。固定seed=18827010,Python Fraction计算完整期望。合法替代解valid_threshold使用有界整数阈值二分搜索(不做gold的商余数四舍五入)且枚举物理存放次序(不做gold的偏移除法路由),结果等价允许通过。所有输出按binary捕获,禁止strip或仅检查末行。

所有源码读取、输入/期望生成、scratch写入均在首次compiler前完成。scratch由tempfile.mkdtemp(dir=Path.cwd())创建于wrapper独占目录;之后可信check仅启动compiler/observer并比较内存字节,不再读写scratch。verify.py原样复制平台bos_verify.py,正式compiler/observer均降为UID65534,grader受保护;wrapper退出统一回收整树。host仅可信fixture,不是正式隔离环境。无isolation-blocked.txt。

5. 样例与校准

fixture 预期 目的
gold PASS 商余数精确整数实现
template FAIL A+B均在,公开回放先拒绝
noop FAIL encode只给zero,完整构建运行后缺功能
cheat FAIL 硬编码公开回放,不进行真实计算/计数
cheat_read_grader FAIL 只有能读到check.py才按gold运行,否则stderr并exit42;host读到而PASS为规范允许例外
fix_layout FAIL 只修A,B的负半值返回1代替0
fix_rounding FAIL 只修B,A的公开回放仍错误
mask_symptom FAIL 只特判公开回放布局,仍有其他布局与B故障
valid_threshold PASS 不同精确数值算法和路由算法
cheat_stderr FAIL 数值行为全对,单独stderr 6字节仍拒绝
cheat_stdout FAIL 数值行为全对,单独stdout NUL前缀仍拒绝

每类五次,共55次/门。所有普通负例必须build0/run0按行为拒绝;cheat_read_grader正式门build0后exit42单列。preflight已观察host gold/valid/读grader例外PASS,其余完整构建运行后FAIL。最终两门已完成,真实回执、退出码、当前task_digest及清理统计见单题factory/report.json。Docker整体PASS/exit0;host整体FAIL/exit1仅由允许的读grader例外造成。

6. 真实采样与证据

本批不运行Qwen、GLM、Pi或任何真实Agent,不读凭据、不采样、不封存轨迹,不宣称完整rollout或硬件通过。难度UNMEASURED。闸门3/4未运行,Salty归档不适用。校准目录唯一,保留成功/失败/host例外事实;仅wrapper和本题Docker对象清理。

7. 审阅与限制

作者完成静态公开依据映射及可信样例预检;根Agent尚需独立只读审阅。全仓unittest由根统一执行,本子Agent没有执行。当前限于software-only校准任务,正式准入还需根审及后续用户授权阶段。外部缺环境必须记UNVERIFIED/INFRA_ERROR,不改预期或回执。