7.4 KiB
build-feature-flags 任务规格
1. 身份与来源
路线 C,原创扩写;source 与 split 分组键均为 hwe/cc-cmake-cflags-env。HWE public 用例 cc-cmake-cflags-env 的 metadata.yaml 已核对 visibility: public,且不在本批 _held_out.json;已用于制题,后续不可作该模型的评测。仅借现场方向及 reference 的工具链知识点,不复用 checks/behavior.py。原交叉/板端场景改为当前固定镜像的 make 与宿主 ELF 软件替身;不声称现场还原。依赖仅 Python3、gcc/cc、make、ar、ld、readelf 与标准 C 库;镜像已实测,CMake 不存在且未使用。
2. 初态与工程
模板为现成 C11 工程,协议解析、CRC、FIFO 存储、观察主程序和发布模块均真实参与运行。源码 712 行,候选 {'Makefile': 29, 'engine.c': 177},gold/template 差异 21 行。两处缺陷:构建选项/链接配置与运行状态/数据转换各一处;详见下表。非候选文件作为公开上下文,并从私有 cases.json 原样重建,额外文件不影响判分。
3. 公开合同与验收矩阵
| 判据项 | 公开位置 | 用例 |
|---|---|---|
| 构建配置、ELF/库身份、版本或 profile 传播 | prompt B 构建与发布合同全文 | 先构建再运行,profile 连续四次选择、静态产物复制部署、符号观察或环境配置组合 |
| 入队、容量、历史去重、通道校验与过滤顺序 | prompt Q PUT 全段 | 重放、满队列、非法通道、过滤后同序号重试、固定随机 200 步 |
| FIFO 部分排空、总值、DROP、RESET | prompt Q DRAIN/DROP/RESET 全段 | DRAIN 0/1/7/31/32/33、排空后重放与分批继续 |
| 线格式 CRC、边界数与无副作用错误 | prompt W 线格式全段 | WIRE、INT32_MIN/MAX、UINT32_MAX、错误命令 |
| 所有状态字段与 digest | prompt W 观察格式全段 | 每条命令独立 Python oracle 复算 |
4. 判据与隔离
verify.py 原样 bos_verify。唯一 Python 私有附件 check.py,同族逐字一致;cases.json 放公开支撑工程副本、配置与确定种子。check 在运行前完成全部输入、候选副本和构建驱动;其后仅比较子进程 stdout,不读取候选可写 scratch。驱动只编译、运行、搬运产物及打印 readelf 原始观察的规范化字段,没有期望值或断言。候选代码及构建只在降权子进程执行;Python oracle 不 import 候选。没有隐藏候选进程断言。
5. 构建、校准与运行
闸门 1/2 每类各五次。真实 GLM 试采由主 Agent 统一运行一次,结果另记批次台账;当前状态 CALIBRATED(真实试采由主 Agent 完成后另行准入)。可信 host 无隔离时 read_grader 正对照可能可读并正确通过,不伪造为拒读;Docker 要求不可读且 FAIL。
6. 证据与限制
本族台账 factory/20261016-C-embedded-3/build/;本地/正式输出 runs/20261016-C-embedded-3-dev/build 与 runs/20261016-C-embedded-3-calibration/build。固定软件替身,无实际板卡、交叉编译或硬件通过声明。难度分池不在本批范围。
7. 样例与审阅
| 样例 | 预期与机制 |
|---|---|
| gold | 全部构建和运行合同 PASS |
| template | 构建配置错误与运行缺陷同时保留,编译成功后观察 FAIL |
| noop | 完整可编译工程,不处理命令,状态输出不符 |
| cheat | 只接受 RESET,静态空输出无法匹配运行时输入 |
| cheat_read_grader | 若能读 grader 执行完整 gold;读不到则 noop 并在 stderr 明确 unreadable;Docker 应 FAIL |
| cheat_build_only | 只修构建,仍保留该题独立运行缺陷,FAIL |
| cheat_runtime_only | 只修运行,仍保留该题构建缺陷,FAIL |
| valid_alternative | 用线性移位去重历史替代环式历史,合法 PASS |
负例均须实际编译成功再行为 FAIL。独立只读评审待主 Agent 安排;具体校准回执、失败机制与真实试采写批次台账后更新准入状态。
最终校准与独立审阅证据
- Docker:
/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-3-calibration/build/calibration-c671dac42ee5401e9980c21f7241a868,40/40符合预期、cleanup confirmed。 - 同身份host:
/home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-3-dev/build/calibration-be113ae9a3c2470eb467e85117f53f18,其余35次符合预期,read_grader可读正对照5次PASS导致整体如实FAIL。 - memory作者独立只读审阅通过;真实试采与最终封存由主Agent统一完成,未在此先行声明ADMITTED。
- 运行缺陷:过滤负值却增加accepted并占用去重历史;构建缺陷:覆盖环境CFLAGS,产物版本仍为1而非17。两个半修复分别独立暴露上述缺陷。
| FAIL样例 | Docker五次实际机制(首个观察差异) |
|---|---|
| template | observation 1 mismatch: got=R 0 1234567 0 0 0 0 1 0 1 0 expected=R 0 1234567 0 0 0 0 1 0 17 0 |
| noop | observation 1 mismatch: got=R 0 0 0 0 0 0 1 0 17 0 expected=R 0 1234567 0 0 0 0 1 0 17 0 |
| cheat | observation 2 mismatch: got=R 0 1234567 0 0 0 0 1 0 17 0 expected=R 0 1234567 1 0 1 558161692 1 0 17 0 |
| cheat_read_grader | observation 1 mismatch: got=R 0 0 0 0 0 0 1 0 17 0 expected=R 0 1234567 0 0 0 0 1 0 17 0 |
| cheat_build_only | observation 416 mismatch: got=R 1 1234567 2 1 1 558161692 1 1 23 0 expected=R 1 1234567 1 1 1 558161692 1 1 23 0 |
| cheat_runtime_only | observation 1 mismatch: got=R 0 1234567 0 0 0 0 1 0 1 0 expected=R 0 1234567 0 0 0 0 1 0 17 0 |
本批实际收尾事实(2026-10-17)
现行状态:ADMITTED;本节取代制作阶段的待验证状态。版本1,task digest d9b0d87be63cf38b5663a1d8aa3ee9a64aeb9c9d31391194b6b242105bd0345b。最终Docker校准 /home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-3-calibration/build/calibration-c671dac42ee5401e9980c21f7241a868,40/40符合预期、cleanup confirmed;host仅条件读grader5次可读gold正对照PASS而整体如实FAIL,其他35项符合。
最终身份真实试采:FAIL;工具25次、411.181秒、证据VERIFIED、exit0、cleanup confirmed,独立重判一致及标准归档,controller /home/ming01.wang/embedded-rollout/runs/20261016-C-embedded-3/pi-d697809bc6934b4285f0bade61e1a96f。
全批当前33次尝试:18个最终身份完整(17PASS/1FAIL)、2条旧题面歧义完整轨迹保留排除、13条上游429基础设施故障保留排除;另2个v2最终身份闸门3待补。完整轨迹20次独立重判一致,20个标准归档由独立只读审阅核对。闸门4未做,不据一次采样正式分池。费用unknown;Salty上传/下载复核因本机无可用入口BLOCKED。
本批证据已复制至 /mnt/data/ming01.wang/embedded-rollout 下同名factory/runs/artifacts并完成逐文件核对;原五根及两次追加恢复的命名热根均已删除。恢复控制日志仅封存明确前缀,命名目录已清理;活动FD仍可能占空间。操作事实以migration-evidence为准。原回执不改写;新增试采可直接引用冷端校准路径。任务指标、每个负例机制及恢复命令见冷factory/20261016-C-embedded-3/final-report.md与resume-commands.md。
31次截止报告保持冻结;第32、33次追加恢复的最新汇总及20题表见冷端 runs/20261016-C-embedded-3-recovery-20261016T1605Z/supplement-report.md 与 latest-table.md,上一份32次截止报告另存同冷runs的20261016-C-embedded-3-recovery-20261016T1118Z。追加迁移事实以原冷factory/migration-evidence内late-recovery-migration及midnight-recovery-migration回执为准。