Allow importing rglob-type Bos tasks by narrowing the grader to declared files

The platform freezes only candidate_files, so a grader that rglobs the workspace
can wrongly fail a legitimate split. Instead of leaving 191 such environments
out, rewrite the grader to read the declared files and state the delivery
boundary in the README. Tasks with more than 16 targets stay out.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
amos 2026-10-26 00:26:22 +08:00
parent 2a7e79a3e7
commit d802952425
2 changed files with 3 additions and 2 deletions

View File

@ -64,7 +64,8 @@ tasks/<task-id>/
- [机检] 根目录全部 `*.py`(至少 `check.py`)作为私有 `grader_files`;统一的 [verify.py](../rollout/bos_verify.py) 以 root 原样运行 `check.py`,check 启动的子进程降为 UID 65534,最后一行为 `PASS` 且退出 0 才判 PASS,失败子进程的 stderr 尾部只进私有 `grade.stderr`。根目录还有 `check.py` 以外的 `*.py`(工厂的 tests.py 会和候选在同一进程运行)时,导入器加私有 `isolation-blocked.txt`,评分恒为 UNVERIFIED,需按 §6 第 8 条重写判据、去掉标记并加 `cheat_read_grader` 后以新版本准入。
- [机检] 公开合同检查:隐藏判据从候选 Python 模块导入或以 `模块.名字`(含 `import … as`)访问的名字,必须出现在 prompt 或 template 中,否则拒绝导入。
- Bos 题声明的 python、rlenv 镜像 digest 在 36 上已不存在,统一换成本项目固定 runtime 后完整重新校准;Bos 历史准入与教师结果不沿用。
- 暂不导入:`check.py` 递归收集工作区全部 `*.py` 的 rglob 型任务(本合同只冻结声明文件,照搬会把合法拆分判 FAIL),以及 ROS2 Jazzy 任务(等镜像)。
- rglob 型任务(`check.py` 递归收集工作区全部 `*.py`):平台只冻结声明的 `candidate_files`,照搬会把合法拆分判 FAIL。用户 2026-10-26 要扩题量,改为导入后重写:判据只读取声明文件(gold 需要的非目标文件作为私有判据数据提供),README 写明"只交付并评分这些文件,新增文件不会被收集",记入 spec.md,`version` 加 1;判据同时按 §6 第 8 条改过隔离的,照该条加 `cheat_read_grader`。目标文件超过 16 个或 template 超过 64 个文件的仍不导入。
- 暂不导入:ROS2 Jazzy 任务(等镜像)。
### 2.2 路线 B:轨迹回放

View File

@ -187,7 +187,7 @@ python3 -m rollout.report runs/<批次> --tasks tasks --output factory/<批次>/
- 0 PASS 的题先查题面漏项:S500_n3_152 v1 的隐藏测试调用了 README 未公开的 `process(request)`,两个模型都因此失败。
- 原生轨迹上限 64 MiB;长题 `--agent-timeout 3600`。
- 模型凭据目前仍在 JuiceFS 的 `.private/`;读取失败会使该次尝试记 INFRA_ERROR,补跑即可。把它移到本地私有目录需用户操作。
- rglob 型题(判据递归收集全部 `*.py`)照搬会把合法拆分判 FAIL,必须等候选通配合同。
- rglob 型题(判据递归收集全部 `*.py`)照搬会把合法拆分判 FAIL,按 task-authoring §2.1 改成只读声明文件、README 写明交付范围后导入(用户 2026-10-26 决定扩题量)。
- Qwen 断流(2026-10-21 查明):被切断的请求都是收到约 7.9 KB 初始事件后,上游 300 秒没有任何数据,随后在约 302 秒时连接关闭;而能完成的长请求可以持续 500 秒以上、返回数 MB 数据。ModelProxy 的空闲上限是 900 秒,所以这是 Qwen 网关一侧的 300 秒读空闲超时:上下文很长时,排队或处理输入的阶段会超过 300 秒。要从根本上解决,需要服务方调大这个超时。
## 13. 汇报格式