docs(memory): 板上会话目录修复已上线(a263374),以及不能删活目录的原因

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
bench 2026-10-15 09:42:27 +08:00
parent a263374839
commit d48152f417
2 changed files with 11 additions and 6 deletions

View File

@ -25,5 +25,5 @@
- [06-hbm 抽查改为按需](hbm-spotcheck-optional-20261014.md) — 10-14:模拟器抽查不再必跑(已部署);agent 可用配置开启、只作诊断;配置校验/说明与 DNS 续跑等下次重启
- [网络容错与板卡时限](net-resilience-board-deadline-20261014.md) — 10-14:原地重发/免费续跑/结果不明可续跑;板卡时限对齐;19:00 连同开发环境/自带图/速度要求一起重启上线(-v16 配置、脚本在 restart-20261014)
- [智能体自主性核查](agent-autonomy-audit-20261014.md) — 10-14:不让改图、兜底配置多、VM 无工具链;已实现 bench dev(Salty 沙箱)+ 自带图/校准(a92510d,等重启);速度 1.5 倍门槛离线重判 06 翻 37/178;上线 2 小时内还没人自带图,dev 曾能看到评测集(已修)
- [10-15 早上复查](overnight-check-20261015.md) — dev 槽 8→37(配置有缓存,只对新命令生效);S600 板盘满因失败会话目录不删;暂停名额被新题抢;全 fp16 落 CPU 仍判过;4 条自带图/校准
- [10-15 早上复查](overnight-check-20261015.md) — dev 槽 8→37(配置有缓存,只对新命令生效);S600 板盘满因失败会话目录不删(a263374 已修);暂停名额被新题抢;全 fp16 落 CPU 仍判过;4 条自带图/校准
- [v16 轨迹质量对比](v16-quality-20261015.md) — 10-15:dev 52/53 在用、兜底和慢速通过变少但样本只有 8 条;240 轮上限开始截断最自主的轨迹;吞吐暂降

View File

@ -5,7 +5,7 @@ metadata:
node_type: memory
type: project
originSessionId: cadbef09-8744-472b-81b1-a1ff37b0a735
modified: 2026-10-15T00:00:48.687Z
modified: 2026-10-15T01:41:51.665Z
---
10-15 07:50–08:10 复查(v16 上线约 13 小时,50 条 v16 轨迹)。
@ -18,6 +18,13 @@ metadata:
- 根因:board_perf.py 的 close() 在失败时把板上会话目录「留作诊断」,从不删。日志里 10-13 起留了 9 个(S600 上 3 个:dedode.v2、gmflow、yolo11m.pose)。
- 再加上 solo.r50 一次评测输出 12 GB。
- 板卡密钥只在 Salty 容器里,主控上看不了板子剩余空间。
- 已修(a263374,10-15 09:41 热部署,阶段容器每次打包现读,不用重启):
- 清理已确认的失败会话照样删;
- 清理没确认的只留空目录和回执;
- 每个新会话先删 6 小时没人动的 eval-* 并在阶段 stderr 记「removed stale board sessions」;
- No space left on device → disk_full(瞬态)。
- 不能直接删「活」目录:board_guard 的 finally 先往会话目录写 guard-result.json,再更新 /userdata/bench/.board-inference.quarantine.json。目录没了就抛异常,标记卡在 PENDING,这块板以后的推理都会被拦。test_failed_guard_retains_evidence_without_erasing_live_directory 守的就是这个。
- reward.py 只对 board_offline 免罚,disk_full 还没加;这是判分改动,跟导出那批一起等用户。
- 「暂停名额被抢」又发生:00:56–01:11 GLM 断线,05 停了 12 条。01:17 一起续跑,6 条因为额度还没恢复(RESUME_NOT_READY: WAITING_QUOTA)又被暂停,空出的位子给了 6 道新题。两条 efficientvit.seg.b1/b3 停了 7 小时还在等。修要改 collector、要重启。
- 离线归档:06 zoedepth.n kk2 的包 23:00–00:12 一直传不上(网络 body error),跳过了。
- Salty 上留着 327 个失败、94 个成功的 stage 作业没清(317 个在重启前)。不占 CPU,可能占个人空间。
@ -35,9 +42,7 @@ metadata:
**How to apply:**
- 下次重启要带上:
- 续跑优先于新认领;
- 额度没好时别把位子让出去;
- 板上失败会话只留日志;
- 「No space left on device」记成基建错误。
- 删板上残留目录、清 Salty 旧作业,都要先问用户。
- 额度没好时别把位子让出去。
- 清 Salty 旧作业要先问用户。板上残留目录由会话进入时的 6 小时清扫处理,用户 10-15 已同意。
相关:[[agent-autonomy-audit-20261014]] [[net-resilience-board-deadline-20261014]] [[selfheal-and-alert-20261012]]