From d48152f4174f801eb35affe8ca8aaccbe68aadb1 Mon Sep 17 00:00:00 2001 From: bench Date: Thu, 15 Oct 2026 09:42:27 +0800 Subject: [PATCH] =?UTF-8?q?docs(memory):=20=E6=9D=BF=E4=B8=8A=E4=BC=9A?= =?UTF-8?q?=E8=AF=9D=E7=9B=AE=E5=BD=95=E4=BF=AE=E5=A4=8D=E5=B7=B2=E4=B8=8A?= =?UTF-8?q?=E7=BA=BF=EF=BC=88a263374=EF=BC=89=EF=BC=8C=E4=BB=A5=E5=8F=8A?= =?UTF-8?q?=E4=B8=8D=E8=83=BD=E5=88=A0=E6=B4=BB=E7=9B=AE=E5=BD=95=E7=9A=84?= =?UTF-8?q?=E5=8E=9F=E5=9B=A0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 5.5 --- docs/memory/MEMORY.md | 2 +- docs/memory/overnight-check-20261015.md | 15 ++++++++++----- 2 files changed, 11 insertions(+), 6 deletions(-) diff --git a/docs/memory/MEMORY.md b/docs/memory/MEMORY.md index 75ceaef..348e30a 100644 --- a/docs/memory/MEMORY.md +++ b/docs/memory/MEMORY.md @@ -25,5 +25,5 @@ - [06-hbm 抽查改为按需](hbm-spotcheck-optional-20261014.md) — 10-14:模拟器抽查不再必跑(已部署);agent 可用配置开启、只作诊断;配置校验/说明与 DNS 续跑等下次重启 - [网络容错与板卡时限](net-resilience-board-deadline-20261014.md) — 10-14:原地重发/免费续跑/结果不明可续跑;板卡时限对齐;19:00 连同开发环境/自带图/速度要求一起重启上线(-v16 配置、脚本在 restart-20261014) - [智能体自主性核查](agent-autonomy-audit-20261014.md) — 10-14:不让改图、兜底配置多、VM 无工具链;已实现 bench dev(Salty 沙箱)+ 自带图/校准(a92510d,等重启);速度 1.5 倍门槛离线重判 06 翻 37/178;上线 2 小时内还没人自带图,dev 曾能看到评测集(已修) -- [10-15 早上复查](overnight-check-20261015.md) — dev 槽 8→37(配置有缓存,只对新命令生效);S600 板盘满因失败会话目录不删;暂停名额被新题抢;全 fp16 落 CPU 仍判过;4 条自带图/校准 +- [10-15 早上复查](overnight-check-20261015.md) — dev 槽 8→37(配置有缓存,只对新命令生效);S600 板盘满因失败会话目录不删(a263374 已修);暂停名额被新题抢;全 fp16 落 CPU 仍判过;4 条自带图/校准 - [v16 轨迹质量对比](v16-quality-20261015.md) — 10-15:dev 52/53 在用、兜底和慢速通过变少但样本只有 8 条;240 轮上限开始截断最自主的轨迹;吞吐暂降 diff --git a/docs/memory/overnight-check-20261015.md b/docs/memory/overnight-check-20261015.md index 56df8aa..66a40cd 100644 --- a/docs/memory/overnight-check-20261015.md +++ b/docs/memory/overnight-check-20261015.md @@ -5,7 +5,7 @@ metadata: node_type: memory type: project originSessionId: cadbef09-8744-472b-81b1-a1ff37b0a735 - modified: 2026-10-15T00:00:48.687Z + modified: 2026-10-15T01:41:51.665Z --- 10-15 07:50–08:10 复查(v16 上线约 13 小时,50 条 v16 轨迹)。 @@ -18,6 +18,13 @@ metadata: - 根因:board_perf.py 的 close() 在失败时把板上会话目录「留作诊断」,从不删。日志里 10-13 起留了 9 个(S600 上 3 个:dedode.v2、gmflow、yolo11m.pose)。 - 再加上 solo.r50 一次评测输出 12 GB。 - 板卡密钥只在 Salty 容器里,主控上看不了板子剩余空间。 + - 已修(a263374,10-15 09:41 热部署,阶段容器每次打包现读,不用重启): + - 清理已确认的失败会话照样删; + - 清理没确认的只留空目录和回执; + - 每个新会话先删 6 小时没人动的 eval-* 并在阶段 stderr 记「removed stale board sessions」; + - No space left on device → disk_full(瞬态)。 + - 不能直接删「活」目录:board_guard 的 finally 先往会话目录写 guard-result.json,再更新 /userdata/bench/.board-inference.quarantine.json。目录没了就抛异常,标记卡在 PENDING,这块板以后的推理都会被拦。test_failed_guard_retains_evidence_without_erasing_live_directory 守的就是这个。 + - reward.py 只对 board_offline 免罚,disk_full 还没加;这是判分改动,跟导出那批一起等用户。 - 「暂停名额被抢」又发生:00:56–01:11 GLM 断线,05 停了 12 条。01:17 一起续跑,6 条因为额度还没恢复(RESUME_NOT_READY: WAITING_QUOTA)又被暂停,空出的位子给了 6 道新题。两条 efficientvit.seg.b1/b3 停了 7 小时还在等。修要改 collector、要重启。 - 离线归档:06 zoedepth.n kk2 的包 23:00–00:12 一直传不上(网络 body error),跳过了。 - Salty 上留着 327 个失败、94 个成功的 stage 作业没清(317 个在重启前)。不占 CPU,可能占个人空间。 @@ -35,9 +42,7 @@ metadata: **How to apply:** - 下次重启要带上: - 续跑优先于新认领; - - 额度没好时别把位子让出去; - - 板上失败会话只留日志; - - 「No space left on device」记成基建错误。 -- 删板上残留目录、清 Salty 旧作业,都要先问用户。 + - 额度没好时别把位子让出去。 +- 清 Salty 旧作业要先问用户。板上残留目录由会话进入时的 6 小时清扫处理,用户 10-15 已同意。 相关:[[agent-autonomy-audit-20261014]] [[net-resilience-board-deadline-20261014]] [[selfheal-and-alert-20261012]]