# 经验记忆 这里是在本项目上工作的 agent(Claude、Codex 等)积累下来的经验:用户的偏好和纠正、项目现场的事实、踩过的坑。代码和 git 历史里能直接查到的东西不放在这里。 ## 怎么用 - 开始工作前先扫一遍下面的索引,按每行的提示挑相关的文件读。 - 记忆只代表写下那一刻的情况。里面提到的路径、进程、配置、机器,用之前先到现场核实;和现场不符时以现场为准,并更新或删掉那条记忆。 ## 怎么写 1. 一个文件只记一件事。文件名用英文小写加短横线,例如 `bench-restart-hazards.md`。 2. 文件开头写 frontmatter: ```markdown --- name: <和文件名相同,不带 .md> description: <一句话,别人靠它判断要不要读这个文件> metadata: type: user | feedback | project | reference --- ``` | type | 记什么 | | --- | --- | | user | 用户是谁、懂什么、偏好什么 | | feedback | 用户的要求和纠正;做对了被肯定的做法也记 | | project | 进行中的工作、现场事实、约束,代码里看不出来的 | | reference | 外部资源在哪:地址、看板、工单 | 3. 正文先写事实。feedback 和 project 类再加两行:`**Why:**` 写原因,`**How to apply:**` 写以后具体怎么做。 4. 时间一律写绝对日期(2026-10-11),不写"昨天""下周"。 5. 相关的记忆用 `[[name]]` 互相链接。目标文件还没写也可以先留着链接。 6. 新写之前先查有没有已经覆盖这件事的文件。有就改那个文件,不要另起一份。发现某条记错了,就地改正并注明"更正(日期)",或者整个删掉。 7. 写完在下面的索引里加一行:`- [标题](文件名.md) — 一句话提示`。索引只放链接和提示,不放内容。 ## 不能写的 - 密码、API key、token、私钥,连前几位、后几位都不写。只写变量名或存放位置。 - 代码结构、git 历史,以及 README、CONTRACT、HANDBOOK 里已经写了的东西。 - 只对当前这一次对话有用的临时状态。 ## 存放和同步 - 本目录 `docs/memory/` 是共享的记忆库,跟着 `feature/salty-20261009` 分支提交和推送。不要推到 `main` 或生产分支。 - Claude 在本机另有一份工作副本(`~/.claude/projects/<项目>/memory/`,索引文件叫 `MEMORY.md`)。两边内容保持一致:改了一边,同步到另一边再提交。 - 推送前 grep 一遍新增内容,确认没有密钥或密钥片段。 ## 索引 - [优先做减法而非加法](prefer-subtraction-over-addition.md) — 修 bug 先想能删什么,别动辄加钩子和配置项 - [汇报说人话](plain-language-no-jargon.md) — 不要用金丝雀这类行话,先给结论和数字 - [bench 调度程序重启的坑](bench-restart-hazards.md) — 改文件不算换代、kill -9 条件、drain 单向、密钥在旧进程环境、启动要 10–20 分钟、导出会卡、全局并发上限要三个一起换、新账号用新组名 - [第一版交付包](delivery-package-v1.md) — 位置、冻结点 62 条、出第二版要避开的坑 - [采集稳定性补丁](quota-unknown-autorecover-fix.md) — 2f54d40→ea0335b:请求不明、板卡锁死、板端隔离、ssh 断连、回执误判、编译上限 5 次、请求结束后补放行试探、bash 超时可恢复、GLM tpm 50万→200万、连坐只挡预算用完和真跑满24h - [成功率低的真实原因](success-rate-breakdown-20261008.md) — 10-08:真做不到的只有 2 条;GLM/Qwen 同题打平是考卷区分不出(简单题满分、难题被砍或判分卡住) - [轨迹时间花在哪](rollout-time-breakdown-20261008.md) — 10-08:编译占 33%、编译机 CPU 只用 31%、排队中位 30 秒;04 时长是重复计算;编译上云暂无收益 - [编译机要被回收](compile-server-reclaim.md) — 10-08 晚已回收、换到 36.144.20.182;账本只有 9-28 备份;10-11 起 36 能读写网盘上的旧轨迹;120 已关机清理 - [第二个 GLM 账号与提并发](glm-second-account-20261008.md) — 10-08:05/06 原来同一账号;06 换新账号 B,05/06 各 16 路,04 不变;接续脚本位置 - [Qwen SFT benchmark](qwen-sft-benchmark.md) — 10-08 建 qwen-sft-v1:37 题;04 的 Qwen 轨迹只做训练前基准、不进 SFT;10-12 起 04 的旧结果也算,训练前过 20 败 3、14 题没结果 - [仓库主线整理](git-mainline-20261009.md) — 10-09:main=生产分支 c2c52ed,旧 main 打标签;Salty 在 feature/salty-20261009;本地还剩优雅退出/板卡改动 - [Salty 个人空间迁移](salty-personal-migration-20261009.md) — 10-10 完成:120 的 bench-cache/data 全在 personal:/bench/,逐文件核对通过;Salty 单文件上限 7.3–12.7G、拒软链接、du 会夸大 - [别原地改运行中的脚本](never-edit-running-script.md) — bash 边读边执行;要改就写新文件或新文件+mv 替换 - [Mac mini 主控 + Salty 全阶段执行](mini-salty-controller-20261009.md) — 10-09 至 10-12:salty_remote 设计与踩坑(工作目录、HBM 取回、网络抖动、容器内存超限、重启恢复)、轨迹搬到个人空间、导出挪到 Salty、强停写坏执行文件的处理、各处位置 - [记忆同步到仓库](memory-synced-to-repo.md) — 改完记忆同步到 docs/memory/ 并推 salty 分支;入口就是本文件 - [04 的 Qwen 服务速度](qwen-nvfp4-service-speed-20261012.md) — 10-12:单请求中位 6 秒、一次只处理 1 个请求;04 开 5 路只忙 15%,不是瓶颈 - [迁到 Salty 后通过数暴跌](salty-throughput-drop-20261012.md) — 10-12 清查:主因是剩下全是重题(同模型在 Salty 不更慢);系统问题:整批重启、容器被杀占编译次数、连不上 GLM 永不自动恢复、metric3d、Wi-Fi - [自愈与报警](selfheal-and-alert-20261012.md) — 10-12:系统失败(被杀、执行器退出、超时、卡死)不占编译次数;连不上自动续,但暂停名额仍会被抢;depthpro/metric3d 撤出;健康检查弹通知 - [容器线程被限流](salty-container-threads-20261013.md) — 10-13:容器看到 244 核只给 4–6 核,torch 慢 16 倍、numpy 5 倍;已加线程上限,onnxruntime 未处理 - [10-13 四个基建漏洞](infra-leaks-20261013.md) — 超时步骤锁死 CPU 名额(32 剩 6)、超时后 Salty 容器不停、续跑必死、领题后重复查额度把题作废;四项都已修复部署(后两项 10-13 20:41 重启上线);22:26 导出进程加自动清理孤儿容器 - [验证器核查](verifier-audit-20261012.md) — 10-12:Qwen 20 个通过是真的;但验证器不查是否真 int8(全 int16 也算过)、只抽 100 张;打平是因为系统包办了大半 - [训练前 Qwen 能力失败题](qwen-ability-failures-20261013.md) — 10-14:34/37 有结果、过 28、能力失败 6 道;短板:配置写错、不先本地诊断、归咎平台 - [Mac mini 流量绕美国](mac-mini-clash-global-proxy-20261013.md) — 10-13:Clash 全局+TUN,Qwen/Salty/GLM 全走洛杉矶 JMS 节点,是断线和 Salty 网络错误的共同根因;要用户改 Clash