2026-10-14 20:49:15 +08:00

5.5 KiB
Raw Blame History

  • 优先做减法而非加法 — 修 bug 先想能删什么,别动辄加钩子和配置项
  • 汇报说人话 — 不要用金丝雀这类行话,先给结论和数字
  • bench 调度程序重启的坑 — 改文件不算换代、kill -9 条件、drain 单向、密钥在旧进程环境、启动要 10–20 分钟、导出会卡、全局并发上限要三个一起换、新账号用新组名
  • 第一版交付包 — 位置、冻结点 62 条、出第二版要避开的坑
  • 采集稳定性补丁 — 2f54d40→ea0335b:请求不明、板卡锁死、板端隔离、ssh 断连、回执误判、编译上限 5 次、请求结束后补放行试探、bash 超时可恢复、GLM tpm 50万→200万、连坐只挡预算用完和真跑满24h
  • 成功率低的真实原因 — 10-08:真做不到的只有 2 条;GLM/Qwen 同题打平是考卷区分不出(简单题满分、难题被砍或判分卡住)
  • 轨迹时间花在哪 — 10-08:编译占 33%、编译机 CPU 只用 31%、排队中位 30 秒;04 时长是重复计算;编译上云暂无收益
  • 编译机要被回收 — 10-08 晚已回收、换到 36.144.20.182;账本只有 9-28 备份;10-11 起 36 能读写网盘上的旧轨迹;120 已关机清理
  • 第二个 GLM 账号与提并发 — 10-08:05/06 原来同一账号;06 换新账号 B,05/06 各 16 路,04 不变;接续脚本位置
  • Qwen SFT benchmark — 10-08 建 qwen-sft-v1:37 题;04 的 Qwen 轨迹只做训练前基准、不进 SFT;10-12 起 04 的旧结果也算,训练前过 20 败 3、14 题没结果
  • 仓库主线整理 — 10-09:main=生产分支 c2c52ed,旧 main 打标签;Salty 在 feature/salty-20261009;本地还剩优雅退出/板卡改动
  • Salty 个人空间迁移 — 10-10 完成:120 的 bench-cache/data 全在 personal:/bench/,逐文件核对通过;Salty 单文件上限 7.3–12.7G、拒软链接、du 会夸大
  • 别原地改运行中的脚本 — bash 边读边执行;要改就写新文件或新文件+mv 替换
  • Mac mini 主控 + Salty 全阶段执行 — 10-09 至 10-12:salty_remote 设计与踩坑(工作目录、HBM 取回、网络抖动、容器内存超限、重启恢复)、轨迹搬到个人空间、导出挪到 Salty、强停写坏执行文件的处理、各处位置
  • 记忆同步到仓库 — 改完记忆同步到 docs/memory/ 并推 salty 分支;入口 docs/memory/AGENTS.md
  • 04 的 Qwen 服务速度 — 10-12:单请求中位 6 秒、一次只处理 1 个请求;04 开 5 路只忙 15%,不是瓶颈
  • 迁到 Salty 后通过数暴跌 — 10-12 清查:主因是剩下全是重题(同模型在 Salty 不更慢);系统问题:整批重启、容器被杀占编译次数、连不上 GLM 永不自动恢复、metric3d、Wi-Fi
  • 自愈与报警 — 10-12:系统失败(被杀、执行器退出、超时、卡死)不占编译次数;连不上自动续,但暂停名额仍会被抢;depthpro/metric3d 撤出;健康检查弹通知
  • 容器线程被限流 — 10-13:容器看到 244 核只给 4–6 核,torch 慢 16 倍、numpy 5 倍;已加线程上限,onnxruntime 未处理
  • 验证器核查 — 10-12:Qwen 20 个通过是真的;但验证器不查是否真 int8(全 int16 也算过)、只抽 100 张;打平是因为系统包办了大半
  • 10-13 四个基建漏洞 — 超时步骤锁死 CPU 名额(32 剩 6)、超时后 Salty 容器不停、续跑必死、领题后重复查额度把题作废;10-13 20:41 重启后全部修复上线,22:26 导出进程加自动清理孤儿容器
  • 训练前 Qwen 能力失败题 — 10-14:34/37 有结果、过 28、能力失败 6 道;短板:配置写错、不先本地诊断、归咎平台
  • Mac mini 流量绕美国 — 10-13:Clash 全局+TUN,Qwen/Salty/GLM 全走洛杉矶 JMS 节点,是断线和 Salty 网络错误的共同根因;要用户改 Clash
  • HBM 步骤成新瓶颈 — 10-14:HBM≡BC 模拟器抽查在 Salty 上 1–2 小时、一夜撞时限 45 次,从没独立判出过问题;DNS_FAILED 暂停不会自动续
  • 06-hbm 抽查改为按需 — 10-14:模拟器抽查不再必跑(已部署);agent 可用配置开启、只作诊断;配置校验/说明与 DNS 续跑等下次重启
  • 网络容错与板卡时限 — 10-14:原地重发/免费续跑/结果不明可续跑;板卡时限对齐;19:00 连同开发环境/自带图/速度要求一起重启上线(-v16 配置、脚本在 restart-20261014)
  • 智能体自主性核查 — 10-14:不让改图、兜底配置多、VM 无工具链;已实现 bench dev(Salty 沙箱)+ 自带图/校准(a92510d,等重启);速度 1.5 倍门槛离线重判 06 翻 37/178;上线 2 小时内还没人自带图,dev 曾能看到评测集(已修)