66 lines
14 KiB
Markdown
66 lines
14 KiB
Markdown
- [优先做减法而非加法](prefer-subtraction-over-addition.md) — 修 bug 先想能删什么,别动辄加钩子和配置项
|
||
- [汇报说人话](plain-language-no-jargon.md) — 不要用金丝雀这类行话,先给结论和数字
|
||
- [bench 调度程序重启的坑](bench-restart-hazards.md) — 改文件不算换代、kill -9 条件、drain 单向、密钥在旧进程环境、启动要 10–20 分钟、导出会卡、全局并发上限要三个一起换、新账号用新组名
|
||
- [第一版交付包](delivery-package-v1.md) — 位置、冻结点 62 条、出第二版要避开的坑
|
||
- [采集稳定性补丁](quota-unknown-autorecover-fix.md) — 2f54d40→ea0335b:请求不明、板卡锁死、板端隔离、ssh 断连、回执误判、编译上限 5 次、请求结束后补放行试探、bash 超时可恢复、GLM tpm 50万→200万、连坐只挡预算用完和真跑满24h
|
||
- [成功率低的真实原因](success-rate-breakdown-20261008.md) — 10-08:真做不到的只有 2 条;GLM/Qwen 同题打平是考卷区分不出(简单题满分、难题被砍或判分卡住)
|
||
- [轨迹时间花在哪](rollout-time-breakdown-20261008.md) — 10-08:编译占 33%、编译机 CPU 只用 31%、排队中位 30 秒;04 时长是重复计算;编译上云暂无收益
|
||
- [编译机要被回收](compile-server-reclaim.md) — 10-08 晚已回收、换到 36.144.20.182;账本只有 9-28 备份;10-11 起 36 能读写网盘上的旧轨迹;120 已关机清理
|
||
- [第二个 GLM 账号与提并发](glm-second-account-20261008.md) — 10-08:05/06 原来同一账号;06 换新账号 B,05/06 各 16 路,04 不变;接续脚本位置
|
||
- [Qwen SFT benchmark](qwen-sft-benchmark.md) — 10-08 建 qwen-sft-v1:37 题;04 的 Qwen 轨迹只做训练前基准、不进 SFT;10-12 起 04 的旧结果也算,训练前过 20 败 3、14 题没结果
|
||
- [仓库主线整理](git-mainline-20261009.md) — 10-09:main=生产分支 c2c52ed,旧 main 打标签;Salty 在 feature/salty-20261009(10-20 改名 salty-prod / salty-test);本地还剩优雅退出/板卡改动
|
||
- [Salty 个人空间迁移](salty-personal-migration-20261009.md) — 10-10 完成:120 的 bench-cache/data 全在 personal:/bench/,逐文件核对通过;Salty 单文件上限 7.3–12.7G、拒软链接、du 会夸大
|
||
- [别原地改运行中的脚本](never-edit-running-script.md) — bash 边读边执行;要改就写新文件或新文件+mv 替换
|
||
- [Mac mini 主控 + Salty 全阶段执行](mini-salty-controller-20261009.md) — 10-09 至 10-12:salty_remote 设计与踩坑(工作目录、HBM 取回、网络抖动、容器内存超限、重启恢复)、轨迹搬到个人空间、导出挪到 Salty、强停写坏执行文件的处理、各处位置
|
||
- [记忆同步到仓库](memory-synced-to-repo.md) — 改完记忆同步到 docs/memory/ 并推 salty-test(上生产时随 salty-prod 快进);入口 docs/memory/AGENTS.md
|
||
- [04 的 Qwen 服务速度](qwen-nvfp4-service-speed-20261012.md) — 10-12:单请求中位 6 秒、一次只处理 1 个请求;04 开 5 路只忙 15%,不是瓶颈
|
||
- [迁到 Salty 后通过数暴跌](salty-throughput-drop-20261012.md) — 10-12 清查:主因是剩下全是重题(同模型在 Salty 不更慢);系统问题:整批重启、容器被杀占编译次数、连不上 GLM 永不自动恢复、metric3d、Wi-Fi
|
||
- [自愈与报警](selfheal-and-alert-20261012.md) — 10-12:系统失败(被杀、执行器退出、超时、卡死)不占编译次数;连不上自动续,但暂停名额仍会被抢;depthpro/metric3d 撤出;健康检查弹通知
|
||
- [容器线程被限流](salty-container-threads-20261013.md) — 10-13:容器看到 244 核只给 4–6 核,torch 慢 16 倍、numpy 5 倍;已加线程上限,onnxruntime 未处理
|
||
- [验证器核查](verifier-audit-20261012.md) — 10-12:Qwen 20 个通过是真的;但验证器不查是否真 int8(全 int16 也算过)、只抽 100 张;打平是因为系统包办了大半
|
||
- [10-13 四个基建漏洞](infra-leaks-20261013.md) — 超时步骤锁死 CPU 名额(32 剩 6)、超时后 Salty 容器不停、续跑必死、领题后重复查额度把题作废;10-13 20:41 重启后全部修复上线,22:26 导出进程加自动清理孤儿容器
|
||
- [训练前 Qwen 能力失败题](qwen-ability-failures-20261013.md) — 10-14:34/37 有结果、过 28、能力失败 6 道;短板:配置写错、不先本地诊断、归咎平台
|
||
- [Mac mini 流量绕美国](mac-mini-clash-global-proxy-20261013.md) — 10-13:Clash 全局+TUN,Qwen/Salty/GLM 全走洛杉矶 JMS 节点,是断线和 Salty 网络错误的共同根因;要用户改 Clash
|
||
- [HBM 步骤成新瓶颈](hbm-step-bottleneck-20261014.md) — 10-14:HBM≡BC 模拟器抽查在 Salty 上 1–2 小时、一夜撞时限 45 次,从没独立判出过问题;DNS_FAILED 暂停不会自动续
|
||
- [06-hbm 抽查改为按需](hbm-spotcheck-optional-20261014.md) — 10-14:模拟器抽查不再必跑(已部署);agent 可用配置开启、只作诊断;配置校验/说明与 DNS 续跑等下次重启
|
||
- [网络容错与板卡时限](net-resilience-board-deadline-20261014.md) — 10-14:原地重发/免费续跑/结果不明可续跑;板卡时限对齐;19:00 连同开发环境/自带图/速度要求一起重启上线(-v16 配置、脚本在 restart-20261014)
|
||
- [智能体自主性核查](agent-autonomy-audit-20261014.md) — 10-14:不让改图、兜底配置多、VM 无工具链;已实现 bench dev(Salty 沙箱)+ 自带图/校准(a92510d,等重启);速度 1.5 倍门槛离线重判 06 翻 37/178;上线 2 小时内还没人自带图,dev 曾能看到评测集(已修)
|
||
- [10-15 早上复查](overnight-check-20261015.md) — dev 槽 8→37(配置有缓存,只对新命令生效);S600 板盘满因失败会话目录不删(a263374 已修);暂停名额被新题抢;全 fp16 落 CPU 仍判过;4 条自带图/校准;评测文件被 task_contract 冻结,在跑的 run 不能热改(11:08 改坏三条)
|
||
- [v16 轨迹质量对比](v16-quality-20261015.md) — 10-15:dev 52/53 在用、兜底和慢速通过变少但样本少;240 轮上限截断最自主的轨迹;Qwen 3过3败是不再用全 int16 兜底,基准要在 v16 下重测
|
||
- [10-15 下午重启](restart-20261015.md) — 重启前清查:回执 15 秒超时、暂停吃掉 24 小时、400 永久暂停、账本忙让出名额、评测一次 12 GB;v17(400 轮)、判分 v0.8;之后热部署:评测分批靠批准的等价改写(不建新 run)、加载卡住检测、容器 onnxruntime 限线程、Salty 失败作业自动清
|
||
- [最新三条 SFT 细读](sft-sample-review-20261015.md) — 10-15:真通过但决策含量低;两条是 Qwen 自己的不该进训练;v16 仅 8/315、含评测题、上下文过长
|
||
- [v17 自主性实测](v17-autonomy-check-20261015.md) — 10-15 19:40:32 条 GLM 跑 5 小时 0 条结束;自己导图 0、自备校准 0、图手术 1;72% 时间在开发环境,9 条各花 4 小时编默认配置
|
||
- [v18–v22 整条链路给 agent](v18-own-inputs-20261015.md) — 自己导图/校准(v21 原图)、速度参考(编不出写 unavailable)、板上自测(≤512 MiB);10-16 16:21 重启:上下文满记预算用完、断线只停 2 分钟、Qwen 省去旧工具输出、GLM token 2M、stage wait 不轮询
|
||
- [10-16 17:00 复查](check-20261016-1700.md) — v18–21 自己导图 41/46、真改图约 3 条、0 条通过;05 的 GLM S600 账号 16:00 起全 429,17:22 换 key 和新组名(s600-r05-v22c)恢复
|
||
- [PASS/SFT 自主性统计](sft-autonomy-tally-20261016.md) — 10-16:GLM 310 条 PASS 里 71% 只写配置,成品真用自己改的图只有 4 条(3 条进 SFT);v18+ 还没通过;文本搜 onnx_model 会误报
|
||
- [第二版 0 通过的原因](v18-zero-pass-why-20261016.md) — 10-16:重启取消 42/90、82/90 是从没过的难题、到评测的都差精度;10 条想找评测集做本地验证被挡、28 条照搬平台导出脚本
|
||
- [稳定性体检](stability-sweep-20261016.md) — 10-16:最大问题是生产批次当试验场(3 天 8 版、重启即取消);19:00 复核更正:本机有健康检查但漏报限流、4000 小时实为约 1660、盘不是急事、Qwen 进 SFT/版本混杂不用改代码
|
||
- [10-16 断电停机与重启](poweroff-20261016.md) — 停/起/清理脚本在 configs/poweroff-20261016;开机 VM 自起;取消会留 dev lease 占槽;speed_ref 残留要删
|
||
- [回复用中文](reply-in-chinese.md) — 汇报、提问一律中文;命令和路径保持原样
|
||
- [10-17 02:15 底层复查](check-20261017-0215.md) — v18+ 134 条:真改图约 10、板上自测 6、通过 3(1 条板上 493 ms 没被速度挡住);平台复测不判速度;重启后很稳,只剩 Qwen 续跑必死(context-mask 状态在内存)
|
||
- [能否当强化学习环境](rl-readiness-20261017.md) — 10-17:能用,瓶颈是慢不是稳;收尾 5 件后冻结,清单外默认不再改
|
||
- [少管过程的删减清单](simplify-agent-rules-20261017.md) — 10-17:交还 Pi 压缩要改 5 处(不是纯减法,导出也要认压缩);提示词逐条分留事实/删规矩/交给系统;并入冻结版本
|
||
- [重启不丢轨迹的方案](resumable-rollout-design-20261019.md) — 不拆服务,改成状态可续:掉线后从最后完整边界续跑;6 处卡点、改动范围(待确认)
|
||
- [别家 rollout 稳定性调研](rollout-infra-survey-20261019.md) — 沙箱用完即毁、rollout 与调度解耦、检查点续跑、基础设施失败丢弃;我们取消占系统原因 54%
|
||
- [10-18 全局盘点](overall-tally-20261018.md) — 导出 871、v18+ 自主通过 15(真改结构 1)、系统原因每天 20–89%;已清 36G、加了磁盘报警和 offload 自动清理
|
||
- [10-18 VM 盘只读](vm-disk-readonly-20261018.md) — 18:46 系统盘 EIO 转只读,04/05 collector 退出、在跑 21 条全断;库完好;22:10 重启 VM 修好、取消补号 21 条、04/05 v23 重新跑满
|
||
- [10-17 停 06](stop-06-20261017.md) — 账号 B 没额度,11:30 只 SIGTERM 不取消;原命令/环境在 configs/stop-06-20261017;换 key 要新组名并取消暂停的 ;10-17 v23 上线时用户定 06 继续停,等新 key
|
||
- [v22 新数据细读](sft-v22-review-20261018.md) — 10-18:新进 GLM 12 条,v22 明显变好(7/10 评分≥4);量小、上下文过长、开发环境仍能读评测器源码、速度没人管
|
||
- [测试 collector](staging-collector-20261019.md) — bench-staging:共用生产状态、单独账号组;VM 上新建批次工具链路径不对要拷 job.json;测试已验证重启接管
|
||
- [Salty 删除接口 405](salty-storage-rm-405-20261019.md) — 10-19 16:50 起 storage rm 全 405,旧清理重试 30 分钟挡住结果;45dcce1 只试一次;10-20 测试换 CLI 0.2.4、删除变后台任务仍失败,77031cd 后台按退避重提;上生产要连 CLI 一起换;10-20 14:41 生产已热修一次性清理(先删作业)
|
||
- [分支规矩](branch-workflow-20261020.md) — salty-prod=生产在跑的代码,salty-test=测试;改动先进 salty-test 上测试,稳了再快进 salty-prod 上生产;别新建分支
|
||
- [10-20 生产换新代码](prod-switch-20261020.md) — 15:05 不排空直接接管:36 条接上、丢 1 条(板上评测中);部署包/备份/launch.py 在 configs/deploy-20261020;板卡租约泄漏 15:26 已热修;遗留 06 的 16 条隔离、04 的 9 条老暂停
|
||
- [10-20 Salty 作业列表撑爆](salty-jobs-list-outage-20261020.md) — 17:00–19:47 全部 Salty 步骤失败:作业等目录删掉才删、积了约 8000 个;批量删 + 先删作业的热修(89c4801)恢复;CLI 换成 0.2.5
|
||
- [v23 SFT 链路细读](sft-v23-chain-20261020.md) — 11 条:导图、校准、配置是 agent 自己做的,权重、基线、编译执行是平台做的;改图 0 条,速度没判,yolov5l 读了评测器源码
|
||
- [06-hbm 产物没带回](salty-06hbm-not-returned-20261020.md) — 第一次 OOM、重试时 HBM 没变就不回传,导致 UNVERIFIED;1981488 改成每次都带回,hrnet.w48 / ocrnet.hrnet.w18 重判为 PASS
|
||
- [dev 容器 OOM 翻倍](dev-oom-memory-doubling-20261020.md) — 50f163e:dev 作业失败后内存翻倍(上限 128Gi)、排除会话临时文件;21:41 上了生产;Qwen 整组暂停约 26 分钟的问题待定;巡检脚本 configs/monitor/infra_check.py
|
||
- [10-21 Mac mini 重启](reboot-20261021.md) — 03:16 重启、停了约 4 小时;07:15 挪走旧开机租约后按存档原样拉起、不取消:续上 30 条,隔离 9 条;拉起脚本 start-reboot-20261021.sh
|
||
- [10-21 sorting out 04 paused rollouts](q04-resume-cleanup-20261021.md) — Qwen stalls used up the resume budget: 7 got one more resume, 7 cancelled, 3 empty records abandoned; cancels only block 30 min with unknown remote ops; global agent pool of 40 leaves 04 four lanes
|
||
- [opencode 接入与测试](opencode-staging-20261021.md) — 10-21/22:terminal_exec+额度代理+预算口径+导出截断+path-guard+共用依赖(salty-test,未上生产);重跑 3/3 PASS;进 SFT 要给 opencode 写严格校验;别把 opencode 排队项放进测试 collector 的批次
|
||
- [CLI 换 0.2.6](salty-cli-026-20261021.md) — 10-21 17:46 服务端改作业列表格式,0.2.5 解析失败、步骤成片 REMOTE_UNAVAILABLE;20:08 测试/生产换 0.2.6 恢复,备份在 configs/hotfix-20261021;20:12 服务端 502 约 1 分钟已自愈
|
||
- [Why so many export rollouts lack a verdict](missing-verdict-breakdown-20261021.md) — 39% is cumulative: 76% before 10-08 and the rest mostly restart cancellations; normal days now about 4%; not a model problem
|
||
- [37 道题严格重判](strict-rejudge-37-20261022.md) — 10-22:严格口径下题数 Qwen 21、GLM 14;GLM 过而 Qwen 不过只剩 mobilenet.v3.small;GLM 优势多是兜底
|
||
- [隐藏 adapters 的后果](hide-adapters-impact-20261022.md) — 10-22:控制机放行+开发容器整包带平台代码;源码已缓存不用重下;评测用 adapter 解码,隐藏前要补输出约定
|
||
- [10-22 GLM vs Qwen pilot](pilot-glm-vs-qwen-20261022.md) — 8fb9349 hides adapters + adds I/O contracts + strict rules in the prompt; r20261022-pg/pq, 10 tasks x4; configs/pilot-20261022; strict judging is still offline
|
||
- [10-23 production pose rule rejudge](prod-pose-shift-rejudge-20261023.md) — 2 px rule removed from 04/06 job.json; only 2 turned PASS, those with offloaded HBM come out UNVERIFIED on rejudge and were restored; 26 still pending
|