bench
|
f83fa3948c
|
网络小故障不再拖垮整条轨迹:原地重发、没发出去的暂停不扣续跑次数、结果不明的请求可以续跑
GLM 请求失败率约 0.3%,但一次失败就让整条轨迹暂停;3 次续跑次数被网络故障用完后,
轨迹只能挂到 24 小时上限(10-14 有 4 条);回复中途断开的请求过了等待期会被自动放弃,
同时整条执行被取消(10-13/14 共 16 条)。
A. 连接失败、域名解析失败(RETRY_UNSENT,确定什么都没发出去)在 broker 里等一会儿原地重发。
每次重试把等待时间加上一次连接时限计入排队预算 wait_spent,保持
客户端超时 = 排队预算 + 次数×单次时限 的上界;预算用完才照旧暂停。
B. 续跑次数只在最近一次请求可能已经送达时才扣(看账本最近一次 attempt 是否 sent)。
连接/解析失败、因为别的请求结果不明而在准入时被挡下的暂停,续跑不扣次数。
执行记录和账本两处计数同步,调度程序不再按原始次数预先过滤。
C. reconcile 自动放弃时(截止时间再过一个 token 窗口)不再取消执行,而是把这一轮
标成 REQUEST_OUTCOME_UNKNOWN、可以续跑:重发一轮只花一次请求的 token,并计入续跑次数。
人工放弃(operator)仍然永久隔离。续跑资格检查不再被已放弃的 attempt 挡住。
都在调度程序进程里运行,下次重启生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-14 15:41:49 +08:00 |
|
bench
|
f74fe00aaf
|
hbm/bc 模拟器对比改为 agent 按需开启,只作诊断
阶段配置新增 verification_parameters.hbm_bc_samples(0–16,默认 0)。agent 用
bench stage run hbm --config <yaml> 指定 N 张校准样本,用 x86 模拟器对比 HBM 与 BC,
结果写在 G1.hbm_bc_cos_min,不改 verifier_ok:开了不会被扣分,真正把关的仍是 08-eval 板端实测。
编译配置只取三段,所以同一个 yaml 拿去编译也不受影响。适用任何有 .bc 的后端;跑失败记 None。
s06_hbm 随阶段打包,部署后马上生效(默认不跑);配置校验在 stageworker、说明在 SYSTEM.md,
都要下次重启时一起上线,否则按说明提交会被旧校验拒绝。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-14 12:48:17 +08:00 |
|
bench
|
aea3d74fa9
|
docs(memory): 10-14 Qwen 能力失败 6 道、更正 10-13 原因
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-14 12:26:32 +08:00 |
|
bench
|
e4e15134aa
|
域名解析失败暂停的轨迹可以自动续跑
DNS_FAILED / DNS_TIMEOUT 发生在发送之前(账本里这些生成的发送次数为 0),
重发安全;以前不在名单里,06 有 2 条从凌晨起一直停着。
调度程序进程内的代码,下次重启生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-14 12:24:02 +08:00 |
|
bench
|
ba143faaae
|
06-hbm 去掉 hbm/bc 模拟器抽查
x86 模拟器跑 2 张图占这一步 95% 的时间(本地中位 7 分钟,Salty 上 1–2 小时);
10-12 17:16 起 Salty 上撞 2 小时上限 103 次、约 206 小时。历史 388 次抽查报出 13 次
不一致,hb_verifier 都已先判掉,从没单独发现过问题;08-eval 在板上跑真 HBM。
与 salty_stage.py 一样记 hbm_bc_cos_min=None 并注明。阶段代码随每次提交打包,
部署后新起的步骤马上生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-14 12:24:02 +08:00 |
|
bench
|
8f9f8ab8b6
|
docs(memory): 10-13 晚核对修复效果、孤儿容器自动清理
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 22:30:18 +08:00 |
|
bench
|
ad51e86f5f
|
导出进程每轮停掉本地已结束的 Salty 作业,停好后清理
阶段时限只管超时;轨迹被取消、进程崩溃时,远端容器照样跑完,没人取结果。
10-13 晚有 12 个这样的作业占着约 64 核,同时我们自己的作业在排队。
现在每轮先查 salty ps:本地这一步已经写了 meta.json、远端还在 running/pending 的,
就停掉;已经 stopped 的,按 salty_remote 处理自己停掉的作业那样删除作业和临时目录。
failed 的照旧保留,供排查。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 22:24:47 +08:00 |
|
bench
|
9f5a64304c
|
docs(memory): 10-13 晚重启上线续跑与额度读取修复
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 20:51:52 +08:00 |
|
bench
|
8a1ce8e6d9
|
额度账本读取时限 0.5 秒放宽到 5 秒;回复被截断且已确认结束的请求可以续跑
机器忙时读账本超过 0.5 秒:领题前检查失败会作废题目(10-13 下午约每小时 17 条),
续跑前检查失败会让暂停的轨迹退回去再等(vit.l.16 等反复退回好几个小时)。
INCOMPLETE_GENERATION 和 REQUEST_OUTCOME_UNKNOWN 一样,都是丢了一次回复,
只要账本记录了请求已结束(下面的未结束请求检查仍然生效),就可以从存档点重发。
这些代码都在调度程序进程里,重启后才生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 20:26:31 +08:00 |
|
bench
|
84a81b304a
|
docs(memory): Mac mini 流量全局绕美国代理
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 16:14:05 +08:00 |
|
bench
|
90a5ea339f
|
docs(memory): 修正提交号
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 11:15:20 +08:00 |
|
bench
|
bb4baf7aee
|
docs(memory): 10-13 四个基建漏洞与处理
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 11:15:05 +08:00 |
|
bench
|
ec1a58edf8
|
续跑不再重新核对已结算的步骤;领题后不再重复查额度
续跑时 stageworker 会重新核对旧步骤回执。同一轨迹每次编译写同一个 .hbm,
旧回执核对失败后被当成状态不明,整条轨迹隔离;10-12/13 共 19 条编译过多次的轨迹,
续跑几秒内就判 INFRA_ERROR。现在已结算的操作直接沿用旧结果,判断条件与
reconcile_completed 相同。
collector 领题前已经查过额度,run_rollout 领到后又查一次(只等 0.5 秒);
机器忙时读超时,题被判 UNVERIFIED,一步都没跑(59 条)。领到后不再重复查。
这两处代码都在调度程序进程里运行,重启后才生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 11:15:05 +08:00 |
|
bench
|
7093c321f0
|
超时被杀的步骤归还名额、远端容器随阶段时限停止
步骤到了阶段时限被看门狗结束时来不及删 cpu 名额的占用记录,_try_slots 见记录就跳过,
只有调度程序重启才清;10-12 晚到 10-13 上午累计锁死 26/32 个名额。现在占用者已死、
且该步骤已记 DONE、进程清理已确认的名额可以直接接手(板卡名额不变)。
同时远端容器不随本地步骤停,7 个容器空跑最久 7.5 小时;提交时用 timeout 把容器
运行时长限制在该阶段的执行时限内(镜像自带 /usr/bin/timeout,已实测)。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 11:15:05 +08:00 |
|
bench
|
c39a1e5ad0
|
docs(memory): 训练前 Qwen 能力失败题清单
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 11:09:37 +08:00 |
|
bench
|
82f2589b7d
|
docs(memory): 10-13 Qwen 进度与新发现的系统问题
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 10:53:44 +08:00 |
|
bench
|
00243a2339
|
docs(memory): 容器线程被限流、编译超时不扣次数、depthpro 撤出
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 10:45:17 +08:00 |
|
bench
|
a7c454c0ae
|
salty_remote: 容器里线程数按分到的核数设
容器看到整机 244 核,实际只给 4–6 核;torch/numpy 按 244 开线程,大部分时间在被限流。
10-12 实测(4 核容器):torch 默认 122 线程 2.6 次/秒,4 线程 42 次/秒;numpy 31 → 146–158 次/秒。
提交时设 OMP/MKL/OPENBLAS_NUM_THREADS=分到的核数。onnxruntime 不认这些变量,另行处理。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-13 10:43:02 +08:00 |
|
bench
|
375ce4d1f5
|
stagerun: 编译超时、看门狗判卡死也不扣编译次数
和容器被杀、执行器退出一样算系统的错,每条轨迹合计最多免 3 次。
10-12 17:16 后 DETR 两次编译一小时没日志没 CPU 被看门狗杀掉、
segformer.b5 编译逼近 4 小时上限,原来都会白扣模型一次机会。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 21:44:24 +08:00 |
|
bench
|
7dfaba94ca
|
docs(memory): 逐图核对 GLM/Qwen 板端结果
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 20:30:01 +08:00 |
|
bench
|
66b88a2d30
|
docs(memory): 10-12 验证器核查
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 20:13:02 +08:00 |
|
bench
|
a00ed27e4d
|
docs(memory): Qwen 基准改为旧结果也计入
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 20:07:14 +08:00 |
|
bench
|
1e0b8490f6
|
benchmark(qwen-sft-v1): 04 的旧结果也计入
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 20:06:46 +08:00 |
|
bench
|
0df42424f0
|
docs(memory): 10-12 20:00 Qwen 训练前基准进度
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 20:00:24 +08:00 |
|
bench
|
bf012be80c
|
docs(memory): 取消在跑轨迹会让账号组停约 21 分钟
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 17:27:00 +08:00 |
|
bench
|
d53f9050de
|
docs(memory): 10-12 17:16 立即重启换新代码
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 17:16:46 +08:00 |
|
bench
|
51d6cda544
|
alert: 启用小金飞书私聊报警,发送失败记日志
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 17:05:59 +08:00 |
|
bench
|
da7b77b62f
|
alert: 可选用小金(飞书群答疑助手)私聊报警;记忆补充排空与 06 断流
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 17:03:38 +08:00 |
|
bench
|
ab629f2599
|
docs(memory): 10-12 自愈与报警
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 16:52:05 +08:00 |
|
bench
|
8d39d2b69b
|
fix(drain_restart): 修空数组在 set -u 下报错;加 NO_TERM 防重复发信号;删掉排空期间手动续跑(旧进程在世时按设计不可接手)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 16:50:51 +08:00 |
|
bench
|
12787a289d
|
fix: 系统失败不占编译次数、连不上可自动续跑、暂停轨迹不被新题抢名额;加健康检查与排空重启脚本
- stagerun: 容器被杀/执行器退出不计入 5 次编译(每条最多免 3 次)
- quota: CONNECT_FAILED / REQUEST_DEADLINE_BEFORE_SEND 证明未发送,允许自动续跑
- pipeline: 有暂停轨迹只差额度时,空出的名额留给它
- scripts/health_check.py + bench_health_alert.sh: 每 10 分钟检查,异常弹本机通知
- scripts/drain_restart.sh: 排空旧调度程序后重启,排空期间用新代码续跑卡住的轨迹
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 16:38:07 +08:00 |
|
bench
|
54c716fabb
|
docs(memory): 10-12 系统清查结论与两处更正
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 16:13:08 +08:00 |
|
bench
|
dc08303971
|
docs(memory): 迁到 Salty 后通过数暴跌的原因
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 15:53:17 +08:00 |
|
bench
|
1ee95f018f
|
docs(memory): 10-12 Qwen 37 题基准进度
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 15:47:16 +08:00 |
|
bench
|
7ff00955fa
|
docs(memory): 04 的 Qwen NVFP4 服务实测速度
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 15:42:47 +08:00 |
|
bench
|
f35fe30a96
|
docs(memory): Qwen 轨迹只做训练前基准,不进 SFT
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 15:30:34 +08:00 |
|
bench
|
50975fc62f
|
docs(memory): Mac mini 10-12 强停后执行文件写坏的恢复办法
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 11:03:47 +08:00 |
|
bench
|
c5bd40146f
|
docs(memory): Salty 导出耗时
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 06:17:36 +08:00 |
|
bench
|
5d647d0374
|
perf: Salty 导出只拷阶段文件和轨迹根目录文件,其余链接
按成员逐个拷贝要把每个小文件都从个人空间读一遍,日常导出从 16 分钟拖到半小时以上。
验证器只要求轨迹目录、阶段目录里的预测文件和 terminal_result.json 是真实文件。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 04:22:32 +08:00 |
|
bench
|
8c26709642
|
docs(memory): 导出只按存档清单搭目录;10-12 最终数字
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 03:41:43 +08:00 |
|
bench
|
df51a7c13f
|
fix: Salty 导出只用存档里的文件,不混进容器替已放弃尝试写的东西
xfeat(05,10-11)的 06-hbm a00 主控已判超时放弃,容器却继续跑完,把 stdout.log 等写进了
个人空间的 runs。导出照搬个人空间的阶段目录,门证据多出 06-hbm/a00/stdout.log,
审核绑定和主控算的对不上,通过了审核仍显示"未审"。
现在解包时记下每个包的成员,本地目录只按成员清单搭(阶段文件和小文件拷贝、大文件链接),
存档没带的 HBM 从个人空间链接;旧的空标记会触发重新解包补清单。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 02:04:11 +08:00 |
|
bench
|
87e3d7a32d
|
docs(memory): 审核额度新组、STARTED 回执放行方法、36 暂存清理
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 01:51:49 +08:00 |
|
bench
|
b4e4f6ee09
|
feat: scripts/salty_review_again.py 补审已搬走的 PASS 轨迹
最终数据集里"没审过/审核未知"、文件已被 salty_offload 删掉的轨迹,逐条从个人空间存档取回、
用配置的审核模型审、回执作补丁包传回、再删本地;一次只留一条(旧格式对话最大 650MB,
调度程序每次本地导出都会重读留在本地的文件)。已有 COMPLETE UNKNOWN 就走重试。
--release-started:崩溃留下的 STARTED 回执按设计不授权新请求。06 shufflenet.v2.x1.5 那条
其实请求已完成(账本 generation COMPLETE),按原执行号重审会被当作已完成而不发。放行时
原件进 history/,回执记成 COMPLETE UNKNOWN(OPERATOR_RELEASED_STARTED_RECEIPT),
由正常重试换新执行号发一次新请求。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-12 01:51:49 +08:00 |
|
bench
|
20555489a3
|
docs(memory): 10-11 最终数据集数字
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-11 19:33:06 +08:00 |
|
bench
|
351218b7ba
|
docs(memory): 迁移前 PASS 搬运与补审结果、审核请求超额的限制
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-11 18:51:59 +08:00 |
|
bench
|
4df81a5abc
|
docs(memory): 导出挪到 Salty 的做法与坑、数据集版本门槛改回 12
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-11 15:10:53 +08:00 |
|
bench
|
6735b703a7
|
feat: 轨迹搬到 Salty 个人空间,数据集在 Salty 上导出(scripts/salty_offload.py)
Mac mini 只留小文件和最终数据集。常驻进程每 10 分钟:
- 结束满 30 分钟(UNVERIFIED 24 小时)、执行 TERMINAL、PASS 已审完的轨迹打包到
personal:/bench-root/archive/<run>/<job>/<kk>.tgz,个人空间已有同大小副本的产物不进包;
之后的改动(如审核回执)另传 <kk>.u<时间>.tgz,旧包从不覆盖;传完核对大小再删本地 >1MB 文件。
- 有新包时最多每小时起一个 Salty 作业(salty_remote_worker.export):把包解到 personal 的 runs
(不解 workspace),用账本快照跑 export/to_agentrl.py,数据集留在 personal:/bench-root/datasets/,
拷回 bench/datasets-final/。
调度程序每条结束后的本地导出保留:它在文件还在本地时发现并审核新 PASS,搬运等它审完。
导出作业里 runs 不能是指向个人空间的软链接:verify.py 会 resolve 轨迹目录、拒绝软链接的预测文件,
路径对不上时 G3 变未验证、审核绑定也变(实测 SFT 0 条)。所以容器里重建真实的轨迹和阶段目录,
agent/、artifacts/ 等大目录用软链接。实测和 Mac mini 本地导出逐条一致(3/3/2)。
半截上传的包解包失败就跳过,下次再解。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-11 15:10:30 +08:00 |
|
bench
|
e030719b4d
|
docs: 经验记忆入库(docs/memory/),根 AGENTS.md 指向它
docs/memory/AGENTS.md 写了怎么读、怎么新建、不能写什么、怎么和本机副本同步,以及索引。
推送前已核对:只有变量名,没有密钥或密钥片段。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-11 13:24:24 +08:00 |
|
bench
|
2018b62a05
|
fix: hb_verifier 没测就崩溃时 G1 记未验证,不再记一致性失败
yolo11n.seg(06,10-11)的 int16 配置让 hb_verifier "launch function crashed"(rc 255),
没打出余弦表;板上精度达标却被判 FAIL。工具崩溃说明不了编译不一致,只说明没测到。
余弦低于阈值、hbm≡bc 抽查不一致仍判失败。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-11 13:24:24 +08:00 |
|
bench
|
0855486585
|
test: usage_log 检查只跑一拍,不在临时目录删掉后报错
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-11 11:22:50 +08:00 |
|