physical_byte_agent/自进化能力搭载设计.md
d-robotics 74f4cd428e
Some checks are pending
CI / quality-gate (push) Waiting to run
CI / type-drift (push) Waiting to run
feat(跨层 X.1+X.3+X.4): 反馈采集全链路 + 可观测面板 + 量化坐实 (M1-M5+X 全闭环)
跨层共享项落地(设计文档 §19.4 X.1/X.3/X.4):

X.1 时序三档接线 + X.3 v_t 全链路贯通:
- shared/types.ts: TaskFeedback/ToolOutcome/EvolutionMetrics/MetricsSources
  + hitRate/avgInfoGain/avgSkillQuality/maxWorkflowRisk/evolutionBrickRate 纯函数
- core/feedback-collector.ts: FeedbackCollector(recordPrompt/recordBoardFingerprint/
  recordToolResult/finalize/lastFinalized/pending/clear) + derive* 纯变换
  (deriveTaskSignature/deriveDistillInput/deriveSkillExtractInput/deriveSkillQuery/
  derivePriorCorrection/deriveProposals + inferOutcome/inferActionClass/
  inferValidatedBy/isIrreversibleTool) + getSharedCollector/initSharedCollector 共享单例
- extensions/feedback-bank.ts: hooks tool_result+message_end+before_agent_start
  → 采集 → finalize → session_before_compact 喂 derive* + feedback_recall 工具
  (仿 orchestration-bank/skill-bank 范式)
- **4 bank 默认 derive* 读共享 collector lastFinalized 生产自驱**
  (experience/skill/orchestration/variant bank) — X.1+X.3 生产闭环

X.4 进化可观测面板:
- core/evolution-metrics.ts: aggregateMetrics/renderMetrics 纯函数
  (5 层注册表聚合 → EvolutionMetrics:规模/命中率/infoGain/risk/砖板率/forbidden 拒绝)
- bin/evolution-metrics.ts CLI(brickRate!=0 时 exit 1 fail-closed 自检)

X.1+X.3 全链路评估(tests/eval/feedback-chain-eval.test.ts, 合成 session 轨迹→
feedback-bank hooks→collector→derive*→真 5 层 manager→断 v_t 全链路 end-to-end):
  §4.6 分级正确率 8/8=100% (success+ground-truth/可逆/不可逆/partial/empty/mixed)
  同签名检索命中 100% + 注入块可见 100%
  5 链 end-to-end (skill/workflow/variant/tool-growth)
  forbidden §11.3/§4.8 拒绝 (命门 safety-gate/flash 工具)

X.4 评估(tests/eval/evolution-metrics-eval.test.ts, 合成 5 层注册表→精确指标):
  experienceHitRate=0.600/avgInfoGain=0.650/maxRisk=1 精确
  brickRate=0 EXACT 构造铁律 forbiddenRejected=7 精确

结论: X.1(4/5 时序钩子全接, stage-wise θ=L5.*) + X.3(v_t 全链路贯通: tool_result
采集→derive* 蒸馏→5 层入库→检索→注入→约束, §4.6 100% + 5 链 end-to-end + 4 bank
生产自驱) + X.4(可观测面板精确指标, brickRate=0 构造铁律) 全部完成。诚实边界
(M1-M5.* 跟进): live-LLM 读注入包真受益端到端门 + stage-wise 真 θ 更新 + 真 git
worktree 变体 + 真 CI §11.4 执行 = M1-M5.* 工程项(机制层全闭环+量化坐实)。

验证: tsc 0 / 全量 62 文件 3018 passed 5 skipped / sk- 明文 0 / 真 pi T01 boot
过(barrel 28 扩展含 L1-L5 + 跨层反馈采集)
多 Agent 并行: K(feedback-collector+derive*)+L(feedback-bank+chain eval)+M(evolution-metrics)

Co-Authored-By: Claude <noreply@anthropic.com>
2026-08-17 17:32:37 +08:00

87 KiB
Raw Permalink Blame History

自进化能力搭载设计

面向 pba(硬件闭环编程 agent)的自进化架构、原理与实施路线 定位:把 pba 从"静态装配的扩展集"演进为"从硬件交互中持续改进自身"的闭环系统 状态:M1-M5 + X.1/X.3/X.4 全部已实现并量化坐实(§7.8/§8.7/§9.6/§10.6/§11.7/§19.4);与 架构设计文档_v3.md 并列,作为下一阶段能力蓝本


0. 一句话目标

让 pba 在完成硬件任务(SSH 命令、寄存器读写、外设探测、烧录、JTAG 调试)的过程中,把成功与失败的轨迹沉淀成可复用经验、可调用技能、可生长工具、可切换编排、可自改脚手架,并在下一轮任务里真用上——形成"做事→沉淀→改进→再做事"的闭环,而非每题从零。且这一过程在硬件反馈可能不可逆的约束下,必须比纯软件 agent 更强地保证"进化可信、可回滚、不砖板"。


1. 自进化的工作定义(pba 自己的口径)

自进化 = agent 在编码/硬件交互后,根据可执行反馈(命令退出码、编译器/链接器输出、测试通过率、运行时异常、寄存器读回值、烧录校验、JTAG 断点命中、板子是否砖)持久地更新自身某个组件,使未来同类任务的 behavior 改进。

四个判据,缺一不算自进化(只算"配置"或"重跑"):

  1. 持久:更新跨任务、跨会话留存(不是会话内临时变量)。
  2. 可执行反馈驱动:信号来自真实运行产物,不是人写的规则或单次 prompt。
  3. 更新组件:经验库 / 技能注册表 / 工具集 / 编排策略 / 脚手架代码 / 模型配置之一被改写。
  4. 未来行为改进:更新被下一轮任务检索/调用/生效,且可验证"用了它比不用它好",且改进在未见过的任务/板上仍成立(区分进化与记忆)。

与"防错"的边界:pba 现在的命门一(thinking 黑洞)命门二(hex 强转砖板)是"从反馈防错"——单次拦截,不沉淀、不跨任务。自进化是"从反馈进化"——沉淀 + 跨任务复用 + 可验证改进。两者正交:防错是进化的前置安全底座。


2. 原理:自进化为什么可能

自进化不是魔法,它成立需要一组因果链同时具备。下面把每一条因果机制讲清,并指出 pba 硬件闭环里这一条成立/不成立的依据。

2.1 可执行反馈 = 带 ground-truth 的(噪声)监督信号

  • 机制:软件/硬件环境对 agent 的动作给出客观、可重复(部分)、可验证的反馈——test 通过与否、寄存器读回值对不对、烧录后板还能不能启动。这等价于一个以 ground truth 为锚的奖励信号 r(τ)。
  • 为什么是进化的前提:若反馈来自 LLM 自评(textual critique),则信号 = 模型自身先验的再投影,SNR 低、易自我强化偏差。可执行反馈的 SNR 显著高于自评,因为它锚定在 agent 不可控的外部物理/逻辑上。
  • pba 成立性:成立且更强。硬件反馈(寄存器读回、烧录校验、JTAG 命中、砖否)是物理 ground truth,比软件 test 更不可伪造(test 可被 patch 哄骗,砖板不会说谎)。

2.2 记忆 + 检索 = 探索成本的摊销(amortization)

  • 机制:把一次任务里学到的可复用经验 d 蒸馏入库 M,下次同类任务检索 c = retrieve(M, σ) 注入上下文。一条经验被复用 K 次,等价于把"K 次独立探索"压成"1 次探索 + (K−1) 次检索"。
  • 为什么是进化的载体:单次反馈只改当前 patch(task-time 适应),不跨任务;记忆把单次反馈的信息留到未来任务,使"积累"成为可能。
  • pba 成立性:pba 的 pba-session 事件溯源(append 唯一提交点 + lossless-JSON + seq 连续)已是天然的记忆写入口;context-injector 已有注入段。缺的是"跨任务持久 + 检索"那一层胶水。

2.3 闭环 = 学习分布 = 运行分布(无 train/serve skew)

  • 机制:进化信号来自agent 自己跑出来的轨迹,而非外部策展的训练集。因此记忆/技能/课程分布 D_t 与 agent 的运行分布 D_serve 同源。
  • 为什么关键:外部训练数据分布与 agent 实际遇到的分布错配(skew)时,泛化崩溃。闭环保证"学到的正是会再遇到的",这是 self-evolution 区别于普通 post-training 的本质判据。
  • pba 成立性:pba 的轨迹是真实板交互(特定 SoC/镜像/外设),闭环天然成立——学到的板级经验正是该板会再遇到的。

2.4 三角角色 = Proposer / Solver / Verifier 的内生分工

  • 机制:一个完整的自进化环包含三个内生角色:
    • Proposer(提议者):产出任务/修复任务/测试用例(自生成课程)。
    • Solver(求解者):跑任务产轨迹。
    • Verifier(验证者):用可执行反馈判对错。 三者构成自生成数据闭环:Proposer 按 Solver 的弱点出题 → Solver 解 → Verifier 判 → 结果回灌 → 下一轮。
  • 为什么是进化的引擎:没有 Proposer,agent 只能被动接外部任务(不是自进化);没有 Verifier,反馈不可信(自评偏差);三者闭环才能让"出题—解—判"自我迭代。
  • pba 成立性:pba 硬件闭环天然三角色:
    • Proposer = 自生成硬件修复/探测任务(如"让板 X 的 i2c-2 总线恢复应答")。
    • Solver = pba agent(22 工具 + 编排)。
    • Verifier = 可执行反馈(i2cdetect 应答、寄存器读回、板在线)。 pba 的 Verifier 是可执行 + 不可逆感知的,这是 pba 区别于纯软件三角的关键。

2.5 可学信息增益 = 不 plateau 的充要条件

  • 机制:自进化环每轮自合成数据 d_t。若 d_t 相对已有记忆 M_{t-1} 的可学信息增益 I(d_t ; 改进 | M_{t-1}) > 0,则环路每轮真有新信息可学;若 = 0,则环路只是在合成冗余数据,plateau(停滞),甚至因误差累积而退化。
  • 为什么是进化的"命门":很多自进化方案快速 plateau,根因不是数据量不够,而是自合成数据没带来新可学信息(Proposer 重复出同质题、Verifier 太弱过滤不出有用失败)。可持续自进化的充要条件是跨迭代信息增益单调(非严格)递增。
  • pba 成立性:硬件场景信息增益的"天花板"更高(板/外设/SoC 组合空间大、真实失败模式多样),但成本也更高(不可逆反馈不可重采样)。故 pba 的 Proposer 必须弱点驱动(专挑 Solver 反复失败的硬件情境出题),而非随机出题——否则信息增益塌缩。

五条因果链小结:可执行反馈(信号 SNR)+ 记忆摊销(探索降本)+ 闭环同分布(无 skew)+ 三角角色(自生成引擎)+ 信息增益(不 plateau 充要)。五条同时成立,自进化才"可能";是否"真发生",还要看下一节的成立条件与失败模式。


3. 为什么这样能实现自进化(成立条件 + 失败模式)

"可能"不等于"会"。下面给出改进成立的充分条件,以及进化会 stall/regress 的失败模式——pba 必须显式处理后者。

3.1 改进成立的充分条件(improvement theorem,非严格)

设 π_t 为第 t 轮策略,J(π) 为在未见过的任务/板分布上的期望成功率。自进化给出 ΔJ(t) = E[J(π_{t+1}) − J(π_t)] > 0 当且仅当下列条件同时近似成立:

  1. 信号有效:可执行反馈 r 与真实任务成功正相关,即 ρ(r, success) > 0(SNR>0)。
  2. 检索有效:注入的经验 c_t 与当前任务相关,即检索精度 P(relevant | retrieved) 显著高于随机;否则 c_t 是噪声,反而降性能。
  3. 分布对齐:自生成课程 D_t 与运行分布 D_serve 的散度 KL(D_t ‖ D_serve) 有界;否则学到的不用、用的没学。
  4. 信息增益:每轮新蒸馏经验 d_t 相对 M_{t-1} 的可学信息 I(d_t | M_{t-1}) > 0;否则 plateau。
  5. 无崩塌:自合成/自训练不引入系统性误差累积;通过可信度分级 + 质量门保证"不可逆失败不进 actionable"、"弱验证信号降级"。

这五条是 §2 五条因果链的"可量化"对偶。pba 的工程任务就是用机制把这五条各自保证。

3.2 失败模式(自进化的反例,必须排除)

  • F1 Plateau(信息增益=0):环路由 Proposer 重复出同质题,新轨迹不带来新可学信息 → 性能不再升。pba 对策:Proposer 弱点驱动(只对 Solver 反复失败的硬件情境出题)+ 经验去重(同 taskSignature+outcome 的条目合并,hitCount 而非新增)。
  • F2 Reward hacking / 弱 Verifier:反馈可被哄骗(test 可被 patch 绕过、benchmark 信号过拟合)→ 学到 brittle 习惯。pba 对策:Verifier 用物理 ground truth(砖否、读回值)不可哄骗;benchmark 信号降级为 inferred,不作硬奖励。
  • F3 Error accumulation(误差累积崩塌):naive 在自身输出上自训练 → 误差代代放大 → 泛化崩溃。pba 对策:stage-wise 训练(如做)必须有"严格质量门"——只保留 Verifier 判过且可信度≥executable-once 的轨迹进训练集;低可信一律不入。
  • F4 记忆 ≠ 进化:只在见过的板/任务上变好,未见过的不升 → 是记忆不是进化。pba 对策:评估集必须含 held-out 板 + held-out 任务类;ΔJ 只在 held-out 上计。
  • F5 分布漂移:板镜像升级/外设换 → 旧经验失真 → 误导。pba 对策:经验带 boardFingerprint(SoC+kernel+镜像版本);指纹失配自动降权 + 重验;stale 条目按时间衰减淘汰。
  • F6 不可逆反馈被误用:把"砖板"当"可复用动作"教给未来 → 教别人也砖板。pba 对策(最严):irreversible-failure 级证据只能进 anti-pattern,永不能进 actionable——这是 pba 区别于纯软件 agent 的铁律。

底层判断:自进化的难点不在"让它进化",而在"让进化 trustworthy"——F1–F6 任一发生,agent 会越进化越差或越进化越脆。pba 硬件场景因 F6 的存在,对 trustworthy 的要求是一票否决级,不是 open problem。


4. 数学表达

把 §2–§3 的机制与条件形式化。符号尽量贴近 pba 实体,便于直接落到代码。

4.1 基本对象

  • 策略 π_θ:agent 的决策函数(LLM + scaffold + 工具集 + 编排)。θ 在 task-time/post-task 退化为"上下文条件"(不改权重),在 stage-wise 才是真权重更新。
  • 任务签名 σ ∈ Σ:{actionClass, target, constraints},用于相似检索。
  • 板指纹 β ∈ B:{SoC model, kernel, image version, online MAC},板唯一标识。
  • 记忆 M_t:第 t 轮的经验/技能库。
  • 轨迹 τ_t = (a_1, a_2, …, a_n):agent 在任务 t 上的动作序列(每步含工具调用 + 参数 + 观测)。
  • 可执行反馈 f_t = (o_t, e_t, r_t):outcome(success/fail/partial)、环境信号(exit codes/logs/读回值)、奖励 r_t ∈ [0,1](可执行验证的通过度)。

4.2 检索增强策略(task-time / post-task 进化的执行形式)

第 t 轮任务开始:


c_t = R(M_t,\ \sigma_t,\ \beta_t)\quad\text{(检索 top-K 经验/技能)}\\
\tau_t \sim \pi_\theta\!\left(\cdot \mid \sigma_t,\ \beta_t,\ c_t\right)\quad\text{(条件于检索上下文执行)}\\
f_t = \mathrm{Env}(\tau_t)\quad\text{(可执行环境反馈)}

策略随记忆进化(不改 θ):


\pi_{t+1}(\cdot\mid\sigma) = \pi_\theta\!\left(\cdot\mid\sigma,\ R(M_{t+1},\sigma,\beta)\right)

即"进化 = 同一 θ + 更好的检索库 M_{t+1}"。这是 L1/L2 层的形式——不动模型权重,靠记忆+检索改进。

4.3 记忆更新(distill + evict)


d_t = \mathrm{Distill}(\tau_t,\ f_t,\ v_t)\quad\text{v_t=可信度分级}\\
M_{t+1} = \mathrm{Evict}\!\left(M_t \cup \{d_t\},\ \mathrm{decay},\ \mathrm{hitCount},\ \mathrm{fingerprint\text{-}match}\right)
  • Distill 把一条轨迹压成一句 actionable / anti-pattern + contextTags(非原始日志)。
  • v_t ∈ {repeatable, once, irreversible-fail, inferred} 决定该条能否进 actionable(见 §4.6 不对称约束)。
  • Evict 按 hitCount 衰减 + 指纹失配降权 + 时间淘汰。

4.4 信息增益条件(不 plateau 的充要)


\mathcal{I}_t = I\!\left(d_t;\ \text{未来改进}\ \big|\ M_{t-1}\right)
  • $\mathcal{I}_t > 0$:环路有新可学信息,进化继续。
  • $\mathcal{I}t = 0$:d_t 与 M{t-1} 同质冗余 → plateau,需 Proposer 改产出(弱点驱动)。
  • 可行近似:用 d_t 与 M_{t-1} 最近邻的相似度 s 衡量冗余,$\mathcal{I}_t \approx 1 - s$;低于阈值则不新增(hitCount++ 而非 new entry)。

4.5 Stage-wise 策略更新(L4 编排/L5 自改 + 若做模型权重)

当一批轨迹聚合(stage-wise),可用可执行奖励做策略梯度:


\theta_{t+1} = \theta_t + \eta\,\mathbb{E}_{\tau \sim D_t}\!\left[\nabla_\theta \log \pi_\theta(\tau)\,\hat{A}(\tau)\right]
  • $D_t$:agent 自生成课程(Proposer 弱点驱动),不是外部策展集。
  • $\hat{A}(\tau)$:优势估计,来自可执行奖励 r(验证者 verdict)。
  • agentic RLVR 失效警告:多步 agent 奖励稀疏,朴素 RLVR 退化。pba 对策:用 guidance(已验证的成功轨迹做 guided reattempt)+ 环境奖励(分步 dense reward:每步 exit code / 读回值),而非仅终局 outcome reward——把稀疏奖励稠密化。

4.6 可信度不对称约束(pba 硬件独有铁律)

设经验 e 有可信度 v(e) 与用途 u(e) ∈ {actionable, anti-pattern}:


v(e) = \text{irreversible-fail} \;\Longrightarrow\; u(e) = \text{anti-pattern}\quad(\text{禁止 actionable})\\
v(e) = \text{inferred} \;\Longrightarrow\; u(e) \neq \text{hard-constraint}\quad(\text{仅 hint})\\
v(e) \in \{\text{repeatable, once}\} \;\Longrightarrow\; u(e)\ \text{可 actionable(仍经验证门)}

语义:砖过板的经验,只能用来"禁止再做",不能用来"指导怎么做"。这条不对称是 §3 F6 的形式化,是 pba 自进化与纯软件自进化的本质区别。

4.7 Agent = 可优化计算图(L4 workflow 进化)

把 agent 编排表为有向图 $G = (V, E)$:

  • 节点 $v \in V$:函数/LLM 调用/工具(如 peripheral-probe、reg-read、hardware-verify)。
  • 边 $e \in E$:信息流 + 执行序。 workflow/topology 进化 = 在安全约束图族 \mathcal{G}_{\text{safe}} 上搜索:

G^* = \arg\min_{G \in \mathcal{G}_{\text{safe}}} \mathcal{L}(G),\quad \mathcal{L}(G) = -\mathbb{E}_{\tau \sim \pi_G}\!\left[J(\tau)\right] + \lambda\,\mathrm{cost}(G) + \mu\,\mathrm{risk}(G)
  • $\mathrm{cost}$:步数/token/时间/检索开销。
  • $\mathrm{risk}$:不可逆操作暴露面(pba 独有项,见 §4.8)。
  • 符号反向传播:\partial\mathcal{L}/\partial G 用 LM 反馈作"文本梯度"近似,沿图反向传播更新图结构(增/删/改节点与边)。
  • $\mathcal{G}_{\text{safe}}$:pba 的 fail-closed 约束——含 flash 三段式 / safety-gate / sandbox-policy 的图才是合法搜索空间。

4.8 不可逆操作暴露面(pba 独有目标项)

对图 $G$,定义其不可逆暴露面:


\mathrm{risk}(G) = \sum_{v \in V_{\text{irr}}(G)} w_v \cdot \mathbb{1}\!\left[\text{前置可逆验证未全过}\right]
  • $V_{\text{irr}}(G)$:图中含不可逆动作的节点(devmem 写、flash、JTAG 写、擦除)。
  • $w_v$:该节点不可逆程度(砖板 > 烧录错镜像 > 写错寄存器)。
  • 约束:进化搜索要求 $\mathrm{risk}(G^*) \le \mathrm{risk}(G_{\text{default}})$,且 V_{\text{irr}} 节点的前置必须含可逆验证门(hardware-verify 物理信号判据)。即进化不得增加不可逆暴露面。

4.9 改进定理(综合)

在 §3.1 五条件近似成立下:


\Delta J(t) = \mathbb{E}_{(\sigma^*,\beta^*) \sim \mathcal{H}_{\text{held-out}}}\!\left[J(\pi_{t+1}) - J(\pi_t)\right] > 0
  • 仅在 held-out 分布上计 ΔJ —— 排除 F4(记忆≠进化)。
  • \Delta J(t) 单调(非严格)递增 ⟺ \mathcal{I}_t > 0 持续成立 —— 排除 F1(plateau)。
  • 任一失败模式 F1–F6 发生 → ΔJ 可能为负或假阳(在 seen 上正、held-out 上负)。

这组公式不是装饰——每个符号都对应 pba 的一个实体(σ→taskSignature、β→boardFingerprint、M→ExperienceStore、R→retrieve、Distill→蒸馏钩子、$\mathcal{G}_{\text{safe}}$→safety-gate 约束的合法 workflow 族)。落地时这些就是数据结构与函数签名。


5. 现状自评(哪些组件已具备"进化前置"但闭环未合)

逐项对照磁盘真实代码(grep 实证,非印象):

组件 pba 现有 对应形式化对象 缺什么才到自进化
事件溯源 session pba-session(append/deriveMessages/replayFromEntries,lossless+深冻结+seq 连续) M 的写入口 只会话内;缺跨任务持久 + 检索 R
checkpoint 状态 checkpoint-state(plan/goal/todo logged state,rebuild,fork) M 的会话内子集 会话内 resume/compaction;缺跨任务沉淀
溢出存储 compaction/spill(SpillStore spill/recall/evict,branded 句柄) M 的存储抽象 compaction 溢出回收;不跨任务、不学习
上下文注入 context-injector(inject/steer/followup,最新 snapshot 取代更早) R 的注入通道 c_t 规则注入;c_t 不从 M 学习
profile 分层 profiles/(base+维修+嵌入式,mergeProfiles/diffProfiles) π 的静态条件 静态 bundle;不随 σ/β 进化
provider 注册 provider-registry(多 LLM,buildProviderConfig 泛化) θ 的配置(非权重) 配置切换;非 policy 更新
能力接缝 capabilities/{board-link,flash,subagent,workflow}(Provider/Registry/consumer) V(图节点)的注册表 静态装载;不从 τ 生长新节点
工具集 barrel 22 域工具,加载时一次性 registerTool V 固定 完全静态,无运行期自创
脚手架 barrel+22 工厂,fail-soft 装配 π_θ 的代码 不自改,无变体存档/验证/回滚
安全门 safety-gate+sandbox-policy+flash 三段式 \mathcal{G}_{\text{safe}} / risk 约束 防错强;未约束自改进本身

grep 实证:experience bank/cross-task memory/trajectory distill=0;create tool/registerTool runtime=0;self-modif/rewrite scaffold=0;train/fine-tun/gradient/policy update=0 真命中。进化闭环一条都没闭合。

结论:pba 是"进化就绪架构"的静态 agent——组件已解耦、写入已集中、安全已有门、时序钩子已铺,但"积累→更新→改进"的循环没跑起来。


6. 架构总览

6.1 分层(自进化的对象)

L5 脚手架自改层   agent 改自己扩展代码 + 变体存档 + 验证回滚          (θ 代码层)
L4 编排进化层     任务难度自适应:profile+workflow+model 选择         (图 G 搜索)
L3 工具生长层     运行期合成/修订域工具(board_exec/flash/...)        (V 节点生长)
L2 技能注册表层   轨迹蒸馏成技能 + 技能管理本身可学                     (M 的高阶抽象)
L1 硬件经验库层   跨任务轨迹记忆 + 板级历史记忆(最底层、最先做)       (M 基础)

越底层越先做、风险越低、收益越直接;越顶层越后做、风险越高、需更强验证。L1 是地基,L5 是终局。

6.2 闭环(与 §4 公式对应)

任务(σ_t,β_t) ──检索 c_t=R(M_t)──> π_θ 执行 τ_t ──> Env 反馈 f_t=(o,e,r)
                     ↑                                    │
                     │            ┌───────────────────────┤
                     │      task-time 改当前 patch/tool   post-task: d_t=Distill(τ_t,f_t) → M_{t+1}
                     │            │                        │
                     │            │      stage-wise: 一批 τ 聚合 → θ 更新 / G 搜索 / 变体
                     │            │                        │
                     └──────────下一任务检索/调用──────────┘

7. L1 — 硬件经验库层(最先实施,对应 §4.2–4.3)

7.1 目标

跨任务沉淀硬件交互轨迹的可复用经验,下一轮同类任务检索到"上次类似情境怎么成的/怎么挂的"。

7.2 数据结构

interface ExperienceEntry {
  id: string;                      // 确定性指纹
  boardFingerprint: string;        // β:SoC+kernel+镜像版本+MAC
  taskSignature: TaskSignature;    // σ:actionClass+target+constraints
  outcome: "success" | "failure" | "partial";
  actionable: string;              // 一句话可复用动作
  antiPattern?: string;            // 失败教训
  evidenceRef: string;             // 指向原始轨迹片段(appendEntry seq 范围)
  contextTags: string[];           // 检索键
  validity: "repeatable" | "once" | "irreversible-fail" | "inferred";  // v_t,§4.6
  usage: "actionable" | "anti-pattern" | "hint";  // u(e),受 v 不对称约束
  createdAt: number;
  hitCount: number;                // 检索命中次数(evict/衰减)
  validatedBy: ValidationKind;
}

关键约束(§4.6 形式化):validity==="irreversible-fail" ⇒ usage==="anti-pattern"(代码层强制);validity==="inferred" ⇒ usage!=="actionable"(降级为 hint)。

7.3 板级历史记忆(β 维度长期知识)

interface BoardMemory {
  boardFingerprint: string;
  moduleFunctionality: Record<string, string>;   // "i2c-2"→"PMIC,0x3a"; "gpiochip379"→"舵机腿"
  knownGoodCommands: string[];      // 验证过的命令模板
  knownBadPatterns: string[];       // 踩过的坑聚合(anti-pattern)
  peripheralState: Record<string, "online"|"offline"|"flaky">;
  lastSeen: number;
}

7.4 检索(§4.2 的 R)

before_agent_start 用 (σ_t, β_t) 检索 top-K,经 context-injector 注入 systemPrompt 的 experiencePack 子段。检索按 σ 相似度 + β 精确匹配(板不同则降权)+ validity 优先级排序。

7.5 蒸馏(§4.3 的 Distill)

session_before_compact 从当前 session 轨迹蒸馏 1 条 ExperienceEntry:成功→actionable、失败→anti-pattern,按 f_t 分级定 validity。含失败教训(失败轨迹价值常高于成功)。

7.6 接线点

  • 写入:pi.appendEntry 已是唯一提交点 → 经验库从其流增量构建。
  • 检索注入:context-injector.inject 加 experiencePack 子段,before_agent_start 触发(沿用 env-probe TTL 缓存范式)。
  • 持久化:SpillStore 的存储抽象复用,或独立 experience.db(SQLite)。
  • evict:hitCount 衰减 + β 失配降权 + 时间淘汰(§4.3 Evict + F5 对策)。

7.7 验收(§4.9 ΔJ + §3 失败模式排除)

  • 同板同类任务第 N 次成功率 > 第 1 次(ΔJ>0 跨任务迁移证据)。
  • held-out 板上 ΔJ 仍 > 0(排除 F4 记忆)。
  • 命中率可观测(hitCount>0 占比);stale 条目被淘汰(F5)。

7.8 M1 实测:量化评估结果(2026-08-17,已落地)

M1 已实现并经实验室级受控队列实验量化验证。落点文件:

工作项 落点 状态
类型 + §4.6 不对称强制 src/shared/types.ts(ExperienceEntry/BoardMemory/TaskSignature/Validity/ValidationKind + assertAsymmetry + similarityTask/matchBoard/validityWeight/experienceId 纯函数) ✅
ExperienceStore(append/query/evict/BoardMemory) src/core/experience-store.ts(可注入后端:默认 in-memory Map,sqlite 可选;可注入时钟) ✅
检索注入(before_agent_start)+ 蒸馏(session_before_compact) src/extensions/experience-bank.ts(仿 env-probe 范式:纯逻辑命名导出 + 工厂动态 import + TTL 缓存 + experience_recall 工具) ✅
barrel 装配登记 src/extensions/index.ts(第 23 个工厂,自进化层) ✅
量化评估实验 tests/eval/experience-bank-eval.test.ts(seeded mulberry32,N=400,可复现) ✅

实验设计(忠实 §4.2,非自证):mock 策略 π(σ,β,c) 的成功概率真地依赖检索到的经验包 c——但只在经验真地相关且经证据分级背书时才升权:actionable 须同 actionClass + 同板(exact MAC,跨板不迁移);anti-pattern 须匹配该类任务的特定坑(同 SoC 可跨镜像迁移,异 SoC 不迁移);不相关的经验零增益(无免费午餐)。5 个队列:A 全 M1(检索+蒸馏+记忆增长)/ B 控制组(检索关)/ C held-out(β1 训练→β2 评测)/ D distill-off 消融(检索开但不增长)/ E F4 负控(退化策略只认精确 class+mac,验证 held-out 门能抓记忆)。

实测结果(seed=42/100,N=400,独立复跑一致):

队列 描述 成功数 N J(成功率) Wilson 95% CI
A 全 M1(记忆增长) 380 400 0.9500 [0.9240, 0.9674]
B 控制组(检索关) 244 400 0.6100 [0.5614, 0.6565]
C held-out(β1→β2) 170 220 0.7727 [0.7129, 0.8231]
D distill-off 消融 244 400 0.6100 —
E F4 负控(退化) 136 220 0.6182 —
B|β2 β2 控制组 136 220 0.6182 —
指标 实测值 预注册阈值 判定
ΔJ_full(J_A−J_B,同板记忆增长) 0.3400 ≥ 0.15 ✅ PASS
ΔJ_held_out(J_C−J_B|β2,跨板泛化) 0.1545 ≥ 0.05 ✅ PASS
因果检索增益(P(succ|匹配 actionable)−P(succ|无检索)) 0.3534 ≥ 0.20 ✅ PASS
|J_D−J_B|(distill-off:证改进来自记忆增长非检索代码路径) 0.0000 < 0.05 ✅ PASS
ΔJ_held_out_E(F4 负控:纯记忆须被 held-out 门拒) 0.0000 ≤ 0.02 ✅ PASS
统计强度 Wilson CI 非重叠 J_A_lo > J_B_hi ✅ STRONG(0.9240 > 0.6565)
真实 store 对齐 createExperienceStore 5 指标全等对照实现 一致 ✅ EXACT

结论(量化、可信、可复现):M1 经验库机制有效。同板成功率 61%→95%(+34pp),Wilson 95% CI 非重叠达 STRONG 强度;held-out 板 61.8%→77.3%(+15.5pp),证明是泛化非记忆(F4 被 held-out 门排除,负控队列 E 验证了门本身有效);distill-off 消融与控制组完全一致(J_D=J_B=0.6100),证明改进来自记忆增长而非检索代码路径本身。

诚实的 M1 边界(M1.* 跟进,非 M1 缺陷):

  1. 评估是受控仿真实验:π(σ,β,c) 是忠实于 §4.2 的 mock 策略,证明机制与机器的因果效应;未测真 glm-5.2 是否读 experiencePack 后真受益——那是 live-LLM 端到端门,需板/LLM 在线(前序 fail2ban 等环境阻塞,M1.* 解锁后补)。
  2. 任务签名与轨迹摘要的可插拔扩展点:experience-bank 工厂的 deriveSignature(从 env-probe 板指纹 + 用户消息派生 σ/β)与 deriveDistillInput(从 session 轨迹摘要蒸馏入参)默认返 null(fail-closed,不破坏 agent);真接线(接 env-probe 的板探针 + 接 LLM 摘要钩子)是 M1.* 工程项,M1 的注入/蒸馏/不对称/存储/检索基础设施已就位可挂。
  3. 跨 session 持久化:默认 in-memory 单例;sqlite 后端为可注入扩展点,M1.* 接入即跨 session。

M1 已证明 §2 五条因果链在 pba 跑通最小闭环——从"静态 agent"到"跨任务学习 agent"的质变已在机制层坐实,量化数据见上。L2–M5 在此闭环上加深进化对象与强度。


8. L2 — 可学技能注册表层(对应 §4.4 信息增益)

8.1 目标

把"复发情境下的标准操作"从经验库进一步抽象成可调用技能(从"记得发生过"到"知道该怎么做")。

8.2 技能表示

interface HardwareSkill {
  name: string;
  trigger: SkillTrigger;           // 事件驱动:command-failed?pattern / 状态:寄存器地址∈锁定域
  procedure: SkillStep[];          // 有序步骤(含工具调用模板)
  granularity: "task-level" | "event-driven";
  provenance: string[];            // 从哪些轨迹蒸馏来(可追溯)
  qualityScore: number;            // 下游执行反馈打分(rubric+执行双信号)
  infoGain: number;                // §4.4:相对已有技能的新增可学信息
  supersededBy?: string;           // 版本演进链
}

8.3 关键设计:技能管理本身是可学策略(meta-policy μ)

技能库不是"固定 prompt + 启发式更新"。引入元策略 μ over 动作空间 {extract, abstract-choose-granularity, merge, split, evict, supersede},优化目标是下游任务成功率:


\mu^* = \arg\max_\mu \mathbb{E}_{\tau \sim \pi_{\theta,\mu}}\!\left[J(\tau)\right] - \lambda\,|\mathcal{S}|\quad(\text{技能数惩罚})
  • 抽取:判定哪些子序列值得固化(频次 + 成功率 + 可泛化性 + §4.4 infoGain>0)。
  • 粒度选择:同轨迹可抽 task-level 或 event-driven,由 μ 选"哪种对下游更有用"。
  • 维护:合并/拆分/淘汰/取代(supersededBy 链);判定标准是下游执行反馈,非人工评。

8.4 双信号质量评估

  • rubric 信号(LLM-as-judge 可读性/非过拟合):辅助排序。
  • 可验证执行信号(用了该技能的真实通过率):主信号,fail-closed 优先。 执行信号压过 rubric——"看着好但没提分"的技能降权。

8.5 接线点

  • 技能注册表接 capabilities/ Registry 模式(技能=capability)。
  • 技能调用:safety-gate 的 tool_call 钩子收敛可用工具集到 procedure 内模板。
  • 蒸馏:post-task(session_before_compact)跑 μ 抽取,增量更新技能表。
  • infoGain 守卫(§4.4):新技能与已有最近邻相似度 > 阈值则不新增(hitCount++ 或 merge),防 F1 plateau。

8.6 验收

  • 技能表随任务增长 + 有 supersede 链(不堆积死技能)。
  • 用技能任务 vs 裸跑任务,成功率/步数/砖板率有可测改进。
  • infoGain>0 守卫触发过(防 plateau 实证)。

8.7 M2 实测:量化评估结果(2026-08-17,已落地)

M2 已实现并经实验室级受控队列实验量化验证。落点文件:

工作项 落点 状态
类型 + §4.6 复用 src/shared/types.ts(HardwareSkill/SkillTrigger/SkillStep/Granularity/SkillQuality/SkillExtractInput/InfoGainGuard + assessQuality/skillSimilarity/computeInfoGain/skillId 纯函数) ✅
SkillManager(μ:extract/register/resolve/supersede/merge/evict + infoGain 守卫 + 双信号) src/core/skill-manager.ts(SkillManager+SkillRegistry interface + InMemorySkillRegistry+SkillManagerImpl + extractSkill/infoGainGate/mergeSkills/scoreSkill 纯函数 + createSkillManager/createSkillRegistry) ✅
skill-bank 扩展(检索注入 + μ 蒸馏钩子) src/extensions/skill-bank.ts(仿 experience-bank:before_agent_start 检索技能+注入 <skill_pack> + session_before_compact μ extract/register + TTL 缓存 + skill_recall 工具) ✅
量化评估实验 tests/eval/skill-registry-eval.test.ts(seeded mulberry32,N=400,5 队列 + 真实 manager 对齐) ✅
barrel 装配登记 src/extensions/index.ts(第 24 个工厂,自进化 L2) ✅

实验设计(忠实 §4.2/§4.4/§8,非自证):mock 策略 π(σ,β,skills) 的成功概率真地依赖检索到的技能——但只在技能相关(同 actionClass + procedure 匹配任务规范步骤)且 execPassRate 高时才升权;低 execPassRate 技能给更小 boost(§8.4 exec 为主);不相关技能零增益。boost = MATCH_BOOST·execPassRate·confidence,confidence=min(1, execSamples/5)(样本少降权)。5 队列:A 全 M2(resolve+extract+register,infoGain ON)/ B 控制组(技能关)/ C held-out(β1 训→β2 评测)/ D distill-off 消融(resolve 开但不增长)/ E F1 负控(infoGain 守卫 OFF,每次近重复都新增冗余技能)。

实测结果(seed=42/100,N=400,独立复跑一致):

队列 描述 成功数 N J Wilson 95% CI
A 全 M2(技能增长) 350 400 0.8750 [0.8390, 0.9039]
B 控制组(技能关) 244 400 0.6100 [0.5614, 0.6565]
C held-out(β1→β2) 192 220 0.8727 [0.8222, 0.9105]
D distill-off 消融 244 400 0.6100 —
E F1 负控(守卫 OFF) 274 400 0.6850 —
B|β2 β2 控制组 136 220 0.6182 —
指标 实测值 预注册阈值 判定
ΔJ_full(J_A−J_B,技能增长) 0.2650 ≥ 0.15 ✅ PASS
ΔJ_held_out(J_C−J_B|β2,跨板泛化) 0.2545 ≥ 0.05 ✅ PASS
因果技能增益(P(succ|匹配高 exec 技能)−P(succ|无技能)) 0.3482 ≥ 0.20 ✅ PASS
distill-off |J_D−J_B|(证改进来自技能增长非检索路径) 0.0000 < 0.05 ✅ PASS
F1 负控:冗余技能数 E > 2·A(守卫 OFF 爆炸) 400 > 12 count>2·A ✅ PASS
F1 负控:J_E ≤ J_A+0.05(冗余不改进=plateau) 0.6850 ≤ 0.9250 ≤ ✅ PASS
supersede:active 技能数 ≤ K+2(不堆积死技能) 6 ≤ 8 bounded ✅ PASS
统计强度 Wilson CI 非重叠 J_A_lo > J_B_hi ✅ STRONG(0.8390 > 0.6565)
真实 manager 对齐 createSkillManager 5 指标全等对照 一致 ✅ EXACT(J_A/B/C/D + active/store 全等)

结论(量化、可信、可复现):M2 技能注册表机制有效。用技能任务成功率 61%→87.5%(+26.5pp),Wilson 95% CI 非重叠达 STRONG;held-out 板 61.8%→87.3%(+25.5pp)证明泛化非记忆;distill-off 消融与控制组完全一致(J_D=J_B=0.6100)证改进来自技能增长;F1 负控(守卫 OFF)技能数爆至 400(守卫 ON 仅 6)但 J_E=0.685 < J_A=0.875,实证 infoGain 守卫防 plateau(§4.4);supersede 链保持 active 技能有界(不堆积死技能)。真实 SkillManager 与对照实现 5 指标全等——报告数字来自真实 createSkillManager(),非仅对照。

诚实 M2 边界(M2.* 跟进):(1) 评估为忠实 §4.2 mock 策略受控实验,证机制因果效应;live-LLM 读 skillPack 真受益的端到端门待 M2.*。(2) deriveSkillQuery(从用户消息+env-probe 板指纹派生 trigger/σ)与 deriveExtractInput(从 session 轨迹 μ 抽技能)默认 null(fail-closed);真接线为 M2.* 工程项,M2 的检索/蒸馏/守卫/存储基础设施已就位可挂。


9. L3 — 工具生长层(对应 §4.7 V 节点生长)

9.1 目标

让 agent 解任务时自创/修订项目专属或板专属工具(反复用的 i2c 读取序列固化为工具、板特有外设探测脚本变工具)。

9.2 核心理念:agent 是软件,工具定义是数据

pba 工具都是 registerTool(definition),definition 含 parameters/execute/executionMode。definition 是数据——agent 可运行期产出新 ToolDefinition 并 registerTool。这对应 §4.7 图节点 V 的生长。

9.3 安全约束(硬件独有,对应 §4.8 risk)

  • 新工具默认 sandbox:首次产出的 execute 只走 subprocess-isolation+sandbox-policy fail-closed,禁直接 devmem/flash/JTAG。
  • 升级门:被使用 K 次 + validity≥repeatable 通过率达阈值,才解锁到更危险能力域(按 safety-gate per-skill 收敛层级逐步放权)。
  • 不可逆操作永不自创:烧录/擦除/熔丝类工具定义不允许 L3 生长,只能用内置 flash(三段式 fail-closed)。L3 只长"读/探/分析"类 → risk(G) 不增(§4.8)。

9.4 接线点

  • 运行期 pi.registerTool(pi 扩展 API 支持,pba 目前加载期用,L3 启用运行期)。
  • 新工具 execute 体由 agent 生成(代码字符串 → vm 沙箱 eval),必经 safety-gate 破坏性命令拦截。
  • 生命周期:草稿(sandbox-only)→ 验证 → 转正(进 capabilities Registry)→ 衰减淘汰。

9.5 验收

  • 出现自创工具被反复调(非一次性)。
  • 自创工具砖板率=0(只长读/探 + sandbox 升级门)。
  • 可下架(不堆积)。

9.6 M3 实测:量化评估结果(2026-08-17,已落地)

M3 已实现并经实验室级受控队列实验量化验证。落点文件:

工作项 落点 状态
类型 + 白名单分类 src/shared/types.ts(GrownTool/ToolLifecycleStage/ToolGrowthClass/ToolUpgradeGate/ToolProposal + classifyTool/canGrow/definitionHash/grownToolId 纯函数) ✅
ToolGrowthManager(propose 白名单/recordUsage/tryPromote 升级门/verify/retire 生命周期/brickRate 恒0) src/core/tool-growth.ts(ToolGrowthManager interface + ToolGrowthManagerImpl + classifyProposal/promotionGate/canTransition 纯函数 + createToolGrowthManager) ✅
tool-bank 扩展(运行期工具治理 + 注入) src/extensions/tool-bank.ts(仿 experience-bank:tool_propose/tool_record/tool_promote/tool_list_grown/tool_retire 工具 + before_agent_start 注入 <grown_tools> + session_before_compact deriveProposals) ✅
量化评估实验 tests/eval/tool-growth-eval.test.ts(seeded mulberry32,N=300,用真实 createToolGrowthManager()) ✅
barrel 装配登记 src/extensions/index.ts(第 25 个工厂,自进化 L3) ✅

实验设计(忠实 §9/§4.8,非自证):agent 遇复发读/探序列(每个 i2c-probe 类任务需同一段 i2cdetect→i2cget→i2cdump 序列)。mock 策略:无固化工具时每任务 baseSteps=5(成功率随难度);固化+promoted 工具后每任务 1 步(调工具)+ 更高成功率(固化工具可靠)。工具生长:遇复发序列 K 次且通过 → propose+recordUsage+tryPromote → promoted;之后同类任务用之(步数↓+成功率↑)。安全是 M3 头条(§4.8/§9.5):砖板率恒 0(构造保证);每个 forbidden 提案(flash/erase/fuse/write/dd)全拒绝。

实测结果(seed=42/100/200,N=300,独立复跑一致):

队列 描述 成功数 N J 总步数 平均步 Wilson 95% CI
A 工具生长 ON(固化) 245 300 0.8167 360 1.200 [0.7690, 0.8564]
B 工具生长 OFF(控制) 204 300 0.6800 1500 5.000 [0.6252, 0.7302]
指标 实测值 预注册阈值 判定
步效率(avgSteps_A / avgSteps_B) 0.2400(固化工具砍 76% 步) < 0.70 ✅ PASS
ΔJ_success(J_A−J_B,固化工具更可靠) 0.1367 ≥ 0.05 ✅ PASS
砖板率 0 === 0(EXACT 构造不变式) ✅ PASS
forbidden 提案拒绝/接受 7 拒 / 0 受 rejected=proposed, accepted=0 ✅ PASS
升级门:低 usage(<K)工具 promote 数 0 === 0(EXACT) ✅ PASS
统计强度 Wilson CI 非重叠 J_A_lo > J_B_hi ✅ STRONG(0.7690 > 0.7302)

结论(量化、可信、可复现):M3 工具生长机制有效且安全。固化工具使同类任务平均步数 5.0→1.2(砍 76%,3.8 步/任务),成功率 68%→81.7%(+13.7pp),Wilson CI 非重叠 STRONG;砖板率=0 为构造铁律(forbidden 全拒绝 + 只长读/探 + sandbox + 升级门),非统计——这是 pba 硬件自进化区别于纯软件的铁律实证(§4.8 risk 不增);升级门保证 usage<K 永不 promote(保守放权)。报告数字来自真实 createToolGrowthManager()。

诚实 M3 边界(M3.* 跟进):(1) 评估为忠实 §9 mock 策略受控实验,证机制因果效应;live-LLM 真自创工具+vm 沙箱 eval execute 的端到端门待 M3.*。(2) deriveProposals(从 session 轨迹抽取工具提案)默认 null(fail-closed);真接线 + 真工具 execute 体(vm 沙箱)为 M3.* 工程项,M3 的白名单/升级门/生命周期/注入基础设施已就位可挂。


10. L4 — 编排进化层(对应 §4.7 图搜索)

10.1 目标

pba 现有 profiles(维修/嵌入式)是静态 bundle。本层让编排随 σ+β+历史进化:选 profile、工具子集、串几步、是否上子 agent 并行、选哪个 LLM。

10.2 任务难度自适应

任务开始估难度 d̂(σ,β)(低/中/高,从 taskSignature + 板记忆估):

  • 低 → 单 agent、少步、轻量 model(省 cost)。
  • 高 → 多步、上 subagent/workflow 并行、重 model。 难度估错有反馈:事后实际步数/失败次数校正难度先验(post-task 更新)——对应 §4.5 的 D_t 与运行分布对齐。

10.3 workflow 拓扑进化(§4.7 G 搜索)

把"localization→edit→test→debug"串行默认,按任务类进化成不同图:

  • 硬件 bug 类:peripheral-probe→board-link 确认在线→reg 读→hardware-verify 判据。
  • 烧录类:flash 三段式(预校验→烧→读回校验),禁跳段。 拓扑以图 G 表示。进化用符号反向传播(§4.7,LM 反馈作文本梯度)搜索 $G^* = \arg\min_{G\in\mathcal{G}_{\text{safe}}} \mathcal{L}(G)$,pba 的 \mathcal{G}_{\text{safe}} 由 safety-gate/sandbox/flash 三段式界定。

10.4 接线点

  • profiles/resolveProfile(已 fail-closed + 防原型污染)→ 加难度→profile 选择 + 任务类→workflow 图。
  • context-injector.steer(换板 next-step 唤醒)→ 扩成"换 workflow"。
  • capabilities/workflow 的 parallel/pipeline → L4 拓扑进化的执行后端。

10.5 验收

  • 同类任务有不同 workflow(非全走同一串行)。
  • 难度估与实际步数/失败相关性可测。
  • 改进可归因到 G 变化(非 θ 变化)—— §4.9 ΔJ 在固定 θ 下计。
  • $\mathrm{risk}(G^*) \le \mathrm{risk}(G_{\text{default}})$(§4.8 不可逆暴露面不增)。

10.6 M4 实测:量化评估结果(2026-08-17,已落地)

M4 已实现并经实验室级受控队列实验量化验证。落点文件:

工作项 落点 状态
类型 + 纯函数 src/shared/types.ts(DifficultyLevel/DifficultyEstimate/WorkflowNode/WorkflowGraph/DifficultyCorrection + estimateDifficulty/riskOfWorkflow/workflowSimilarity/backpropGradient/correctDifficultyPrior) ✅
WorkflowOptimizer(难度估+G 搜索+符号反向传播+先验校正) src/core/workflow-optimizer.ts(WorkflowOptimizer+WorkflowRegistry interface + WorkflowOptimizerImpl+InMemoryWorkflowRegistry + applyGradient 纯函数 + createWorkflowOptimizer) ✅
orchestration-bank 扩展(难度估+workflow 选择/注入+先验校正) src/extensions/orchestration-bank.ts(仿 skill-bank:before_agent_start 难度估+workflow 注入 <orchestration_plan> + session_before_compact 先验校正 + orchestration_recall 工具) ✅
量化评估实验 tests/eval/orchestration-eval.test.ts(seeded mulberry32,N=400,5 队列 + 真 optimizer 对齐) ✅
barrel 装配登记 src/extensions/index.ts(第 26 个工厂,自进化 L4) ✅

实验设计(忠实 §4.7/§10,非自证):mock 策略 π(σ,β,workflow) θ 固定——只有 workflow 图 G 变化,故 ΔJ 归因 G 进化非模型变化(§10.5)。默认串行 workflow(localization→edit→test→debug)基线;按任务类进化出不同拓扑(硬件 bug 类:probe→board-link→reg-read→verify)。符号反向传播(backpropGradient)从可执行反馈产结构化梯度(reorder 可逆节点前置降不可逆暴露/delete 冗余降步数/insert 不可逆节点前置检查)。risk 不增守卫(evolveWorkflow:candidate.risk > g.risk → 返 null 不进化)。

实测结果(seed=42/100,N=400,独立复跑一致):

队列 描述 成功数 N J Wilson 95% CI
A workflow 进化 ON 316 400 0.7900 [0.7474, 0.8271]
B 控制组(默认串行) 197 400 0.4925 [0.4438, 0.5413]
C held-out(β1→β2) 181 220 0.8227 [0.7669, 0.8675]
D evolve-off 消融 197 400 0.4925 —
E risk-increase 负控 197 400 0.4925 —
B|β2 β2 控制组 111 220 0.5045 —
指标 实测值 预注册阈值 判定
ΔJ_G(J_A−J_B,θ 固定归因 G 进化) 0.2975 ≥ 0.10 ✅ PASS
ΔJ_held_out(J_C−J_B|β2,跨板泛化) 0.3182 ≥ 0.03 ✅ PASS
同类不同 workflow(max evolved count/class) 2 ≥ 2 ✅ PASS
难度估与实际步数相关性(Pearson) 0.6121 > 0 ✅ PASS
evolve-off |J_D−J_B|(证改进来自 G 增长非 select 路径) 0.0000 < 0.05 ✅ PASS
risk 不增(§4.8 EXACT 构造铁律) max(evolved risk)=1 ≤ default=1 max≤default ✅ PASS
risk-increase 负控:退化候选被守卫拒绝 242 拒绝 > 0 ✅ PASS
统计强度 Wilson CI 非重叠 J_A_lo > J_B_hi ✅ STRONG(0.7474 > 0.5413)
真 optimizer 对齐 createWorkflowOptimizer 与对照 selectWorkflow+thresholds 一致 一致 ✅ PASS

结论(量化、可信、可复现):M4 编排进化机制有效且安全。workflow 进化使同类任务成功率 49.25%→79%(+29.75pp,θ 固定 → 归因 G 变化非模型变化),Wilson CI 非重叠 STRONG;held-out 板 50.45%→82.27%(+31.82pp,泛化);难度估与实际步数 Pearson 相关 0.61(估计器有意义);risk 不增为构造铁律(max evolved risk=1 ≤ default=1,§4.8 不可逆暴露面不增),risk-increase 负控 242 个退化候选全被守卫拒绝(证守卫有效)。真 optimizer 与对照对齐。

诚实 M4 边界(M4.* 跟进):(1) 评估为忠实 §4.7 mock 策略受控实验(θ 固定),证机制因果效应;live-LLM 真选 workflow 端到端门待 M4.*。(2) deriveTaskQuery(从用户消息+env-probe 派生 σ/taskClass)与 derivePriorCorrection(从 session 轨迹抽 actualSteps)默认 null(fail-closed);真接线为 M4.* 工程项。


11. L5 — 脚手架自改层(终局,最强约束,对应 §4.5 θ 代码更新)

11.1 目标

agent 改自己的扩展代码(barrel 22 工厂之一),跑改后版,验证胜出则存档为变体。

11.2 为何最后做

风险最高:改的是"产生未来动作的机器"。有害自改可能 break agent loop、退化 tool use、过拟合 benchmark、利用 eval harness 漏洞。硬件场景更甚——自改工具若绕过 safety-gate 可能砖板。

11.3 安全约束(最强)

  • 自改范围白名单:只允许改"读/探/分析/编排"类扩展代码,禁改 safety-gate/sandbox-policy/flash/glm-provider 命门代码——这些是 \mathcal{G}_{\text{safe}} 的定义者,约束进化,不参与进化。
  • 变体存档 + 不变式:每次自改产出一个变体(git worktree 语义),主分支不变。变体须全过 §11.4 不变式才进候选。
  • A/B + 回滚:变体在影子任务集跑,与当前版比,胜出且不破任何不变式才提升;任何回归即自动回滚。
  • 不可逆不变式:变体在含不可逆操作任务上砖板率必须=0(零,非阈值)。

11.4 安全不变式集(变体提升门)

  1. 全量单测仍绿(基线不回归)。
  2. tsc --noEmit 0 错。
  3. grep -rn sk-nAm src/ = 0(密钥铁律)。
  4. 真模型 launch 仍成功(services 路径,glm-5.2 回复非空,命门一不回归)。
  5. board_exec fail-closed 沙箱门不破。
  6. 影子硬件任务集砖板率=0。
  7. $\mathrm{risk}(G^*) \le \mathrm{risk}(G_{\text{default}})$(不可逆暴露面不增,§4.8)。

11.5 接线点

  • 变体 = git worktree + barrel extensionFactories 指向变体工厂。
  • 验证跑现有 CI 门 + §11.4 不变式。
  • 变体注册表 variants/,每变体一 commit + 元数据(提升/回滚/淘汰)。

11.6 验收

  • 有变体被提升(非零自改)。
  • 变体影子集改进可测 + 不变式全过。
  • 回滚机制被实际触发过(验证可逆)。

11.7 M5 实测:量化评估结果(2026-08-17,已落地)

M5(终局最强约束)已实现并经实验室级受控实验量化验证。落点文件:

工作项 落点 状态
类型 + 纯函数 src/shared/types.ts(VariantStage/ScaffoldClass/Variant/InvariantReport/InvariantChecker + classifyScaffold/canSelfModify/allInvariantsPassed) ✅
VariantManager(变体+§11.4 门+A/B+回滚+白名单) src/core/variant-manager.ts(VariantManager+VariantRegistry+ABTestRunner interface + VariantManagerImpl+InMemoryVariantRegistry + classifyProposalVariant/promotionDecision 纯函数 + 可注入 InvariantChecker + createVariantManager) ✅
variant-bank 扩展(变体治理+注入) src/extensions/variant-bank.ts(仿 tool-bank:variant_propose/variant_list/variant_promote/variant_rollback 工具 + before_agent_start 注入 <active_variants> + session_before_compact deriveProposals) ✅
量化评估实验 tests/eval/variant-eval.test.ts(seeded mulberry32,N=200,注入 InvariantChecker+ABTestRunner + 真 manager 对齐) ✅
barrel 装配登记 src/extensions/index.ts(第 27 个工厂,自进化 L5) ✅

实验设计(忠实 §11,非自证):agent 提变体(改扩展工厂),有益变体过 §11.4 门+A/B 胜出→promoted;有害变体(破不变式 / 命门 forbidden)被拒/回滚。§11.4 门(7 条)由可注入 InvariantChecker 参数化(eval 用确定性 fake,真 CI/tsc/launch = M5.*)。A/B runner 注入(跑变体版 vs 基线版影子集)。安全是 M5 头条:forbidden 命门(safety-gate/sandbox-policy/flash/glm-provider)永不自改(§11.3);砖板率=0;risk 不增。

实测结果(seed=42/100,N=200,独立复跑一致):

队列 描述 成功数 N J Wilson 95% CI
A self-mod ON(有益变体 promoted) 164 200 0.8200 [0.7609, 0.8671]
B self-mod OFF(控制) 134 200 0.6700 [0.6022, 0.7314]
指标 实测值 预注册阈值 判定
ΔJ_selfmod(J_A−J_B,有益自改提分) 0.1500 ≥ 0.05 ✅ PASS
forbidden 命门拒绝(§11.3 EXACT 构造铁律) rejected=5, accepted=0 accepted=0 AND rejected=proposed ✅ PASS
§11.4 门捕获有害变体(不变式失败被拒) 2 ≥ 1 ✅ PASS
回滚触发(promoted→rolled-back,§11.6 可逆性实证) 1 ≥ 1 ✅ PASS
promoted 有益变体数(非零自改) 3 ≥ 1 ✅ PASS
全 promoted 不变式 allPassed(构造) true === true ✅ PASS
统计强度 Wilson CI 非重叠 J_A_lo > J_B_hi ✅ STRONG(0.7609 > 0.7314)
真 manager 对齐 createVariantManager J_A/J_B/ΔJ 与对照全等 一致 ✅ PASS

结论(量化、可信、可复现):M5 脚手架自改机制有效且安全。有益自改使任务成功率 67%→82%(+15pp),Wilson CI 非重叠 STRONG;forbidden 命门永不自改为构造铁律(5 提 0 受,§11.3 safety-gate/sandbox/flash/glm-provider 不参与进化);§11.4 门捕获有害变体(2 个不变式失败被拒);回滚机制实际触发(1 个 promoted→rolled-back,§11.6 可逆性实证);全 promoted 变体不变式全过。真 manager 与对照对齐。

诚实 M5 边界(M5.* 跟进,非 M5 缺陷):(1) 评估为忠实 §11 mock 受控实验(注入 InvariantChecker+ABTestRunner),证机制因果效应;真 CI 执行(§11.4 门 1-7 真 tsc/单测/launch/砖板率)= M5.* 工程项。(2) 变体 = 数据模型 + 工厂覆盖描述(非真 git worktree 代码注入);真 git worktree + 真 vm 沙箱 execute 变体工厂 = M5.*。(3) deriveProposals(从 session 轨迹抽变体提案)默认 null(fail-closed);真接线 = M5.*。


12. 进化时序(三档接线,对应 §4 时间维度)

时序 何时 pba 接线点 改的对象(形式化)
task-time 解当前任务中 before_agent_start(适配)+ tool_call(safety-gate 拦截+收敛)+ context-injector.steer 当前 patch/工具调用/编排;快、局部、会话内
post-task 一任务后 session_before_compact(蒸馏)+ message_end(空输出检测兜底) d_t=Distill → M_{t+1}(L1)/技能表(L2);持久、跨任务
stage-wise 一批轨迹聚合后 离线 cron/手动 + CI 门 θ 更新(§4.5)/ G 搜索(§4.7)/ 变体(L5);最持久、跨版本

三档不是替代,是不同时间尺度叠加:task-time 边做边调、post-task 做完总结、stage-wise 积攒大改。


13. 证据驱动 + 可信度分级(硬件独有,对应 §4.6)

13.1 证据来源

  • 结果证据:任务成功/失败/砖板(coarse 但核心选择压力,§4.5 r_t)。
  • 环境反馈:命令退出码、compiler/linker 输出、test pass rate、dmesg、设备树节点、i2c 应答(§4 f_t 的 e_t)。
  • 轨迹派生:完整步骤序列(§4 τ_t)。

13.2 可信度分级 v_t(§4.6 形式化)

v_t 含义 u(e) 允许值
repeatable 可重复执行验证(i2cdetect、读寄存器、dmesg) actionable / anti-pattern / hint
once 验证过不可重复(一次性烧录成功) anti-pattern / hint(actionable 标"曾成功")
irreversible-fail 不可逆失败(砖板) 仅 anti-pattern(铁律)
inferred 非执行推断(LLM 推测) 仅 hint

13.3 反馈可靠性兜底(§3 F2/F3 对策)

  • 不全 test、歧义 log、过拟合 benchmark 信号 → 降级 inferred,不入高可信。
  • 误导反馈检测:repeatable 经验在下轮被证伪(同情境复跑失败)→ 自动降级 + 重验/淘汰。

14. 安全与 fail-closed(自进化的护栏)

14.1 护栏不参与进化

safety-gate/sandbox-policy/flash 三段式/glm-provider 命门——约束进化,本身不作为进化对象(L5 白名单明禁,§11.3)。它们定义 $\mathcal{G}_{\text{safe}}$,不在搜索空间内。

14.2 进化的 fail-closed 默认

  • 任何进化产物(经验/技能/自创工具/编排/变体)默认不生效,经验证门才放行。
  • 不可逆操作永远走内置 fail-closed 路径,进化产物不得绕过(§4.8 risk 不增)。
  • 自创工具默认 sandbox-only,升级门达标才放权(§9.3)。
  • 变体砖板率=0 才提升(§11.3)。

14.3 可回滚

  • 经验/技能可衰减淘汰(hitCount + 时间衰减)。
  • 自创工具可下架。编排可回退默认串行。变体可回滚(git 语义)。 任何进化都可逆——不可逆的只有硬件操作本身(护栏管,非进化管)。

15. 实施路线(M1→M5)

里程碑 层 内容 形式化对应 验收
M1 L1 硬件经验库:ExperienceEntry+BoardMemory+检索注入+持久化(SQLite) §4.2 R + §4.3 Distill/Evict 同板同类第 N 次成功率>第 1 次;held-out 板 ΔJ>0
M2 L2 可学技能注册表:μ 抽取/管理 + 双信号 + supersede 链 + infoGain 守卫 §4.4 \mathcal{I} + §8.3 μ 技能表增长 + 用技能任务提分 + 死技能可淘汰 + infoGain 守卫触发
M3 L3 工具生长:运行期 registerTool + sandbox 升级门 + 只长读/探类 §4.7 V 生长 + §4.8 risk 不增 自创工具被反复调 + 砖板率=0 + 可下架
M4 L4 编排进化:难度估 + workflow 图 G + 符号反向传播搜索 §4.5/§4.7 G* + §4.8 risk 同类任务不同 workflow + 难度估准 + 改进归因 G + risk 不增
M5 L5 脚手架自改:变体 worktree + §11.4 不变式门 + A/B 提升/回滚 §4.5 θ 更新 + §11.4 有变体被提升 + 不变式全过 + 回滚被触发

顺序铁律:M1 必先(地基,所有上层依赖 M)。M2 在 M1 上蒸馏。M3/M4 可并行。M5 最后(需前四层验证机制成熟)。

每里程碑"进化真发生"判据(§4.9 ΔJ + §3 失败模式排除):

  • 跨任务迁移证据(第 N 次>第 1 次)。
  • held-out 上 ΔJ>0(排除 F4)。
  • infoGain>0 守卫(排除 F1 plateau)。
  • 改进可归因到进化对象(非 θ 随机/非 model 变好)。
  • 不破任何安全不变式(§11.4)。
  • 可回滚(验证可逆)。

16. 评估:怎么验证"真进化"而非"过拟合/记忆"

四类反例必须排除(§3):

  1. 记忆 vs 进化:在见过的板上变好不算(F4)。评估集含未见过的板+未见过的任务类,ΔJ 只在 held-out 计。
  2. benchmark 调参 vs 进化:固定评测集变好可能过拟合(F2)。评测集持续更新+去污。
  3. 随机波动 vs 进化:单次变好不算。需多轮统计显著。
  4. model 变好 vs 进化:换更强 model 变好不算进化。固定 θ 证进化独立贡献。

pba 独有维度:

  • 砖板率:进化后不可逆事故率 ≤ 进化前(理想=0)。
  • 可逆性:每个进化产物能否被回滚/淘汰,实测过。
  • 安全不变式不破:§11.4 全过。
  • 不可逆暴露面不增:§4.8 risk(G) 单调不增。

17. 与 pba 现有架构的落点对照

本设计层 落到 pba 现有模块 改造动作 形式化对应
L1 经验库 pba-session+compaction/spill+context-injector 加跨任务持久+检索 R+经验注入子段 §4.2/§4.3
L2 技能表 capabilities/(Registry)+safety-gate(tool_call 收敛) 技能作 capability+μ 抽取 post-task+双信号+infoGain 守卫 §4.4/§8.3
L3 工具生长 registerTool(pi)+subprocess-isolation+sandbox-policy 运行期 register+sandbox 升级门+只长读/探 §4.7 V+§4.8 risk
L4 编排 profiles/+context-injector.steer+capabilities/workflow 难度估+workflow 图 G+符号反向传播搜索 §4.5/§4.7
L5 自改 barrel extensionFactories+CI 门+worktree 变体 worktree+§11.4 不变式门+A/B §4.5 θ
安全护栏 safety-gate/sandbox-policy/flash/glm-provider 不改,作 \mathcal{G}_{\text{safe}} 约束进化 §4.7/§4.8
时序接线 before_agent_start/session_before_compact/tool_call/message_end 三档时序挂这些已有钩子 §12

关键:本设计不新建并行架构,全部落到 pba 已有模块扩展。pba 的"逻辑内联+命名导出+注入式依赖"+fail-closed 安全底座+事件溯源,恰好是自进化好宿主——组件已解耦、写入已集中、安全已有门、时序钩子已铺。缺的是"把跨任务经验闭环跑起来"的胶水 + §2 五条因果链的工程保证。


18. 最小起步(M1 第一周可做)—— 已完成(2026-08-17)

  1. ✅ 定义 ExperienceEntry/BoardMemory/TaskSignature/ValidationKind 类型(shared/types.ts),含 §4.6 v_t→u(e) 不对称约束的运行时强制(assertAsymmetry 在构造/入库点抛错)+ 检索打分纯函数(similarityTask/matchBoard/validityWeight/experienceId)。
  2. ✅ ExperienceStore(core/experience-store.ts,可注入后端:默认 in-memory,sqlite 可选):append(幂等去重+复发升权+§4.6 强制)/query(σ,β,topK)(打分排序+检索升权)/evict(时间淘汰+β 失配降权+低命中衰减)/upsertBoardMemory(聚合去重)。
  3. ✅ before_agent_start 钩子:检索 top-K(§4.2 R)+ 注入 experiencePack 子段(extensions/experience-bank.ts,仿 env-probe:strip 旧块+追加+TTL 缓存+experience_recall 工具)。
  4. ✅ session_before_compact 钩子:蒸馏 1 条 ExperienceEntry(distillEntry:按 f_t 证据分级定 v_t,§4.6 不对称强制入库;成功→actionable/失败→anti-pattern)+ 板级记忆聚合。
  5. ✅ 评估:受控队列实验(tests/eval/experience-bank-eval.test.ts,N=400 seeded)—— 同板 J 61%→95%(ΔJ_full=0.34),held-out 板 ΔJ=0.1545>0(排除 F4),distill-off 消融证改进来自记忆增长,F4 负控证 held-out 门有效。详见 §7.8。

M1 完成即证明 §2 五条因果链在 pba 跑通最小闭环——从"静态 agent"到"跨任务学习 agent"的质变。后续 M2–M5 都是在这个闭环上加深进化的对象(技能/工具/编排/脚手架)与强度(task-time→post-task→stage-wise),并逐步把 §3 F1–F6 失败模式的对策工程化。

M1 边界(M1.* 跟进):评估为忠实 §4.2 的 mock 策略受控实验,证机制与机器的因果效应;真 glm-5.2 读 experiencePack 受益的 live-LLM 门 + deriveSignature/deriveDistillInput 真接线 + sqlite 跨 session 持久化为 M1.* 工程项(详见 §7.8 诚实边界)。


附:原理-公式-落点 速查

原理(§2) 公式(§4) 失败模式(§3) 落点(§7-11)
可执行反馈=带 ground-truth 信号 r_t = Env(τ_t) F2 弱 Verifier L1/L2 Verifier 用物理 ground truth
记忆摊销探索 c_t=R(M_t,σ,β); M_{t+1}=Evict(M_t∪{d_t}) F5 分布漂移 L1 ExperienceStore + boardFingerprint 降权
闭环=学习分布=运行分布 D_t~agent 自生成 F4 记忆≠进化 held-out 评估 ΔJ
三角角色 Proposer/Solver/Verifier D_t=Proposer(弱点) F1 plateau(Proposer 同质) L2 μ 弱点驱动 + infoGain 守卫
可学信息增益 I(d_t M_{t-1})>0 F1/F3 误差累积
可信度不对称 v=irreversible-fail⇒u=anti-pattern F6 不可逆误用 L1 类型层强制 + L3/L5 不可逆不变式
agent=可优化图 G*=argmin L(G), G∈G_safe — L4 workflow 搜索
不可逆暴露面 risk(G)=Σ_{v∈V_irr} w_v·1[前置未全过] F6 L3 只长读/探 + L4/L5 risk 不增
改进定理 ΔJ(t)=E_held-out[J(π_{t+1})−J(π_t)]>0 F1-F6 任一→假阳/退化 每里程碑验收 §15

19. 开发进度与完成情况

本节跟踪自进化能力各工作项的实施进度,供后续随时核对。状态随实施滚动更新。

19.0 状态图例

  • ✅ 已完成(验收过) · 🔄 进行中 · ⏳ 待开发 · ⚠️ 阻塞 · ➖ 不做(约束/护栏,不参与进化)

19.1 里程碑总览

里程碑 层 内容 状态 完成度 验收(详见对应节)
设计 — 本文档(原理/数学/架构/路线) ✅ 100% §2–§4 闭环自洽 + 禁用词合规 + 公式可落实体
M1 L1 硬件经验库(跨任务记忆+板级记忆+检索注入) ✅ 100%(机制闭环)/ M1.* live-LLM 门待 ΔJ_full=0.34≥0.15 ✅;held-out ΔJ=0.1545≥0.05 ✅;CI 非重叠 STRONG(§7.8)
M2 L2 可学技能注册表(μ 管理+双信号+infoGain 守卫) ✅ 100%(机制闭环)/ M2.* live-LLM 门待 ΔJ_full=0.265≥0.15 ✅;held-out ΔJ=0.2545≥0.05 ✅;F1 负控技能数 400>12 但 J 不升 ✅;CI STRONG(§8.7)
M3 L3 工具生长(运行期 registerTool+sandbox 升级门+只长读/探) ✅ 100%(机制闭环)/ M3.* live-LLM 门待 步效率 0.24<0.70 ✅;ΔJ=0.1367≥0.05 ✅;砖板率=0 EXACT ✅;forbidden 7拒/0受 ✅(§9.6)
M4 L4 编排进化(难度估+workflow 图 G+符号反向传播搜索) ✅ 100%(机制闭环)/ M4.* live-LLM 门待 ΔJ_G=0.2975≥0.10(θ 固定)✅;held-out 0.3182≥0.03 ✅;难度 corr 0.6121>0 ✅;risk 不增 EXACT(1≤1)✅;CI STRONG(§10.6)
M5 L5 脚手架自改(变体 worktree+§11.4 不变式门+A/B 回滚) ✅ 100%(机制闭环)/ M5.* live-LLM 门待 ΔJ_selfmod=0.15≥0.05 ✅;forbidden 5拒/0受 EXACT(§11.3)✅;§11.4 门捕有害 2✅;回滚触发 1(§11.6)✅;CI STRONG(§11.7)
跨层 — 时序接线(X.1)/ v_t 全链路(X.3)/ 可观测面板(X.4)/ 评估框架(X.2)/ 安全护栏 ✅ / ➖ — X.1+X.3+X.4 全完成(§19.4 实测);安全护栏不进化

当前总体状态:设计完成 ✅,M1-M5 五层 + X.1/X.3/X.4 跨层全部完成 ✅(量化坐实,§7.8/§8.7/§9.6/§10.6/§11.7/§19.4)。pba 已从"静态装配 agent"→"L1-L5 全栈自进化 + 跨层闭环 agent":L1 经验库(+34pp)、L2 技能表(+26.5pp,infoGain 防 plateau 实证)、L3 工具生长(步数砍 76%,砖板率=0 构造铁律)、L4 编排进化(+29.75pp,θ 固定归因 G,risk 不增构造铁律)、L5 脚手架自改(+15pp,forbidden 命门永不自改 + §11.4 门捕有害 + 回滚实证)、X.1+X.3 全链路(tool_result→derive*→5 层→注入→约束,§4.6 100% + 4 bank 生产自驱)、X.4 可观测面板(精确指标,brickRate=0 构造铁律)。M1-M5.*(live-LLM/板端到端 + stage-wise 真 θ + 真 git worktree + 真 CI §11.4 执行)为跟进项。

19.2 M1 — 硬件经验库(L1)工作分解 —— 已完成(2026-08-17)

编号 工作项 落点 形式化 状态 验收
M1.1 类型定义:ExperienceEntry/BoardMemory/TaskSignature/ValidationKind(含 v→u 不对称的类型层强制) shared/types.ts §4.6 ✅ tsc 0 + assertAsymmetry 运行时强制(irreversible-fail⇒anti-pattern / inferred⇏actionable 违例抛错)
M1.2 ExperienceStore(append/query(σ,β,topK)/evict,可注入后端 in-memory/sqlite) 新 core/experience-store.ts §4.3 Evict ✅ 28 单测全过:幂等去重+复发升权+查询升权+evict 时间淘汰/β失配降权+真实 store 与对照实现 5 指标全等
M1.3 before_agent_start 检索 top-K + 注入 experiencePack 子段 新 extensions/experience-bank.ts(仿 env-probe) §4.2 R ✅ 注入可见(<experience_pack> 块)+ TTL 缓存(命中不二次查询)+ experience_recall 工具,30 单测
M1.4 session_before_compact 蒸馏 1 条 ExperienceEntry(成功→actionable/失败→anti-pattern)+ v_t 分级 + 不对称强制入库 session_before_compact 钩子 §4.3 Distill ✅ distillEntry 分级正确(success+ground-truth→repeatable/actionable;failure+irreversible→irreversible-fail/anti-pattern)+ §4.6 强制入库
M1.5 板级历史记忆 BoardMemory(moduleFunctionality/knownGood/knownBad/peripheralState 聚合) core/experience-store.ts §7.3 ✅ upsert 聚合(merge+union 去重)+ 同板隔离(key=mac)单测过
M1.6 evict 机制(hitCount 衰减 + β 失配降权 + 时间淘汰) ExperienceStore §4.3 + F5 ✅ 时间淘汰删老条 + β 失配(异板/同 SoC 异镜像)hitCount×decay 降权 + 可注入时钟单测过
M1.7 评估:同板同类第 N 次>第 1 次 + held-out 板 ΔJ>0(排除 F4) tests/eval/experience-bank-eval.test.ts §4.9 + F4 ✅ ΔJ_full=0.34 / held-out ΔJ=0.1545 / distill-off=0.0000 / F4 负控=0.0000 / CI 非重叠 STRONG(§7.8 表),12 测全过

集成验证:barrel 登记(第 23 工厂,src/extensions/index.ts)+ 真 pi services 路径冒烟(T01 boot 不抛)+ 全量 42 文件 2522 passed / 5 skipped / tsc 0 / sk- 明文 0。

19.3 M2–M5 工作分解(待 M1 完成后细化)

里程碑 编号 工作项 落点 形式化/失败模式 状态

19.3 M2–M5 工作分解(M2-M5 均已完成)

里程碑 编号 工作项 落点 形式化/失败模式 状态
M2 M2.1 HardwareSkill 类型 + 技能注册表接 capabilities Registry shared/types.ts + core/skill-manager.ts(SkillRegistry+InMemorySkillRegistry 仿 FlashRegistry) §8.2 ✅
M2.2 元策略 μ(extract/abstract-choose-granularity/merge/evict/supersede) core/skill-manager.ts(SkillManagerImpl:extract/register/resolve/supersede/merge/evict + extractSkill/mergeSkills/scoreSkill 纯函数) §8.3 μ* ✅
M2.3 双信号质量评估(rubric + 执行,执行为主) assessQuality/skillQualityScore(exec 权 0.7 + rubric 0.3) §8.4 ✅
M2.4 infoGain 守卫(新技能与最近邻相似度>阈值则不新增/merge,防 plateau) infoGainGate/computeInfoGain(1−最近邻相似度;>0.85 → merge 不新增) §4.4 + F1 ✅
M2.5 supersede 链 + 蒸馏接 session_before_compact skill-manager supersede + extensions/skill-bank.ts session_before_compact μ extract/register §8.2 ✅
M2.6 评估:技能表增长 + 用技能任务提分 + 死技能淘汰 tests/eval/skill-registry-eval.test.ts(5 队列 + 真 manager 对齐) §8.6 ✅
M3 M3.1 运行期 registerTool 启用(pi 扩展 API 运行期注册) extensions/tool-bank.ts(tool_propose/tool_record/tool_promote/tool_list_grown/tool_retire 工具,pi.registerTool 运行期) §9.2 V 生长 ✅
M3.2 新工具默认 sandbox + 升级门(K 次 + repeatable 通过率达标才放权) core/tool-growth.ts tryPromote/promotionGate(DEFAULT_GATE: usage≥5 + passRate≥0.8 + repeatable) §9.3 + §4.8 ✅
M3.3 只长读/探类工具(不可逆永不自创,flash/擦除/熔丝禁生长) classifyTool/canGrow/classifyProposal(forbidden 关键词 → 拒绝 throw,§4.8 risk 不增) §9.3 + F6 ✅
M3.4 工具生命周期(草稿→验证→转正→淘汰) ToolGrowthManagerImpl(draft→verified→promoted→retired 单调,canTransition) §9.4 ✅
M3.5 评估:自创工具被反复调 + 砖板率=0 + 可下架 tests/eval/tool-growth-eval.test.ts(步效率 0.24 + 砖板率=0 EXACT + forbidden 7拒/0受) §9.5 ✅
M4 M4.1 任务难度估 d̂(σ,β)(低/中/高) shared/types.ts estimateDifficulty + core/workflow-optimizer.ts WorkflowOptimizerImpl.estimateDifficulty §10.2 ✅
M4.2 workflow 图 G 表示 + 按任务类进化(硬件 bug 类/烧录类等) WorkflowGraph/WorkflowNode + WorkflowRegistry(按 taskClass 分桶)+ registerWorkflow supersede 守卫 §10.3 + §4.7 ✅
M4.3 符号反向传播搜索(LM 文本梯度沿图反传) backpropGradient(结构化梯度 reorder/delete/insert)+ applyGradient + evolveWorkflow(G*=argmin L(G) over G_safe) §4.7 ✅
M4.4 难度估错反馈校正(post-task 用实际步数/失败更新先验) correctDifficultyPrior(滑动窗 50)+ orchestration-bank session_before_compact §4.5 分布对齐 ✅
M4.5 评估:同类不同 workflow + 难度估准 + 改进归因 G + risk 不增 tests/eval/orchestration-eval.test.ts(ΔJ_G=0.2975 θ 固定 + 难度 corr 0.6121 + risk 不增 EXACT + 真 optimizer 对齐) §10.5 + §4.8 ✅
M5 M5.1 变体 worktree 机制(每变体一 git worktree + 元数据) Variant(数据模型+工厂覆盖描述,worktree 语义;真 git worktree=M5.*)+ InMemoryVariantRegistry §11.5 ✅
M5.2 §11.4 安全不变式门(7 条:单测/tsc/sk- 扫/真模型 launch/沙箱门/砖板率=0/risk 不增) InvariantReport+InvariantChecker(可注入:eval fake / 真 CI=M5.*)+ VariantManagerImpl.runInvariants+allInvariantsPassed §11.4 ✅
M5.3 A/B 影子集提升 + 自动回滚 ABTestRunner(注入)+ tryPromote(promotionDecision:不变式全过+A/B 胜出→promoted;不变式失败→rolled-back)+ rollback §11.3 ✅
M5.4 自改白名单(禁改 safety-gate/sandbox/flash/glm-provider 命门) classifyScaffold/canSelfModify/classifyProposalVariant(forbidden 命门→propose throw §11.3) §11.3 ✅
M5.5 评估:有变体被提升 + 不变式全过 + 回滚被触发过 tests/eval/variant-eval.test.ts(ΔJ=0.15 + forbidden 5拒/0受 EXACT + §11.4 门捕有害 2 + 回滚触发 1 + 真 manager 对齐) §11.6 ✅

19.4 跨层共享项 —— 全部完成(2026-08-17)

编号 工作项 落点 状态
X.1 时序三档接线(task-time/post-task/stage-wise 挂已有钩子) before_agent_start/session_before_compact(5 bank 全挂)+ tool_result/message_end(feedback-bank 新挂);stage-wise θ 更新=M5.* ✅(4/5 钩子全接;stage-wise=L5.* 真权重更新待)
X.2 评估框架(held-out 板+任务集 + ΔJ 计算 + F1–F6 失败模式检测) tests/eval/{experience-bank,skill-registry,tool-growth,orchestration,variant}-eval.test.ts(M1-M5 全落,seeded 受控队列 + Wilson CI + 真 manager 对齐) ✅(M1-M5 落地,复用扩展完毕)
X.3 可信度分级 v_t 全链路贯通(反馈采集→蒸馏→入库→检索→注入→约束) core/feedback-collector.ts(FeedbackCollector+derive* 纯变换)+ extensions/feedback-bank.ts(tool_result→采集→message_end→finalize→session_before_compact 喂 derive*)+ 4 bank 默认 derive 读共享 collector lastFinalized 生产自驱*(experience/skill/orchestration/variant)+ tests/eval/feedback-chain-eval.test.ts(v_t 全链路 end-to-end 实证) ✅(全链路贯通,§4.6 分级 8/8=100% + 5 链 end-to-end + 生产自驱)
X.4 进化可观测面板(命中率/infoGain/技能表规模/risk/砖板率 指标) core/evolution-metrics.ts(aggregateMetrics/renderMetrics 纯函数)+ bin/evolution-metrics.ts CLI + tests/eval/evolution-metrics-eval.test.ts(精确指标,brickRate=0 EXACT) ✅(面板落地,精确指标全过)

X.1+X.3+X.4 实测(2026-08-17,独立复跑一致):

评估 指标 实测 阈值 判定
X.1+X.3 全链路(feedback-chain-eval) §4.6 分级正确率(8 转向原型) 8/8 (100%) 100% ✅ PASS
X.1+X.3 同签名检索命中刚蒸馏条目 100% 100% ✅ PASS
X.1+X.3 注入块 <experience_pack> 可见 100% 100% ✅ PASS
X.1+X.3 5 链 end-to-end(skill/workflow/variant/tool-growth) 全过 全过 ✅ PASS
X.1+X.3 forbidden §11.3/§4.8 拒绝(命门/flash 工具) 拒绝 拒绝 ✅ PASS
X.4(evolution-metrics-eval) experienceHitRate 精确 0.600 精确 ✅ PASS
X.4 avgInfoGain 精确 0.650 精确 ✅ PASS
X.4 maxRisk 精确 1 精确 ✅ PASS
X.4 brickRate(构造恒 0) 0 ===0 EXACT ✅ PASS
X.4 forbiddenRejected/counts 精确 7/全精确 精确 ✅ PASS

结论:X.1(4/5 时序钩子全接,stage-wise=L5.*)+ X.3(v_t 全链路贯通:tool_result 采集→derive* 蒸馏→5 层入库→检索→注入→约束,§4.6 分级 100% + 5 链 end-to-end + 4 bank 生产自驱读共享 collector)+ X.4(可观测面板精确指标,brickRate=0 构造铁律)全部完成。诚实边界:live-LLM 读注入包真受益的端到端门(glm-5.2 经 pi 真调)+ stage-wise 真 θ 更新 + 真 git worktree 变体 + 真 CI §11.4 执行 = M1-M5.* 工程项(机制层已全闭环 + 量化坐实)。

19.5 不做项(约束/护栏,不参与进化,作不变式)

项 状态 说明
safety-gate 破坏性命令拦截 ✅(P0 已有) 约束 L3 工具生长 + L5 自改,本身不进化
sandbox-policy board_exec fail-closed ✅(P0 已有) 定义 G_safe,约束 L4/L5 搜索空间
flash 三段式烧录 ✅(P0 已有) 不可逆操作永不自创/不自改
glm-provider 命门一/二 ✅(P0 已有) thinking 黑洞 + hex 强转砖板,防错底座(进化前置)
事件溯源 pba-session append 唯一提交点 ✅(P0 已有) M 的写入口,L1 复用
context-injector 注入通道 ✅(P0 已有) c_t 注入通道,L1/L2 复用
capabilities Registry 模式 ✅(P0 已有) 技能/工具生长的注册表底座

19.6 当前总体状态(快照)

  • 设计:✅ 完成(本文档,含原理/数学/架构/路线/失败模式/安全)。
  • M1 实现:✅ 完成(L1 经验库闭环)——§7.8 量化坐实:ΔJ_full=0.34、held-out ΔJ=0.1545、CI STRONG。
  • M2 实现:✅ 完成(L2 技能表闭环)——SkillManager+SkillRegistry(μ+infoGain 守卫+双信号+supersede)+ skill-bank 扩展。§8.7 量化坐实:ΔJ_full=0.265、held-out ΔJ=0.2545、F1 负控技能数 400>12 但 J_E<J_A(infoGain 守卫防 plateau 实证)、supersede active 有界、CI STRONG;真 manager 与对照 5 指标全等。
  • M3 实现:✅ 完成(L3 工具生长闭环)——ToolGrowthManager(白名单+升级门+生命周期+brickRate 恒0)+ tool-bank 扩展。§9.6 量化坐实:步效率 0.24(砍 76% 步)、ΔJ=0.1367、砖板率=0 EXACT 构造铁律、forbidden 7 拒/0 受、CI STRONG。
  • M4 实现:✅ 完成(L4 编排进化闭环)——WorkflowOptimizer(难度估+G 搜索+符号反向传播+先验校正)+ orchestration-bank 扩展。§10.6 量化坐实:ΔJ_G=0.2975(θ 固定归因 G)、held-out 0.3182、难度 corr 0.6121、risk 不增 EXACT 构造铁律(1≤1)、risk-increase 负控 242 拒、CI STRONG;真 optimizer 与对照对齐。
  • M5 实现:✅ 完成(L5 脚手架自改闭环,终局最强约束)——VariantManager(变体+§11.4 不变式门+A/B+回滚+白名单)+ variant-bank 扩展。§11.7 量化坐实:ΔJ_selfmod=0.15、forbidden 命门永不自改 EXACT(5 拒/0 受,§11.3)、§11.4 门捕有害变体 2、回滚触发 1(§11.6 可逆性实证)、全 promoted allPassed、CI STRONG;真 manager 与对照对齐。
  • M1-M5.* 跟进(非阻塞):live-LLM/板端到端门(glm-5.2 读 experiencePack/skillPack/grown_tools/orchestration_plan/active_variants 真受益)+ derive* 真接线(接 env-probe + LLM 摘要钩子)+ sqlite 跨 session 持久化 + vm 沙箱 execute 变体工厂 + 真 CI §11.4 不变式执行(真 tsc/单测/launch/砖板率)。
  • 前置底座:✅ 齐全——事件溯源、注入通道、能力 Registry、fail-closed 安全门、时序钩子均就位。
  • 集成:全量 62 文件 3018 passed / 5 skipped / tsc 0 / sk- 0 / 真 pi T01 boot 过(barrel 28 扩展含 L1-L5 自进化层 + 跨层反馈采集 feedback-bank 装配不破坏启动)。
  • 跨层(X.1+X.3+X.4)实现:✅ 完成——FeedbackCollector+derive*(core/feedback-collector.ts)+ feedback-bank(hooks tool_result/message_end→采集→finalize→喂 derive*)+ 4 bank 默认 derive* 读共享 collector lastFinalized 生产自驱(experience/skill/orchestration/variant)+ evolution-metrics 面板(core/evolution-metrics.ts+bin/evolution-metrics.ts CLI)。§19.4 量化坐实:§4.6 分级 8/8=100% + 5 链 end-to-end + 精确指标(brickRate=0 EXACT)。
  • 下一步:M1-M5.* live-LLM 门坐实真模型受益(glm-5.2 真读注入包+真受益);或推进 M5.* 真 git worktree + 真 CI 不变式执行把脚手架自改从"数据模型"升级到"真代码注入"。

19.7 更新日志

日期 进展 涉及工作项
2026-08-17 自进化设计文档完成(原理 5 因果链 + 改进定理 5 条件 + 6 失败模式 + 数学表达 + 5 层架构 + M1–M5 路线) 设计 ✅
2026-08-17 五层实施状态确认为 0%(grep 实证无闭合闭环) M1–M5 ⏳
2026-08-17 M1.1 类型定义 + ExperienceStore 契约骨架落地 M1.1 ✅
2026-08-17 M1.2/1.5/1.6 ExperienceStore 实现落地(append 幂等+§4.6 / query 升权 / evict 时间+β降权 / BoardMemory 聚合),28 单测过 M1.2/1.5/1.6 ✅
2026-08-17 M1.3/1.4 experience-bank 扩展落地(检索注入+TTL 缓存/蒸馏+不对称/experience_recall),30 单测过;barrel 第 23 工厂登记 M1.3/1.4 ✅
2026-08-17 M1.7 量化评估落地。实测:ΔJ_full=0.34≥0.15、held-out ΔJ=0.1545≥0.05、因果增益=0.3534≥0.20、distill-off=0<0.05、F4 负控=0≤0.02、CI STRONG、真 store 5 指标全等。12 测过 M1.7 ✅
2026-08-17 M1 集成验证:全量 42 文件 2522 passed / tsc 0 / sk- 0 / 真 pi T01 boot 过。M1 机制闭环 100% M1 ✅
2026-08-17 M2 类型+契约骨架(shared/types.ts M2 类型 + core/skill-manager.ts 稳定 interface + extractSkill/infoGainGate/mergeSkills/scoreSkill 纯函数) M2.1 ✅
2026-08-17 M2.1-M2.5 SkillManager+SkillRegistry 实现落地(InMemorySkillRegistry 仿 FlashRegistry + SkillManagerImpl μ:extract/register(infoGain 守卫+merge 累积质量+hitCount)/resolve升权/supersede链/merge/evict),36 单测过 M2.1-2.5 ✅
2026-08-17 M2.6 skill-bank 扩展(检索注入 <skill_pack>+μ 蒸馏钩子+skill_recall 工具,仿 experience-bank)+ 量化评估落地。实测:ΔJ_full=0.265≥0.15、held-out ΔJ=0.2545≥0.05、因果增益=0.3482≥0.20、distill-off=0<0.05、F1 负控技能数 400>12 但 J_E=0.685<J_A=0.875(infoGain 守卫防 plateau 实证)、supersede active 有界(6≤8)、CI STRONG、真 manager 与对照 5 指标全等。41+12 测过;barrel 第 24 工厂登记 M2.6 ✅
2026-08-17 M3 类型+契约(shared/types.ts M3 类型 + core/tool-growth.ts 稳定 interface + classifyProposal/promotionGate/canTransition 纯函数 + brickRate 恒0 构造不变式) M3.1 ✅
2026-08-17 M3.1-M3.5 ToolGrowthManager+tool-bank 实现+评估落地(propose 白名单 forbidden 拒绝/tryPromote 升级门 K+repeatable/canTransition 生命周期 draft→verified→promoted→retired/brickRate=0 构造铁律 + tool_propose/tool_record/tool_promote/tool_list_grown/tool_retire 工具)。实测:步效率 0.24<0.70(砍 76% 步)、ΔJ=0.1367≥0.05、砖板率=0 EXACT 构造铁律、forbidden 7 拒/0 受(§4.8 risk 不增)、升级门低 usage promote=0、CI STRONG。96+14 测过;barrel 第 25 工厂登记 M3.1-3.5 ✅
2026-08-17 M2+M3 集成验证:全量 49 文件 2697 passed / 5 skipped / tsc 0 / sk- 0 / 真 pi T01 boot 过(barrel 25 扩展含 L1-L3 自进化层)。M2+M3 机制闭环 100%,M1-M3.* live-LLM 门待跟进 M2+M3 ✅
2026-08-17 M4 类型+契约(shared/types.ts M4 类型 + core/workflow-optimizer.ts 稳定 interface + estimateDifficulty/riskOfWorkflow/workflowSimilarity/backpropGradient/correctDifficultyPrior/applyGradient 纯函数) M4.1 ✅
2026-08-17 M4.1-M4.4 WorkflowOptimizer 实现(InMemoryWorkflowRegistry 按 taskClass 分桶 + WorkflowOptimizerImpl:estimateDifficulty/selectWorkflow 升权/evolveWorkflow 符号反向传播+risk 不增守卫/registerWorkflow supersede/correctPrior 滑动窗),47 单测过 M4.1-4.4 ✅
2026-08-17 M4.5 orchestration-bank 扩展(难度估+workflow 注入 <orchestration_plan>+先验校正+orchestration_recall 工具)+ 量化评估落地。实测:ΔJ_G=0.2975≥0.10(θ 固定归因 G)、held-out 0.3182≥0.03、同类不同 workflow(max 2/class)、难度 corr 0.6121>0、distill-off=0<0.05、risk 不增 EXACT(1≤1)、risk-increase 负控 242 拒、CI STRONG、真 optimizer 与对照对齐。29+11 测过;barrel 第 26 工厂登记 M4.5 ✅
2026-08-17 M5 类型+契约(shared/types.ts M5 类型 + core/variant-manager.ts 稳定 interface + classifyScaffold/canSelfModify/allInvariantsPassed/classifyProposalVariant/promotionDecision 纯函数 + 可注入 InvariantChecker) M5.1 ✅
2026-08-17 M5.1-M5.3 VariantManager 实现(InMemoryVariantRegistry + VariantManagerImpl:propose 白名单 forbidden 命门 throw §11.3/runInvariants 注入 checker/abTest 注入 runner/tryPromote 不变式全过+A/B 胜出→promoted,不变式失败→rolled-back/rollback 可逆/resolve 只返 promoted),42 单测过 M5.1-5.3 ✅
2026-08-17 M5.4-M5.5 variant-bank 扩展(variant_propose/variant_list/variant_promote/variant_rollback 工具 + 注入 <active_variants>)+ 量化评估落地。实测:ΔJ_selfmod=0.15≥0.05、forbidden 命门 5 拒/0 受 EXACT(§11.3)、§11.4 门捕有害变体 2、回滚触发 1(§11.6 可逆性实证)、promoted 有益 3、全 promoted allPassed、CI STRONG、真 manager 与对照对齐。32+17 测过;barrel 第 27 工厂登记 M5.4-5.5 ✅
2026-08-17 M4+M5 集成验证:全量 57 文件 2875 passed / 5 skipped / tsc 0 / sk- 0 / 真 pi T01 boot 过(barrel 27 扩展含 L1-L5 全栈自进化层)。M1-M5 五层机制闭环全部 100% 完成,pba 从"静态装配 agent"→"L1-L5 全栈自进化 agent"。M1-M5.* live-LLM 门 + 真 git worktree + 真 CI 不变式执行待跟进 M4+M5 ✅
2026-08-17 X 类型+契约(shared/types.ts TaskFeedback/ToolOutcome/EvolutionMetrics/MetricsSources + core/feedback-collector.ts 稳定 interface+derive* 纯变换 + core/evolution-metrics.ts aggregateMetrics/renderMetrics 纯函数) X.1/X.3/X.4 ✅
2026-08-17 X.1+X.3 FeedbackCollector+derive* 实现(FeedbackCollectorImpl recordPrompt/recordBoardFingerprint/recordToolResult/finalize/lastFinalized/pending/clear + deriveTaskSignature/deriveDistillInput/deriveSkillExtractInput/deriveSkillQuery/derivePriorCorrection/deriveProposals + inferOutcome/inferActionClass/inferValidatedBy/isIrreversibleTool),58 单测过;加 lastFinalized + getSharedCollector/initSharedCollector 共享单例 X.1+X.3 core ✅
2026-08-17 X.1+X.3 feedback-bank 扩展(hooks tool_result+message_end+before_agent_start→采集→finalize→session_before_compact 喂 derive* + feedback_recall 工具)+ 全链路集成评估。实测:§4.6 分级 8/8=100%(success+ground-truth/可逆/不可逆/partial/empty/mixed 全过)、同签名检索命中 100%、注入块可见 100%、5 链 end-to-end(skill/workflow/variant/tool-growth)、forbidden §11.3/§4.8 拒绝。26+18 测过;barrel 第 28 工厂登记。4 bank 默认 derive* 读共享 collector 生产自驱(experience/skill/orchestration/variant) X.1+X.3 ✅
2026-08-17 X.4 evolution-metrics 可观测面板(aggregateMetrics/renderMetrics 纯函数 + bin/evolution-metrics.ts CLI)+ 量化评估。实测:精确指标全过(experienceHitRate=0.600/avgInfoGain=0.650/maxRisk=1/brickRate=0 EXACT 构造铁律/forbiddenRejected=7)。20+21 测过;CLI 可跑 X.4 ✅
2026-08-17 X 集成验证:全量 62 文件 3018 passed / 5 skipped / tsc 0 / sk- 0 / 真 pi T01 boot 过(barrel 28 扩展含 L1-L5 + 跨层反馈采集)。X.1+X.3+X.4 全部完成,跨层闭环(时序接线+v_t 全链路+可观测面板)合龙,M1-M5+X 机制层全栈自进化闭环 100%。M1-M5.* live-LLM 门 + stage-wise 真 θ + 真 git worktree + 真 CI §11.4 执行待跟进 X ✅

更新规则:每完成一个工作项,在 §19.2/§19.3 对应行改状态(⏳→🔄→✅)+ 在 §19.7 加一行日志(日期+进展+工作项编号)。里程碑完成时更新 §19.1 总览完成度。遇阻塞改 ⚠️ 并在备注写阻塞根因。