d-robotics 177fdb38ab feat: Terminal-Universe 轨迹→环境逆向重建四组对照实验完整交付
- 四组对照矩阵: A 纯回放/B 回放+补全/C 无轨迹控制/D 真实环境校准
- 核心结果: 回放一致率 100%(129/129); 充分性 A/B/C=0/10, D=7/10;
  记忆复现率 B 15.7% vs C 1.1%(15 倍差, 版本锚点机制);
  联网采集污染取证 7/10(4 题逐字复制公开修复)
- 完整工具链: 回放器/一致率校验/充分性分类/记忆审计/保持校验/矩阵聚合
- 双语料: v1 联网(污染取证组) + v2 网络隔离(主语料, 8/10)
- 文档链: 正式实验报告 + 执行版总报告 + 执行台账 + 论文研究/规划

Co-Authored-By: Claude <noreply@anthropic.com>
2026-09-16 15:16:13 +08:00

Terminal-Universe:基于智能体执行轨迹的软件工程环境逆向重建

本仓库复现并检验 Terminal-Universe(arXiv 2609.04148v1)提出的环境重建方法:从智能体完成任务的执行轨迹中,逆向重建出功能等价的任务环境。核心实验为四组对照设计(纯回放 / 回放+补全 / 无轨迹控制 / 真实环境校准),在 SWE-Bench Verified 的 10 个任务上完整执行。

1. 一句话结论

  • 回放保真度 100%,但轨迹仅覆盖仓库文件的 0.02%~6.19%(中位数 1.2%)——轨迹是环境的有损投影这一前提成立;
  • 补全充分性 0/10:瓶颈为单会话智能体的文件产出速率(40 分钟 ≤125 文件 vs 仓库 251~6,073 文件),非方法学缺陷;
  • 轨迹的边际价值以"版本锚点"机制实现:轨迹零覆盖文件上的记忆复现率,有轨迹组 15.7% vs 无轨迹组 1.1%(约 15 倍差)——轨迹提供的不是内容,是激活模型版本级记忆的检索锚点;
  • 轨迹采集必须网络隔离:联网条件下 7/10 任务出现检索公开修复补丁的行为,其中 4 题新增代码逐字来自网络。

2. 仓库结构

├── 实验报告_基于智能体执行轨迹的软件工程环境逆向重建_2026-09-16.md   # 正式实验报告(主入口)
├── 四臂实验总报告_2026-09-16.md                                     # 执行版总结报告
├── EXEC_LOG.md                                                      # 执行台账(全部事故/根因/修复)
├── Terminal-Universe_轨迹逆向环境_论文全面研究报告_2026-09-14.md     # 论文精读研究
├── Terminal-Universe_论文复现详细规划_2026-09-14.md                  # B 档/C 档复现规划
├── 基于10条Rollout复现Terminal-Universe_可行性与验证规划报告_...md   # 10 题落地规划(预注册指标)
├── 2609.04148v1.pdf                                                 # 原论文
│
├── replayer.py                    # 确定性回放器(纯代码,零模型调用)
├── verify_a_arm.py                # 窗口一致率校验器(vs 真值 SHA-256 逐字节)
├── gen_inventory.py               # 补全输入清单生成器
├── analyze_sufficiency.py         # 充分性分类器(绝对判据 + 漂移校正相对判据)
├── check_preservation.py          # 观测保持校验(B 组回放契约)
├── audit_memory.py                # 记忆复现率审计(观测/未观测分桶)
├── aggregate_four_arm.py          # 四组矩阵聚合器
│
├── four_arm_matrix.json           # 四组判定矩阵(终值 {A:0, B:0, C:0, D:7})
├── sufficiency_{A,B,C,D}.json     # 各组逐任务判定
├── memory_audit_{B,C}.json        # 记忆复现审计原始数据
├── preservation_{B,C}.json        # 观测保持原始数据
├── A_arm_report{,_v2}.json        # 回放一致率报告
│
├── E0/                            # v1(联网语料)回放产物 — 污染取证组
├── E0_v2/                         # v2(网络隔离语料)回放产物 — 主实验
├── E0_truth/                      # 真值文件库(评测镜像内基线检出)
├── Rollout_Data/                  # v1 轨迹语料(每题:归一化事件流 + 会话数据库 + 元数据)
└── Rollout_Data_v2/               # v2 轨迹语料(主语料,8/10 求解通过)

3. 实验设计速览

组 环境来源 回答的问题
A 纯回放 轨迹观测的确定性拼接(E⁰) 回放产物本身能否作为任务环境
B 回放+补全 E⁰ + 智能体补全(Ê),论文完整方法 补全能拉到什么水平
C 无轨迹 仅项目名 + 任务描述,自由重建 轨迹的边际价值(与 B 对照)
D 真实环境 基线提交原样检出 判分器校准(天花板 7/10)

充分性判据:F2P 全部失败(未越线实现任务)且 P2P 全部通过(环境功能正常)。判分采用 SWE-Bench 官方 harness 5.0.2(纯规则,无 LLM 参与)。

智能体栈:opencode 1.18.14 + glm-5.3;采集与补全使用同一模型;B/C 两组除轨迹输入外配置完全一致。

4. 复现入口

# 1. 回放(A 组)—— 从轨迹生成 E⁰,并与真值校验
python3 replayer.py Rollout_Data_v2 E0_v2 E0_truth
python3 verify_a_arm.py

# 2. 判定分析(读服务器判分 run 的 report.json)
python3 analyze_sufficiency.py A   # 或 B / C / D

# 3. B 组契约与记忆审计
python3 check_preservation.py B
python3 audit_memory.py B

# 4. 汇总四组矩阵
python3 aggregate_four_arm.py

服务器侧设施(评测镜像、网络隔离栈、补全执行框架、预清洗镜像族)不在本仓库内,部署方式见 EXEC_LOG.md 与正式报告附录 B。

5. 关键结果数据

指标 数值 数据文件
回放窗口一致率 129/129 = 100%(三套语料) A_arm_report*.json
观测覆盖率(v2) 54 文件 / 4,856 行 / 62 窗口 E0_v2/summary.json
充分性 A/B/C = 0/10,D = 7/10 four_arm_matrix.json
记忆复现率(未观测桶) B 14/89=15.7%,C 2/179=1.1% memory_audit_{B,C}.json
观测保持率 B 组 58/62 = 93.5% preservation_B.json
教师求解通过率 联网 9/10,网络隔离 8/10 Rollout_Data_v2/*/metadata.json

6. 引用与致谢

  • 原方法:Terminal-Universe(arXiv 2609.04148v1),本仓库为其方法在 SWE-Bench Verified 10 任务上的受控复现与扩展(增设无轨迹控制组、记忆复现分桶审计、网络隔离采集协议)。
  • 评测基座:SWE-Bench Verified(swebench harness 5.0.2)。
  • 模型与执行框架:glm-5.3、opencode 1.18.14。
Description
No description provided
Readme 14 MiB
Languages
Python 100%