evowiki — 自进化知识库
把 mem0 的在线增量治理、MyContext
kl-graph的去重账本/允许冲突/周期巩固、 d-wiki 的 BM25 检索与评测闭环,缝合成一个可独立运行的自进化知识库。与「只会越攒越多」的自增长不同,evowiki 的知识会随使用自我增长、自我修正、 自我重组、并有选择地遗忘——这才是自进化。
设计文档(方案来源):../../检索/d-wiki/docs/self-evolution-mem0-mycontext.md
为什么不是简单再抄一遍 mem0
mem0 和 MyContext 的 kl-graph 是「同一件事的两种实现」(LLM 抽取 → 向量+图 → 去重)。 两个都全量缝进来会冗余、变成两个真相源。evowiki 给四者分配不重叠的角色:
| 角色 | 来自 | 在 evowiki 里 |
|---|---|---|
| 在线增量蒸馏 + 治理决策 | mem0 | distill.py(mem0 为可选蒸馏器)+ govern.py |
| 去重账本 / 血缘 / 允许冲突 / 周期巩固 | kl-graph | ingest.py + consolidate.py + govern.py |
| BM25 检索 + 评测闭环 + 人可读 wiki | d-wiki | retrieve.py + evaluate.py + export.py |
| 知识生命周期(分层记忆 + 时间衰减 + 提升) | d-wiki-v2 | lifecycle.py + govern.decay_and_archive |
| 类型化实体图 + 多跳混合检索(SAG 图 + RRF 融合) | d-wiki-v2 | graph.py + retrieve.py 的双流 RRF |
第四、五行是按「四方自进化对比」从 d-wiki-v2 移植的:mem0 不遗忘、MemoryLake 靠 人工裁决冲突、d-wiki-v2 有完整知识生命周期和图检索但反馈没闭环。evowiki 把这俩 移植进来,并接进自己已有的适应度反馈闭环——两者互补。
自进化闭环(四层 + 双写 + 反馈)
┌─────────────── 反馈闭环(选择)───────────────┐
│ holdout 召回率 → 全网格选 检索/治理/结构 三基因 │
▼ │
新QA ─► [感知 ingest] 去重账本(source_id+unit_id+content_hash) │
│ │
▼ │
[在线蒸馏 distill] ─► [治理 govern] │
│ ADD / UPDATE / DELETE / CONFLICT / NONE │
▼ │
L0 原始证据(不可变) │
L1 治理事实(SQLite, 可增改删, 带置信度+层级+审计) ─► retrieve ─► evaluate ┘
L2 类型化实体图(uses/fixes/depends_on + 冲突) ─► 多跳图流 ──┘ (RRF 融合)
▲ │
[离线巩固 consolidate] 实体消歧/冲突复检/生命周期提升/衰减遗忘/dreams
四个让它成为「进化」而非「堆积」的关键(对原版 d-wiki mem0 桥的修正):
- 治理闭环:
govern.py真正落实 UPDATE / DELETE / CONFLICT(原版是 append-only, 只增不改不删)。矛盾事实显式标记、不静默合并(kl-graph「允许冲突」,留到查询时裁决)。 - 反馈闭环:
evaluate.py用留出集召回率当「适应度」,对三个基因做全网格选择 (变异=新蒸馏,选择=评测,遗传=保留高分知识)。检索/治理/结构三支柱都被反哺(见下)。 - 选择压力:
govern.decay_and_archive用 Ebbinghaus 指数衰减让老知识按层级 半衰期衰减、经 stale 最终被归档遗忘(见「知识生命周期」)。 - 知识生命周期(移植自 d-wiki-v2):事实有生灭——出生进
working层,被再确认则reinforce刷新衰减曲线,证据累积则提升到更长半衰期的层,长期无人再确认则衰减遗忘。 - 结构即知识(移植自 d-wiki-v2 SAG 图):从事实文本零 LLM 推出类型化实体边, 检索时做多跳图扩展与 BM25 做 RRF 融合,能捞回纯关键词漏掉的相关知识(见下)。
知识生命周期(v0.2,移植自 d-wiki-v2 并修正)
每条事实不只是静态一行,而是有记忆层级、会衰减、会被提升、会被遗忘:
reinforce(再确认) promote(证据累积)
working ──────────────► episodic ──────────────────► semantic ──► procedural
14天 30天 confirm≥2+conf≥0.5 180天 +同类兄弟≥3 365天
│ │ │ │
└──── Ebbinghaus 衰减: eff = base·e^(−Δt/τ), τ=半衰期 ────┘
└──── eff<stale_below → stale(隐藏,可恢复) ─► eff<archive_below → archived(遗忘)
- Ebbinghaus 衰减在读时计算:
confidence列存峰值(只增/更新时改写), 有效置信度 = 峰值 × e^(−Δt/半衰期)。这修正了 d-wiki-v2 的一个隐患——它把衰减值 写回又沿用旧 last_confirmed,导致时间被重复计。evowiki 不落盘衰减值,无双计。 - 进化时钟用数据真实时间戳(源 QA 的
created),不是 wall-clock——否则一次跑完 多代时 Δt≈0、衰减失效。所以 2020 年没被再确认的老事实会真衰减到归档,反复出现的 热门主题持续刷新存活。 - 属性即标签(对应 d-wiki-v2 的 ARCH/TRANSIENT tags):
spec/command是稳定产品 知识→半衰期≥365天;error_fix是版本相关的 bug→衰减更快。 - 提升是「抗遗忘」的奖励:层级越高半衰期越长。
working→episodic无条件(巩固),→semantic需 confirm≥2 且 conf≥0.5,→procedural需 how-to 属性 + 同实体 ≥3 个 已结晶的兄弟程序性事实。 - 检索偏好更高层级(
procedural×1.3 > semantic×1.15 > episodic×1.0 > working×0.9), 所以被提升的知识真的排得更靠前——提升有了回报。
反馈闭环:检索/治理/结构 三基因全网格选择
v0.1 的反馈只调 entity_boost(检索基因)。现在扩成三基因,覆盖自进化的三大支柱:
| 基因 | 支柱 | 含义 |
|---|---|---|
entity_boost |
检索 | 查询点名实体时给多少加权 |
retention_floor |
治理/遗忘 | 一个事实要被服务所需的最低有效置信度;越高=越激进地遗忘弱知识 |
graph_weight |
结构 | 1.0 保留类型化图多跳流,0.0 消融它——把「图有没有用」本身变成一个可选择的基因 |
fitness_sweep 在留出集上对三基因做全网格选择、逐组合记 fitness。系统由此同时学会
「该怎么排」「该遗忘多少」「该不该用图结构」。
为什么用全网格而非坐标下降:早先的坐标下降把图基因条件化在前面选好的
boost=10上, 实体加权过强时图流被稀释、叠加小样本噪声,误把图关了。干净消融(固定 boost/floor、 全 120 题留出)证明图其实稳定 +3~4pp;全网格直接找 argmax,不受顺序与条件化影响。
图检索:零 LLM 类型化实体图 + 双流 RRF 融合
移植 d-wiki-v2 的 SAG 图思想,但不依赖 embedding/LLM,从每条事实自己的文本推边:
事实"RDK X5 通过 Tros 部署模型" ──主体=RDK X5, 属性=command──► 边: RDK X5 -uses-> Tros
(evidence=该事实本身)
- 建边(
graph.py):subject = 事实的规范化实体;文本里提到的其它规范实体成为邻居; 关系由属性推断(command→uses、error_fix→fixes、spec→depends_on)。只给spec/command/error_fix建边——summary/mem0会产出枢纽噪声。事实即边的证据。 - 检索(
retrieve.py):两条独立流各自排序,再 RRF 融合score=Σ1/(60+rank)——- 词法流:BM25 + 点名实体加权;
- 图流:从 top-BM25 事实的实体出发沿类型化边做多跳扩展,按边支持度排序,只带出
每条走过边的证据事实(d-wiki-v2 的「答案侧反查」,避免把到达实体的所有事实都拉进来)。
RRF 取代了手调加性权重,图能捞回 BM25 漏掉的、BM25 也能压制图噪声。消融实测
recall@5 +3~4pp(见下表),且
graph_weight是反馈循环可选择的基因。
目录
evowiki/
evowiki/
tokenize.py 中文分词(ascii词+CJK二元)+ 重合度(带缓存)
config.py 路径 / 可调参数 / 生命周期阈值 / 可选 mem0 & embedding 端点
store.py SQLite:units(去重账本) facts(带层级/确认数/半衰期) history edges fitness
lifecycle.py 知识生命周期:4层 + Ebbinghaus衰减 + reinforce/提升/遗忘(纯逻辑)
graph.py 零LLM类型化实体图(uses/fixes/depends_on) + 多跳图流(RRF融合的图侧)
ingest.py kl-graph式去重账本 + 变更检测 + 血缘
distill.py 蒸馏器抽象 + Heuristic(零LLM,开箱即跑) + Mem0(可选)
govern.py 治理:ADD/UPDATE/DELETE/CONFLICT/NONE + reinforce + 审计 + Ebbinghaus衰减
consolidate.py 离线巩固:实体归一/冲突复检/社区/生命周期提升/dreams
retrieve.py 双流(BM25+实体加权 | 图多跳) RRF融合 + 有效置信度 + 层级权重,冲突显式带出
evaluate.py 留出集召回 + 三基因全网格适应度选择(检索/治理/结构)
export.py 渲染人可读、d-wiki可编译的 markdown 知识页(含层级/有效置信度)
evolve.py 编排:ingest→distill→govern→consolidate
cli.py 命令行
scripts/run_self_evolution.py 多代时间流自进化演示
tests/test_core.py
快速开始
核心零依赖(纯标准库),先跑测试:
cd evowiki
PYTHONPATH=. python3 tests/test_core.py
多代自进化演示(按时间把论坛 QA 流式喂入,逐代演化 + 评测 + 反馈调参):
PYTHONPATH=. python3 scripts/run_self_evolution.py --generations 4 --holdout 120 --clean
或用 CLI:
export PYTHONPATH=.
python3 -m evowiki.cli eval --build 800 --holdout 120 # 演化+评测+反馈
python3 -m evowiki.cli search "RDK X5 USB摄像头 帧率" # 检索治理后的事实
python3 -m evowiki.cli export # 渲染 wiki/ markdown
python3 -m evowiki.cli status # 存储统计
可选:用 mem0 做在线蒸馏(更高质量的事实抽取)
默认 heuristic 蒸馏器零 LLM、离线可跑。要换成 mem0 的 LLM 抽取:
pip install -e ".[mem0]" # 或 pip install mem0ai
# 端点从环境读取(自动加载 ../检索/d-wiki/.env 与 sag_wiki_pro/.env):
# MEM0_LLM_BASE_URL / MEM0_LLM_MODEL / MEM0_LLM_API_KEY (chat,非推理模型,temperature=0)
# EMBEDDING_BASE_URL / EMBEDDING_MODEL_NAME / EMBEDDING_API_KEY / EMBEDDING_DIMENSIONS (bge-m3)
python3 -m evowiki.cli eval --distiller mem0 --build 200 --holdout 100
注意:mem0 抽取请用非推理模型 + temperature=0(实测 qwen3.7-plus 稳定; glm-5.2 这类推理模型同一 QA 会返回 0/2/0 条不稳定结果)。
评测口径
留出集按 id 确定性切分(--seed)。一条留出 QA 的「金标」是它的主题桶
topic_key(category, tags),命中 = 前 k 条结果里出现该桶。报告 recall@1/3/5
与 n_scorable(金标桶在库里有事实的题数);coverage_gap 表示建库集没覆盖到的桶。
实测轨迹(4 代,heuristic 蒸馏器,1469 条建库 + 120 条留出,含图流 + 三基因全网格)
| 代 | 新增 | 更新 | 冲突 | 提升 | 归档 | recall@5 | scorable | 反馈选中 |
|---|---|---|---|---|---|---|---|---|
| 1 | 274 | 64 | 2 | episodic×265+sem×1 | 175 | 0.364 | 33 | boost=10, floor=0, graph=on |
| 2 | 325 | 45 | 8 | episodic×320 | 270 | 0.264 | 53 | boost=0, floor=0, graph=on |
| 3 | 365 | 50 | 6 | episodic×357+sem×4 | 258 | 0.226 | 53 | boost=6, floor=0, graph=off |
| 4 | 439 | 57 | 20 | episodic×426+sem×9 | 381 | 0.390 | 118 | boost=10, floor=0.2, graph=on |
注:recall@5 只在 scorable(金标桶已被建库覆盖的题)上算,而 scorable 随覆盖增长 33→118。前几代在极小样本上抖动大;第 4 代覆盖近全、0.390 才是稳态读数。中间代的回落 是「新覆盖进来的题更难」,不是退化。
能读出四条进化信号:
- 治理基因被选中:
retention_floor收敛到 0.2——系统自己学到「适度遗忘弱知识能提升精度」。 - 结构基因被证明有用:全网格在多数代保住
graph=on。干净消融(同一最终库、固定 boost/floor、全 120 题)测得图流对 recall@5 的净贡献:boost=6 时 +3~4pp (floor=0: 0.364 vs 0.322;floor=0.2: 0.356 vs 0.322),boost=0 时 +1~3pp。 - 抗遗忘靠提升:
spec/command等稳定属性与被再确认而提升的事实拿到长半衰期存活; 2020 年左右没被再确认的老事实(多为已过时型号/版本)真被衰减归档(6 年共约 1400 条)。 - 图确实捞回证据:最终库 6 个实体、41 条类型化边(depends_on×33 / uses×4 / fixes×4), 多跳流能把「部署 X5 要先装 Tros」这类靠共享实体链上的证据事实带进结果。
后续路线
- 知识生命周期:4 层记忆 + Ebbinghaus 衰减 + 阈值提升(v0.2,移植自 d-wiki-v2)
- 反馈闭环反哺治理:retention_floor 作为被适应度选择的治理基因(v0.2)
- 图检索 hybrid 融合:零 LLM 类型化实体图 + 多跳图流与 BM25 做 RRF 融合(移植自 d-wiki-v2 SAG 图),graph_weight 作为结构基因进反馈循环;消融实测 +3~4pp
- 反馈全网格选择:三基因(检索/治理/结构)全网格找 argmax,替代会陷局部最优的坐标下降
- mem0 的 ADD/UPDATE/DELETE 事件作为更强的 op hint 接入治理
- kl-graph 作为 FastAPI sidecar,与现有图流/BM25 做更厚的 hybrid 融合
- 图边类型更丰富:目前只 spec/command/error_fix 建边(uses/fixes/depends_on),可加入 component_of / version_of
- forge 式零 LLM 统计画像(主题/实体分布)纳入巩固
- procedural 层的程序性事实抽取更积极些(目前 confirm≥2 + 兄弟≥3 较少触发)
- 适应度信号从「检索召回」扩展到「答题正确率」(接 rdk_eval)
- License:MyContext/kl-graph 为 Elastic License 2.0,内部用 OK,对外托管需再核