forked from longtao.wu/droboticflow
📝 Audit drosync entry points, reliability, and performance
This commit is contained in:
parent
bf0a961a32
commit
a9d72cf74c
@ -1,8 +1,10 @@
|
||||
# drosync 功能入口唯一性
|
||||
|
||||
规则:一个用户功能只有一个操作入口。CLI 执行操作;Web 只看日报;daemon IPC 是 CLI 的内部执行通道,不作为第二套公开命令。报表查询共用一个只读服务,报表导出只有 CLI。不同平台的安装格式属于部署选择,不能同时安装两个 daemon 实例。
|
||||
目标规则:一个用户功能只有一个操作入口。本机分工为 CLI 执行操作、Web 只看日报;daemon IPC 是 CLI 的内部执行通道,不作为第二套公开命令。本机报表查询共用一个只读服务,导出由 CLI 执行。不同平台的安装格式属于部署选择,不能同时安装两个 daemon 实例。
|
||||
|
||||
## 唯一入口
|
||||
**2026-10-03 审计修正:本机客户端已基本收敛,全项目尚未符合严格单一入口。** 平台仍有日报独立页、对象存储日报弹窗及导出按钮,而且 Go 调用方与新 CLI 返回值不匹配;平台管理员停止会话与 CLI abort 也存在操作交集。完整功能、复现和性能证据见 [详细审计](drosync详细审计-2026-10-03.md)。以下表格限于本机客户端,不是全项目通过声明。
|
||||
|
||||
## 本机规范入口
|
||||
|
||||
| 功能 | 唯一入口 |
|
||||
|---|---|
|
||||
@ -27,31 +29,44 @@
|
||||
|
||||
完整参数以 [CLI reference](../docs/drosync/cli-reference.md) 为准。`--json` 是输出格式;`--bucket` 与 `--space` 是同一映射功能的互斥目标表示,不构成第二个操作入口。
|
||||
|
||||
## 退出支持的历史能力
|
||||
## 平台仍有的入口和旧调用方
|
||||
|
||||
| 功能 | 当前平台实现 | 审计结论 |
|
||||
|---|---|---|
|
||||
| 日报查看 | `/sync-report` 页面与对象存储“每日上传统计”弹窗 | 两处都使用 DailySyncReportModal,并与本机 web 重复。 |
|
||||
| 日报导出 | 平台 Excel/CSV 按钮调用 `/api/object-storage/sync-report` | 与 report 重复;Go 仍期待旧返回值和旧导出路径,当前查询会生成 XLSX,CSV 请求可能返回 JSON。 |
|
||||
| 停止会话 | 管理页 admin-abort 与 CLI abort | 同一 Session 可从两处中止。组织管理与本设备凭据的权限范围不同,但不能自动豁免严格单入口规则。 |
|
||||
| 状态/冲突查询 | 平台控制面列表与本机 SQLite 查询 | 数据源、时效和管理范围不同,需明确“云端跨设备管理”和“本机诊断”的用途。 |
|
||||
|
||||
平台旧日报 handler 还保留 binary 路径猜测及失败后 HTTP200“无数据”回退,未随本机清理退出。它访问 API 服务器目录,不能表示浏览器所在采集机的数据。该接口仍要求登录;不能将缺少细分角色/目录校验误报成匿名接口。
|
||||
|
||||
空间管理、能力探测、凭据签发、条件覆盖、云端对账、审计和版本发布属于独立管理功能,本机没有等价操作。后续收敛必须连同调用方、权限和历史能力退出说明一起修改;本次审计未删除这些能力。
|
||||
|
||||
## 本机已退出支持的历史能力
|
||||
|
||||
- CLI:`configure`、`plan`、`retry`、`conflicts`、`--non-interactive`、`--version`、`-h`、`help` 子命令、旧 `update --check/--pin/--pause/--rollback` 写法。
|
||||
- IPC:独立的 configure、plan、retry、conflicts、report 操作;只保留规范命令使用的执行接口。
|
||||
- Web:同步、暂停、恢复、中止、状态、映射、导出接口和按钮;`/index.html`、`/sync-report` 页面别名。
|
||||
- 本机 Web:同步、暂停、恢复、中止、状态、映射、导出接口和按钮;`/index.html`、`/sync-report` 页面别名。平台 React 的 `/sync-report` 仍存在,见上表。
|
||||
- 桌面:Rust GUI/tray 模块、对应依赖、打包开关、macOS App bundle。macOS 包只安装 CLI/daemon 和一个 LaunchAgent;旧双后台服务部署退出默认交付。
|
||||
- 报表:daemon 报表接口、CLI 失败后换实现的回退、CLI 终端统计表、同步后自动导出 Excel。现有数据和历史报表文件不删除。
|
||||
- 配置:配置文件自动保存服务端或注册默认映射;猜测多个数据库、socket、token 路径;旧 JSON/env 字段别名。初始化必须显式执行 auth 和 mapping add。
|
||||
- 安装:重复的 clean-install.sh 及安装器 clean/safe/full/reset 清理别名。便携包只提供 install-systemd-portable.sh 安装和对应卸载入口。安装程序不再自动导入旧 token 或生成默认云端配置。
|
||||
|
||||
旧入口直接报错或 HTTP 404,不保留兼容别名。已有映射和当前 schema 的 SQLite 数据继续使用;不是删除用户数据。
|
||||
上述本机旧入口直接报错或 HTTP 404,不保留兼容别名;平台遗留接口另见上表,不能据此推断已退出。已有映射和当前 schema 的 SQLite 数据继续使用;不是删除用户数据。
|
||||
|
||||
## 调用链与状态边界
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
C[CLI 唯一操作入口] --> I[daemon IPC]
|
||||
C[本机 CLI 操作入口] --> I[daemon IPC]
|
||||
I --> D[扫描、上传、云端提交]
|
||||
C --> E[report 唯一导出入口]
|
||||
W[Web 只读日报] --> R[共享统计查询]
|
||||
C --> E[本机 report 导出]
|
||||
W[本机 Web 只读日报] --> R[共享统计查询]
|
||||
E --> R
|
||||
R --> S[只读打开所选 SQLite 日志]
|
||||
```
|
||||
|
||||
Web/导出使用同一目标选择规则:显式 path 或 mapping;只有一个映射时可省略;多个映射时必须指定。没有映射时必须给 path。数据库读错误会显示失败,不伪装为“无数据”。
|
||||
本机 Web/导出使用同一目标选择规则:显式 path 或 mapping;只有一个映射时可省略;多个映射时必须指定。没有映射时必须给 path。本机数据库读错误会显示失败,不伪装为“无数据”;这不涵盖目录扫描吞错及平台 Go 的旧回退,相关问题见详细审计 F00/F08/F09。
|
||||
|
||||
`DROSYNC_DATA_DIR` 是显式的绝对路径命名空间选择。未指定时使用系统项目目录;CLI、daemon 必须属于同一账号/目录。Linux 服务只从明确的凭据文件取令牌,不再扫描其他用户目录。更新策略操作不等待上传锁;安装和回滚仍与数据传输串行。
|
||||
|
||||
@ -63,4 +78,4 @@ Web/导出使用同一目标选择规则:显式 path 或 mapping;只有一
|
||||
|
||||
规范安装器只停止所选服务并替换程序,不删除 SQLite WAL/SHM 或清空会话记录。
|
||||
|
||||
本次验证:Rust 工作区测试、格式检查、OpenAPI 契约生成检查通过;隔离状态目录的真实 CLI/daemon RPC 与 CSV/Excel 导出通过;只读 Web 桌面/手机浏览器交互通过,旧接口为 404,页面无脚本/控制台错误。打包验证仅覆盖源码清单、脚本语法、服务目标和安装参数拒绝,不是签名包安装验收。严格 Clippy 仍被既有报表/daemon 告警阻塞。
|
||||
本机入口整理时的验证:Rust 工作区测试、格式检查、OpenAPI 契约生成检查通过;隔离状态目录的真实 CLI/daemon RPC 与 CSV/Excel 导出通过;只读 Web 桌面/手机浏览器交互通过,本机旧接口为 404,所测场景无脚本/控制台错误。这些结果不覆盖平台日报调用链、恶意文件名或大规模性能。打包验证仅覆盖源码清单、脚本语法、服务目标和安装参数拒绝,不是签名包安装验收。严格 Clippy 仍被既有报表/daemon 告警阻塞;后续审计发现的缺陷及证据以详细审计为准。
|
||||
|
||||
625
doc/drosync审计数据-2026-10-03.json
Normal file
625
doc/drosync审计数据-2026-10-03.json
Normal file
@ -0,0 +1,625 @@
|
||||
{
|
||||
"auditDate": "2026-10-03",
|
||||
"timezone": "Asia/Shanghai",
|
||||
"sourceCommit": "bf0a961a323c74594279a46479da9be5002d4c99",
|
||||
"syntheticBenchmark": true,
|
||||
"mongo": {
|
||||
"version": "6.0.20",
|
||||
"host": "macOS arm64",
|
||||
"wiredTigerCacheGiB": 0.25,
|
||||
"totalSyntheticDocuments": 1111000,
|
||||
"summarySamples": [
|
||||
{
|
||||
"records": 1000,
|
||||
"wallMs": [
|
||||
7,
|
||||
2,
|
||||
1,
|
||||
1,
|
||||
1
|
||||
],
|
||||
"medianWallMs": 1,
|
||||
"keysExamined": 1000,
|
||||
"documentsExamined": 0,
|
||||
"cursorReturnedRows": 1000,
|
||||
"groupPayloadBytes": 261,
|
||||
"indexes": [
|
||||
"sessionId_status_action"
|
||||
],
|
||||
"stages": [
|
||||
"PROJECTION_COVERED",
|
||||
"IXSCAN"
|
||||
]
|
||||
},
|
||||
{
|
||||
"records": 10000,
|
||||
"wallMs": [
|
||||
9,
|
||||
9,
|
||||
9,
|
||||
9,
|
||||
9
|
||||
],
|
||||
"medianWallMs": 9,
|
||||
"keysExamined": 10000,
|
||||
"documentsExamined": 0,
|
||||
"cursorReturnedRows": 10000,
|
||||
"groupPayloadBytes": 267,
|
||||
"indexes": [
|
||||
"sessionId_status_action"
|
||||
],
|
||||
"stages": [
|
||||
"PROJECTION_COVERED",
|
||||
"IXSCAN"
|
||||
]
|
||||
},
|
||||
{
|
||||
"records": 100000,
|
||||
"wallMs": [
|
||||
84,
|
||||
79,
|
||||
78,
|
||||
81,
|
||||
79
|
||||
],
|
||||
"medianWallMs": 79,
|
||||
"keysExamined": 100000,
|
||||
"documentsExamined": 0,
|
||||
"cursorReturnedRows": 100000,
|
||||
"groupPayloadBytes": 273,
|
||||
"indexes": [
|
||||
"sessionId_status_action"
|
||||
],
|
||||
"stages": [
|
||||
"PROJECTION_COVERED",
|
||||
"IXSCAN"
|
||||
]
|
||||
},
|
||||
{
|
||||
"records": 1000000,
|
||||
"wallMs": [
|
||||
811,
|
||||
787,
|
||||
786,
|
||||
793,
|
||||
803
|
||||
],
|
||||
"medianWallMs": 793,
|
||||
"keysExamined": 1000000,
|
||||
"documentsExamined": 0,
|
||||
"cursorReturnedRows": 1000000,
|
||||
"groupPayloadBytes": 279,
|
||||
"indexes": [
|
||||
"sessionId_status_action"
|
||||
],
|
||||
"stages": [
|
||||
"PROJECTION_COVERED",
|
||||
"IXSCAN"
|
||||
]
|
||||
}
|
||||
],
|
||||
"paginationIndexComparison": [
|
||||
{
|
||||
"phase": "current-index-warm",
|
||||
"n": 1000,
|
||||
"wallMs": [
|
||||
611,
|
||||
8,
|
||||
9,
|
||||
8,
|
||||
8
|
||||
],
|
||||
"keys": 1000,
|
||||
"docs": 1000,
|
||||
"serverMs": 26,
|
||||
"index": [
|
||||
"sessionId_status_id"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "current-index-warm",
|
||||
"n": 10000,
|
||||
"wallMs": [
|
||||
14,
|
||||
12,
|
||||
12,
|
||||
11,
|
||||
11
|
||||
],
|
||||
"keys": 10000,
|
||||
"docs": 1001,
|
||||
"serverMs": 206,
|
||||
"index": [
|
||||
"sessionId_status_id"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "current-index-warm",
|
||||
"n": 100000,
|
||||
"wallMs": [
|
||||
231,
|
||||
213,
|
||||
216,
|
||||
234,
|
||||
186
|
||||
],
|
||||
"keys": 11114,
|
||||
"docs": 11114,
|
||||
"serverMs": 190,
|
||||
"index": [
|
||||
"id_unique"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "current-index-warm",
|
||||
"n": 1000000,
|
||||
"wallMs": [
|
||||
22,
|
||||
19,
|
||||
10,
|
||||
14,
|
||||
11
|
||||
],
|
||||
"keys": 1115,
|
||||
"docs": 1115,
|
||||
"serverMs": 3,
|
||||
"index": [
|
||||
"id_unique"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "proposed-index-warm",
|
||||
"n": 1000,
|
||||
"wallMs": [
|
||||
8,
|
||||
6,
|
||||
7,
|
||||
9,
|
||||
5
|
||||
],
|
||||
"keys": 1000,
|
||||
"docs": 1000,
|
||||
"serverMs": 0,
|
||||
"index": [
|
||||
"audit_proposed_sessionId_id"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "proposed-index-warm",
|
||||
"n": 10000,
|
||||
"wallMs": [
|
||||
8,
|
||||
7,
|
||||
5,
|
||||
7,
|
||||
6
|
||||
],
|
||||
"keys": 1001,
|
||||
"docs": 1001,
|
||||
"serverMs": 0,
|
||||
"index": [
|
||||
"audit_proposed_sessionId_id"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "proposed-index-warm",
|
||||
"n": 100000,
|
||||
"wallMs": [
|
||||
34,
|
||||
7,
|
||||
6,
|
||||
6,
|
||||
7
|
||||
],
|
||||
"keys": 1001,
|
||||
"docs": 1001,
|
||||
"serverMs": 2,
|
||||
"index": [
|
||||
"audit_proposed_sessionId_id"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "proposed-index-warm",
|
||||
"n": 1000000,
|
||||
"wallMs": [
|
||||
26,
|
||||
16,
|
||||
9,
|
||||
8,
|
||||
7
|
||||
],
|
||||
"keys": 1001,
|
||||
"docs": 1001,
|
||||
"serverMs": 2,
|
||||
"index": [
|
||||
"audit_proposed_sessionId_id"
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
"sqlite": {
|
||||
"host": "macOS arm64",
|
||||
"build": "optimized scratch harness using actual StateStore",
|
||||
"samples": [
|
||||
{
|
||||
"records": 10000,
|
||||
"mode": "seed",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 0.129752,
|
||||
"databaseBytes": 14962688,
|
||||
"seconds": 0.117269458,
|
||||
"maxResidentSetBytes": 7012352,
|
||||
"maxResidentSetMiB": 6.69
|
||||
},
|
||||
{
|
||||
"records": 10000,
|
||||
"mode": "scan",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 0.070286,
|
||||
"databaseBytes": 14962688,
|
||||
"fullPaginationSeconds": 0.023151292,
|
||||
"readRows": 10000,
|
||||
"samples": [
|
||||
{
|
||||
"maxMs": 3.5790840000000004,
|
||||
"medianMs": 0.719417,
|
||||
"minMs": 0.644541,
|
||||
"offset": 0,
|
||||
"pageRows": 1000
|
||||
},
|
||||
{
|
||||
"maxMs": 2.629792,
|
||||
"medianMs": 2.2390000000000003,
|
||||
"minMs": 2.0157909999999997,
|
||||
"offset": 5000,
|
||||
"pageRows": 1000
|
||||
},
|
||||
{
|
||||
"maxMs": 3.792166,
|
||||
"medianMs": 2.110458,
|
||||
"minMs": 1.355083,
|
||||
"offset": 9000,
|
||||
"pageRows": 1000
|
||||
}
|
||||
],
|
||||
"maxResidentSetBytes": 15138816,
|
||||
"maxResidentSetMiB": 14.44
|
||||
},
|
||||
{
|
||||
"records": 10000,
|
||||
"mode": "report",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 0.045639,
|
||||
"historyRows": 10000,
|
||||
"outputUniquePaths": 10000,
|
||||
"seconds": 0.02793775,
|
||||
"maxResidentSetBytes": 23314432,
|
||||
"maxResidentSetMiB": 22.23
|
||||
},
|
||||
{
|
||||
"records": 10000,
|
||||
"mode": "repeat-paths",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 0.021804,
|
||||
"seconds": 0.016061417,
|
||||
"maxResidentSetBytes": 6389760,
|
||||
"maxResidentSetMiB": 6.09
|
||||
},
|
||||
{
|
||||
"records": 10000,
|
||||
"mode": "report",
|
||||
"variant": "history-deduplicated",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 0.027181,
|
||||
"historyRows": 10000,
|
||||
"outputUniquePaths": 10000,
|
||||
"seconds": 0.018115041,
|
||||
"maxResidentSetBytes": 23003136,
|
||||
"maxResidentSetMiB": 21.94
|
||||
},
|
||||
{
|
||||
"records": 100000,
|
||||
"mode": "seed",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 1.206554,
|
||||
"databaseBytes": 149381120,
|
||||
"seconds": 1.198829584,
|
||||
"maxResidentSetBytes": 7569408,
|
||||
"maxResidentSetMiB": 7.22
|
||||
},
|
||||
{
|
||||
"records": 100000,
|
||||
"mode": "scan",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 0.221391,
|
||||
"databaseBytes": 149381120,
|
||||
"fullPaginationSeconds": 0.186117333,
|
||||
"readRows": 100000,
|
||||
"samples": [
|
||||
{
|
||||
"maxMs": 0.739833,
|
||||
"medianMs": 0.566041,
|
||||
"minMs": 0.560125,
|
||||
"offset": 0,
|
||||
"pageRows": 1000
|
||||
},
|
||||
{
|
||||
"maxMs": 2.019792,
|
||||
"medianMs": 1.6559579999999998,
|
||||
"minMs": 1.6288749999999999,
|
||||
"offset": 50000,
|
||||
"pageRows": 1000
|
||||
},
|
||||
{
|
||||
"maxMs": 2.992125,
|
||||
"medianMs": 2.603292,
|
||||
"minMs": 2.547042,
|
||||
"offset": 99000,
|
||||
"pageRows": 1000
|
||||
}
|
||||
],
|
||||
"maxResidentSetBytes": 10616832,
|
||||
"maxResidentSetMiB": 10.12
|
||||
},
|
||||
{
|
||||
"records": 100000,
|
||||
"mode": "report",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 0.279169,
|
||||
"historyRows": 100000,
|
||||
"outputUniquePaths": 100000,
|
||||
"seconds": 0.224442375,
|
||||
"maxResidentSetBytes": 134430720,
|
||||
"maxResidentSetMiB": 128.2
|
||||
},
|
||||
{
|
||||
"records": 100000,
|
||||
"mode": "repeat-paths",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 0.381476,
|
||||
"seconds": 0.373920708,
|
||||
"maxResidentSetBytes": 6684672,
|
||||
"maxResidentSetMiB": 6.38
|
||||
},
|
||||
{
|
||||
"records": 100000,
|
||||
"mode": "report",
|
||||
"variant": "history-deduplicated",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 0.233651,
|
||||
"historyRows": 100000,
|
||||
"outputUniquePaths": 10000,
|
||||
"seconds": 0.224280208,
|
||||
"maxResidentSetBytes": 30425088,
|
||||
"maxResidentSetMiB": 29.02
|
||||
},
|
||||
{
|
||||
"records": 1000000,
|
||||
"mode": "seed",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 12.636703,
|
||||
"databaseBytes": 1494962176,
|
||||
"seconds": 12.62840325,
|
||||
"maxResidentSetBytes": 10223616,
|
||||
"maxResidentSetMiB": 9.75
|
||||
},
|
||||
{
|
||||
"records": 1000000,
|
||||
"mode": "scan",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 16.245333,
|
||||
"databaseBytes": 1494962176,
|
||||
"fullPaginationSeconds": 15.154754625,
|
||||
"readRows": 1000000,
|
||||
"samples": [
|
||||
{
|
||||
"maxMs": 4.045209,
|
||||
"medianMs": 0.617958,
|
||||
"minMs": 0.554458,
|
||||
"offset": 0,
|
||||
"pageRows": 1000
|
||||
},
|
||||
{
|
||||
"maxMs": 594.9026250000001,
|
||||
"medianMs": 12.290000000000001,
|
||||
"minMs": 12.121875000000001,
|
||||
"offset": 500000,
|
||||
"pageRows": 1000
|
||||
},
|
||||
{
|
||||
"maxMs": 334.765541,
|
||||
"medianMs": 23.675834,
|
||||
"minMs": 23.2035,
|
||||
"offset": 999000,
|
||||
"pageRows": 1000
|
||||
}
|
||||
],
|
||||
"maxResidentSetBytes": 10993664,
|
||||
"maxResidentSetMiB": 10.48
|
||||
},
|
||||
{
|
||||
"records": 1000000,
|
||||
"mode": "report",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 4.487096,
|
||||
"historyRows": 1000000,
|
||||
"outputUniquePaths": 1000000,
|
||||
"seconds": 3.7517220829999998,
|
||||
"maxResidentSetBytes": 1357348864,
|
||||
"maxResidentSetMiB": 1294.47
|
||||
},
|
||||
{
|
||||
"records": 1000000,
|
||||
"mode": "repeat-paths",
|
||||
"variant": "unique-paths",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 5.43847,
|
||||
"seconds": 5.43062325,
|
||||
"maxResidentSetBytes": 8273920,
|
||||
"maxResidentSetMiB": 7.89
|
||||
},
|
||||
{
|
||||
"records": 1000000,
|
||||
"mode": "report",
|
||||
"variant": "history-deduplicated",
|
||||
"returncode": 0,
|
||||
"wholeProcessSeconds": 2.876035,
|
||||
"historyRows": 1000000,
|
||||
"outputUniquePaths": 10000,
|
||||
"seconds": 2.865484791,
|
||||
"maxResidentSetBytes": 32604160,
|
||||
"maxResidentSetMiB": 31.09
|
||||
}
|
||||
]
|
||||
},
|
||||
"poc": {
|
||||
"namespace": "droboticflow",
|
||||
"apiImageTag": "109290ee-poc-20260917082206",
|
||||
"coordinatorDigest": "sha256:009d8d19d67cc2870f735aded316a84dfad1a9d6dc4ebf66e6f289f8de6a9647",
|
||||
"metricsSnapshots": [
|
||||
{
|
||||
"replica": 1,
|
||||
"values": {
|
||||
"drosync_coordinator_up": 1.0,
|
||||
"drosync_coordinator_enabled": 1.0,
|
||||
"drosync_coordinator_cycles_total": 2221.0,
|
||||
"drosync_coordinator_errors_total": 216.0,
|
||||
"drosync_coordinator_sessions_planned_total": 66.0,
|
||||
"drosync_coordinator_items_committed_total": 9051.0,
|
||||
"drosync_coordinator_staging_cleaned_total": 0.0,
|
||||
"drosync_coordinator_reconciles_total": 0.0,
|
||||
"drosync_coordinator_releases_total": 0.0,
|
||||
"drosync_coordinator_audit_seals_total": 2.0,
|
||||
"drosync_coordinator_last_cycle_timestamp_seconds": 1790953559.0,
|
||||
"drosync_coordinator_last_success_timestamp_seconds": 1790953559.0,
|
||||
"drosync_coordinator_cycle_duration_seconds": 430.764
|
||||
}
|
||||
},
|
||||
{
|
||||
"replica": 2,
|
||||
"values": {
|
||||
"drosync_coordinator_up": 1.0,
|
||||
"drosync_coordinator_enabled": 1.0,
|
||||
"drosync_coordinator_cycles_total": 2174.0,
|
||||
"drosync_coordinator_errors_total": 207.0,
|
||||
"drosync_coordinator_sessions_planned_total": 65.0,
|
||||
"drosync_coordinator_items_committed_total": 8961.0,
|
||||
"drosync_coordinator_staging_cleaned_total": 0.0,
|
||||
"drosync_coordinator_reconciles_total": 0.0,
|
||||
"drosync_coordinator_releases_total": 0.0,
|
||||
"drosync_coordinator_audit_seals_total": 7.0,
|
||||
"drosync_coordinator_last_cycle_timestamp_seconds": 1790953456.0,
|
||||
"drosync_coordinator_last_success_timestamp_seconds": 1790953456.0,
|
||||
"drosync_coordinator_cycle_duration_seconds": 531.028
|
||||
}
|
||||
}
|
||||
]
|
||||
},
|
||||
"limitations": [
|
||||
"Synthetic local database measurements are not production SLO or robot throughput acceptance.",
|
||||
"No business file upload, release package, installation, deployment, or Fanyu mutation.",
|
||||
"Capture machine version/session/SSH access was not provided."
|
||||
],
|
||||
"observationWindow": {
|
||||
"start": "2026-10-02",
|
||||
"end": "2026-10-03",
|
||||
"pocMetricsDate": "2026-10-02"
|
||||
},
|
||||
"platformReportContractProbe": {
|
||||
"method": "Exact current Go handler with local httptest support and explicit binary path; real current Rust CLI in temporary directories",
|
||||
"boundary": "Local function integration, not anonymous production access or deployed-version validation",
|
||||
"results": [
|
||||
{
|
||||
"contentDisposition": "",
|
||||
"contentType": "application/json",
|
||||
"downloadParameter": "",
|
||||
"frontendRespReportPresent": false,
|
||||
"generatedFiles": [
|
||||
"<TEMP_FIXTURE_ROOT>/state/reports/data_sync_report_2026_10_02.xlsx"
|
||||
],
|
||||
"legacyDownloadFileExists": false,
|
||||
"response": {
|
||||
"date": "2026_10_02",
|
||||
"exportedFiles": [
|
||||
"<TEMP_FIXTURE_ROOT>/state/reports/data_sync_report_2026_10_02.xlsx"
|
||||
],
|
||||
"localRoot": "<TEMP_FIXTURE_ROOT>/capture"
|
||||
},
|
||||
"statusCode": 200
|
||||
},
|
||||
{
|
||||
"contentDisposition": "",
|
||||
"contentType": "application/json",
|
||||
"downloadParameter": "csv",
|
||||
"frontendRespReportPresent": false,
|
||||
"generatedFiles": [
|
||||
"<TEMP_FIXTURE_ROOT>/state/reports/data_sync_report_2026_10_02.xlsx"
|
||||
],
|
||||
"legacyDownloadFileExists": false,
|
||||
"response": {
|
||||
"date": "2026_10_02",
|
||||
"exportedFiles": [
|
||||
"<TEMP_FIXTURE_ROOT>/state/reports/data_sync_report_2026_10_02.xlsx"
|
||||
],
|
||||
"localRoot": "<TEMP_FIXTURE_ROOT>/capture"
|
||||
},
|
||||
"statusCode": 200
|
||||
}
|
||||
]
|
||||
},
|
||||
"diagnosticProbes": [
|
||||
{
|
||||
"id": "F01",
|
||||
"observation": "upload_direct accepted body BBBB with the SHA256 manifest header for AAAA",
|
||||
"boundary": "Real upload function and fake local BOS; server SHA acceptance verified in source"
|
||||
},
|
||||
{
|
||||
"id": "F02",
|
||||
"observation": "86-second real daemon comparison: quiet stable file created session after 64.69 seconds; stable file plus a temporary file written every 2 seconds created zero sessions",
|
||||
"boundary": "Scheduler behavior; no real BOS payload"
|
||||
},
|
||||
{
|
||||
"id": "F03",
|
||||
"observation": "mapping.remove returned abortedSessions=1 and removed mapping, with zero calls to fake control plane",
|
||||
"boundary": "Local state and mock API; does not assert live cloud publication continued"
|
||||
},
|
||||
{
|
||||
"id": "F04",
|
||||
"observation": "Real CLI returned exit code 0 for mocked failed, partial, aborted, conflicted, and paused IPC results",
|
||||
"boundary": "Failed/partial success signal is the defect; explicit abort success is a different operation"
|
||||
},
|
||||
{
|
||||
"id": "F05",
|
||||
"observation": "Real Client.status remained pending beyond an external 2-second test deadline against silent local server",
|
||||
"boundary": "2 seconds is probe limit, not required SLO; no configured/default HTTP deadline confirmed in source"
|
||||
},
|
||||
{
|
||||
"id": "F06",
|
||||
"observation": "Lost direct-complete response followed by prepare produced 409 item_not_uploadable and abort classification",
|
||||
"boundary": "Real upload function; mocked server state transition"
|
||||
},
|
||||
{
|
||||
"id": "F11",
|
||||
"observation": "Missing directory restored at 20 seconds did not get watched or create a session within the 86-second scheduler probe",
|
||||
"boundary": "Real daemon temporary mapping"
|
||||
}
|
||||
],
|
||||
"cleanup": {
|
||||
"temporaryMongoStopped": true,
|
||||
"syntheticMongoDataRemoved": true,
|
||||
"syntheticSQLiteFixturesRemoved": true,
|
||||
"diagnosticScriptsAndResultsRetained": true,
|
||||
"productionDataModified": false
|
||||
}
|
||||
}
|
||||
301
doc/drosync详细审计-2026-10-03.md
Normal file
301
doc/drosync详细审计-2026-10-03.md
Normal file
@ -0,0 +1,301 @@
|
||||
# drosync 详细审计(2026-10-03)
|
||||
|
||||
检查与本机测试窗口:2026-10-02~2026-10-03(Asia/Shanghai);POC 只读指标采样于 2026-10-02。
|
||||
|
||||
审计源码:POC `bf0a961a323c74594279a46479da9be5002d4c99`。已重新 fetch 并确认本地与 Gitea `origin/poc` 一致、开始审计时工作树干净。本文审计现状,不把“命令存在”“已有单元测试通过”当作功能或容量验收。本次只保存审计文档、数据并修正原入口文档的范围声明,没有修改业务实现、上传真实 BOS 数据、发布安装包或部署环境;Fanyu 未改动。
|
||||
|
||||
## 1. 结论
|
||||
|
||||
| 检查项 | 结论 |
|
||||
|---|---|
|
||||
| 单一用户功能入口 | **全项目尚不符合**。本机 CLI/Web 已基本收敛,但平台仍有两个日报入口及导出按钮,与本机入口重复;平台停止会话与 CLI abort 也有交集。内部 IPC/共享函数和后台触发本身不构成第二个用户入口。 |
|
||||
| 功能完整性 | 基础上传、续传、状态、诊断、报表及更新入口均存在;平台日报仍调用旧 CLI 契约,已复现功能断裂。取消、错误结果、监听恢复、报表准确性和安装更新还有缺口。 |
|
||||
| 上传可靠性 | 未达标。已复现扫描后内容变化与 SHA256 回执不一致、direct 完成响应丢失后误中止、持续采集阻止自动调度等问题。 |
|
||||
| 上传性能 | 不能认定足够。缺少采集机实测,且存在串行规划/分片/提交、全库重复 hash、请求限流和等待超时问题。持续采集调度已与文件稳定后 15 分钟启动上传的目标冲突。 |
|
||||
| 元信息性能 | 反复下载完整列表已改善,但计算与本地内存成本仍随条目/历史增长。百万级单次 Mongo 聚合约 793ms;单次本地历史加载约 3.75s、1.26GiB 峰值 RSS。 |
|
||||
| 发布成熟度 | 不宜作为“全平台、百万文件性能已验收”的版本发布。Windows 源码条件编译、系统安装权限、包摘要与服务升级还需修复;严格 Clippy 未通过。 |
|
||||
|
||||
## 2. 证据层级与运行版本
|
||||
|
||||
- **源码与远端**:本地/Gitea 均为 `bf0a961a`;审查了 Rust CLI/daemon/core/state/transfer/updater、Go API/store/coordinator、平台 React 页面及调用方、各平台打包及契约文档。
|
||||
- **已有自动测试**:Rust 工作区 43 项测试通过;Go `internal/api`、`internal/objectsync`、`internal/store` 测试通过;Rust 格式及 OpenAPI 生成检查通过。最初沙盒禁止 loopback 监听产生的测试失败,已在获准的本机测试执行中排除。
|
||||
- **新增诊断探针**:只在临时目录使用真实函数或已有本机 binary、合成 SQLite、假 loopback 控制面/BOS。部分红断言故意失败,用于证明现有测试未覆盖的缺陷。
|
||||
- **数据库基准**:真实本地 MongoDB 6.0.20,临时库 1,111,000 条合成文档;真实 StateStore 的优化构建、临时 SQLite,分别 1万/10万/100万条。不是生产 Mongo 或采集机性能认证。
|
||||
- **POC 只读观测**:API 2/2、协调器 2/2 就绪。API 镜像标签仍为 `109290ee-poc-20260917082206`,协调器摘要为 `009d8d19d67cc2870f735aded316a84dfad1a9d6dc4ebf66e6f289f8de6a9647`。镜像标识不是源码精确证明,也没有证据表明最近两次源码优化已发布到现场。
|
||||
- **采集机**:未取得 SSH、正在运行的 binary 版本、Session ID、实际文件分布与性能目标。因此不能认定截图中 4MB/s 的具体网络瓶颈,也不能把本地源码清单当作已安装能力。
|
||||
|
||||
原始数值与平台日报复现结果见 [审计数据 JSON](drosync审计数据-2026-10-03.json)。下文 Rust 路径若省略前缀,均相对 `tools/drosync/crates/`;Go/React 路径相对仓库根目录;`packaging/...` 相对 `tools/drosync/`。
|
||||
|
||||
## 3. 单一入口与现有功能(扁平)
|
||||
|
||||
### 3.1 本机客户端
|
||||
|
||||
下表记录本机的规范入口,不代表平台不存在同功能入口。
|
||||
|
||||
| 功能 | 本机规范入口 | 现状与限制 |
|
||||
|---|---|---|
|
||||
| 认证、注册设备、保存服务端/凭据 | `auth` | file/stdin/env 是输入来源,不是另一套操作入口。 |
|
||||
| 查看映射 | `mapping list` | 可用。 |
|
||||
| 添加映射 | `mapping add` | bucket/space 为互斥目标表示;完全相同映射可重复添加,见 F10。 |
|
||||
| 移除映射 | `mapping remove` | 本地删除可用,宣称中止的语义不完整,见 F03。 |
|
||||
| 上传、恢复、重试 | `sync` | 统一使用 sync;仍有完整性/恢复问题。 |
|
||||
| 上传预览 | `sync --dry-run` | 提交清单并创建云端计划,不上传文件内容;不关闭后台自动同步。 |
|
||||
| 查看 daemon/会话状态 | `status` | 返回本地所有历史会话,无分页。 |
|
||||
| 查看本地冲突 | `status --conflicts` | 最多 1000 条,并返回 truncated。 |
|
||||
| 暂停上传调度 | `pause` | 已在途对象继续执行;不同于取消。 |
|
||||
| 恢复上传调度 | `resume` | 恢复调度开关。 |
|
||||
| 中止会话 | `abort [SESSION_ID]` | 与平台管理员停止存在交集;内部取消机制也需进一步闭环。 |
|
||||
| 诊断 | `doctor` | SQLite、IPC、控制面与权限能力。 |
|
||||
| 检查更新元信息 | `update check` | 已确认不会下载/安装。 |
|
||||
| 安装更新 | `update install` | 下载验签有实现,系统包安装权限不闭环,见 F07。 |
|
||||
| 锁定版本 | `update pin VERSION` | 只修改策略。 |
|
||||
| 解锁版本 | `update unpin` | 可用。 |
|
||||
| 暂停客户端更新 | `update pause` | 与暂停上传是不同功能。 |
|
||||
| 恢复客户端更新 | `update resume` | 可用。 |
|
||||
| 回滚客户端 | `update rollback` | 有入口,受安装权限及 Windows 降级策略影响。 |
|
||||
| 导出日报 | `report` | CSV/XLSX,仅输出文件位置;默认导出到 state/reports。平台仍保留导出,见 F00;准确性见 F08/F09。 |
|
||||
| 查看日报 | `web` | 本机仅 `/` 和 GET `/api/report`;平台还有两处日报查看,见 F00;本机页面还有 HTML 注入风险。 |
|
||||
| 版本信息 | `version` | CLI、协议、平台和可达 daemon。 |
|
||||
| 帮助 | `--help` | `--json` 只是输出格式。 |
|
||||
|
||||
后台共用能力:目录监听、稳定检查、文件过滤、SHA256 清单、预签名 BOS 直传、最多 16 文件并发、分片日志/续传、MD5 校验、条件发布与冲突保留、提交状态查询、SQLite 恢复、周期更新检查/安装尝试。
|
||||
|
||||
通过项:旧 configure/plan/retry/conflicts、--non-interactive、--version、-h、help 子命令及旧 update flags 已拒绝;本机旧 Web 控制/导出路由与 GUI 已退出;旧 IPC 入口已退出;历史版本手册已显式标注不适用于当前命令。OS 的 systemctl/journalctl 属部署运维接口,不计产品重复入口。
|
||||
|
||||
**仍需区分**:同一功能一个入口,不代表能重复创建等价配置;也不代表把所有工作串行到一个锁里就合理。自动调度应继续复用同一执行函数,而非为满足字面规则删除自动同步。
|
||||
|
||||
### 3.2 平台公开功能与剩余重叠
|
||||
|
||||
| 功能 | 平台入口/调用 | 与本机的关系 |
|
||||
|---|---|---|
|
||||
| 查看日报 | `/sync-report` 页面 | 与本机 web 重复;旧契约断裂,F00。 |
|
||||
| 查看日报 | 对象存储页“每日上传统计”弹窗 | 与平台独立页面使用同一组件,又是一个入口。 |
|
||||
| 导出日报 | 上述组件的 Excel/CSV 按钮 | 与 CLI report 重复;CSV 当前返回 JSON。 |
|
||||
| 查询云端会话 | drosync 管理页 Session | 查询控制面;CLI status 是本机 SQLite,范围与实时性不同。 |
|
||||
| 停止会话 | 管理页“停止”,`admin-abort` | 同一 Session 可由管理员与 CLI abort 分别中止,存在公开操作重叠。 |
|
||||
| 查询云端冲突 | 管理页冲突列表 | 与本地缓存冲突查询存在展示交集,数据源不同。 |
|
||||
| 条件强制覆盖冲突 | 管理页冲突操作 | admin 功能,本机无等价命令。 |
|
||||
| 创建/配置同步空间 | 管理页同步空间 | admin 功能,本机仅选择已有 space。 |
|
||||
| BOS 条件写能力探测 | 管理页同步空间“探测” | 独立云端管理功能。 |
|
||||
| 云端对象对账 | 管理页同步空间“对账” | 检查云端元信息漂移,不是把云端文件下载回采集机。 |
|
||||
| 查看已登记设备 | 管理页设备 | admin 跨设备管理,与本机注册不同。 |
|
||||
| 签发/轮换/撤销凭据 | 管理页授权密钥 | admin 功能,本机 auth 使用已签发凭据。 |
|
||||
| 强制释放租约 | admin API `/api/object-sync/leases/{id}/force-release` | 当前无对应前端按钮/CLI,是独立运维 API。 |
|
||||
| 创建/查看不可变数据 Release | 管理页 Release | admin/pipeline_engineer 将会话组成发布记录,与客户端更新不同。 |
|
||||
| 查看/导出审计事件 | 管理页审计 | admin/compliance_auditor;不是上传日报。 |
|
||||
| 查询审计封印 | `/api/object-sync/audit-seals/{day}` | admin/compliance_auditor API,UI 无独立封印操作。 |
|
||||
| 登记/灰度/暂停客户端版本 | 管理页客户端更新 | admin 管理发布策略;本机 update 执行本机检查和安装。 |
|
||||
| 下载客户端安装包 | 平台客户端下载 | 获取制品;不等于本机更新器已经能完成安装。 |
|
||||
|
||||
平台路由权限见 `internal/api/server.go:1488-1530`,前端功能见 `src/pages/ObjectSync.tsx:293-304` 与 `src/services/api/object-sync.ts:159-228`。API 客户端、IPC、服务函数是执行通道,不逐层计作独立用户功能。
|
||||
|
||||
管理员中止按组织授权,CLI 中止按 credential+device 授权,但两者最终调用同一个 `abortObjectSyncSession`。不能擅自用“管理员例外”宣布符合用户的严格单入口要求。应先按既定分工移除旧平台日报链路;其余云端管理与本机诊断需明确角色和数据范围,再决定保留位置。空间、密钥、条件覆盖、审计及发布是不同业务能力,不应因为都有 HTTP 接口就删除。
|
||||
|
||||
中止链路位置:`src/pages/ObjectSync.tsx:988-1003`、`internal/api/object_sync.go:1154-1169,1900-1910,2071-2109,2650-2665`。本次仅确认剩余重叠,没有擅自移除管理能力。
|
||||
|
||||
|
||||
## 4. 优先修复的正确性与可靠性问题
|
||||
|
||||
P1 表示应先于全功能/规模发布解决;P2 表示应纳入下一轮修复。严重性是工程优先级,不代表问题已在截图采集机发生。
|
||||
|
||||
### F00 / P1:平台日报入口遗漏,调用方没有随 CLI 一起切换(真实 CLI 调用链复现)
|
||||
|
||||
平台 `/sync-report` 页面和对象存储弹窗使用同一个 `DailySyncReportModal`,均保留 Excel/CSV 导出;本机又有 web 查看和 report 导出。因此上一版入口文档只覆盖本机,不能作为全项目收敛完成的证明。
|
||||
|
||||
更直接的问题是平台 Go handler 仍执行 `drosync --json report --date ... --path ...`,期待返回完整日报。当前 CLI 只返回 `{date,localRoot,exportedFiles}`,而 React 仅在 `resp.report` 存在时更新报告。查询成功也不会得到正确页面数据,并且 GET 查询变成了写 XLSX 的操作。
|
||||
|
||||
本地原样提取当前 Go handler(仅替换 binary 查找与 HTTP 测试支架),调用当前真实 CLI、临时采集目录和独立状态目录,复现:
|
||||
|
||||
- 普通 GET:HTTP200、无 `report` 字段,却生成 `state/reports/*.xlsx`。
|
||||
- `download=csv`:仍为 JSON 和 XLSX 路径,没有 CSV 或 Content-Disposition。
|
||||
- 下载 handler 仍找 `localPath/daily_report`,与当前 CLI 默认的 `DATA_DIR/reports` 不一致。
|
||||
- 找不到 binary、执行失败或 JSON 解析失败时,Go 返回 HTTP200 + `fallback:true` + “无数据”,掩盖故障。
|
||||
|
||||
handler 还保留多个 binary 路径猜测,是未随本机清理退出的旧回退逻辑。`path` 没有映射、设备或组织目录校验,访问的是 **API 服务器文件系统**,不是浏览器/机器人所在机器。该接口经过全局认证,匿名401回归已通过;风险是登录后的业务角色/目录范围不足与 GET 写文件副作用,不能误报为匿名接口。
|
||||
|
||||
按现有“本机 web 查看、CLI report 导出”分工,应一并退出旧平台页面、弹窗、导出、handler 和 binary 猜测调用,再检查所有调用方。本次记录问题,未修改实现。
|
||||
|
||||
代码:`src/App.tsx:119`、`src/pages/DailySyncReportPage.tsx:8`、`src/pages/ObjectStorageBrowser.tsx:1011-1017,1797-1800`、`src/components/object-storage/DailySyncReportModal.tsx:58-64,124-139,392-407`、`internal/api/object_storage_browser.go:2227-2243,2260-2323`、`cli/src/report_service.rs:70-88`。
|
||||
|
||||
### F01 / P1:上传内容与登记的 SHA256 可以不一致(本机复现)
|
||||
|
||||
扫描阶段计算 SHA256,只验证扫描当时的 stat。文件排队期间同大小改写,上传阶段计算新 MD5 并上传新内容,但仍携带清单里的旧 SHA256。服务端比较的是客户端填写的 SHA 元数据,没有证实内容对应关系。
|
||||
|
||||
探针:扫描 `AAAA` 后改为 `BBBB`,真实 upload_direct 返回成功;记录到上传 body=`BBBB`、SHA 元数据仍为 `AAAA` 的摘要。Go 端接受条件由源码核对,未声称跑过真实 BOS。
|
||||
|
||||
影响:回执、去重与实际对象内容不一致。应建立不可变源快照/文件身份校验,将两种摘要和上传内容绑定同一快照。
|
||||
|
||||
代码:`tools/drosync/crates/core/src/lib.rs:151`、`daemon/src/lib.rs:258`、`internal/api/object_sync.go:481`、`internal/objectsync/coordinator.go:813`。
|
||||
|
||||
### F02 / P1:持续采集可以让自动上传无限等待(真实 daemon 对照)
|
||||
|
||||
任何目录事件都会重置整个 mapping 的 60 秒静默计时,包括本应忽略的 `.tmp`。只要目录持续有写入,已经稳定很久的文件也无法开始自动上传。
|
||||
|
||||
86 秒对照:安静目录在 64.69 秒创建一次 Session;相同稳定文件所在目录每 2 秒修改一个 `.tmp`,没有创建 Session。没有上传业务数据。
|
||||
|
||||
这与 `docs/drosync/product-requirements.md:31` 的“单个文件稳定后 p95 15分钟内开始上传”要求冲突。应按文件稳定性调度,或设置 mapping 合并的最大等待上限并过滤临时事件。
|
||||
|
||||
代码:`daemon/src/lib.rs:1415-1426`。
|
||||
|
||||
### F03 / P1:移除映射只本地标记中止(真实 daemon 复现)
|
||||
|
||||
mapping.remove 返回 `abortedSessions:1`,但没有请求控制面 abort,也没有取消已经派发的 JoinSet;上传循环主要检查 pause,直到提交等待阶段才检查本地终态。
|
||||
|
||||
探针记录:SQLite 会话改成 aborted、mapping 删除成功,mock 控制面收到 0 次请求。未现场断言云端已继续发布,但源码路径允许它继续。
|
||||
|
||||
应统一内部取消实现:停止派发、传播取消、确认远端中止、明确报告失败;不新增第二个用户入口。
|
||||
|
||||
代码:`daemon/src/lib.rs:1026-1037`、`:779-809`、`:856`。
|
||||
|
||||
### F04 / P1:失败/部分失败仍返回退出码 0(真实 CLI + 假 IPC)
|
||||
|
||||
daemon 把 failed/expired/aborted/partial 当作 Ok JSON;CLI 对任何 Ok 都退出 0。实际 CLI 对合成 failed/aborted/partial 响应均返回 0;expired 属源码同分支判断,未单独注入测试。conflicted、paused 实测也为 0,其语义可单独定义,不把它们全部当作错误。
|
||||
|
||||
自动脚本若只判断退出码,会把未完成上传当成成功。应制定业务结果与退出码契约,并保留完整 JSON;日报“完整”或退出 0 都不宜作为当前源文件清理的唯一依据。
|
||||
|
||||
代码:`daemon/src/lib.rs:876-886`、`:919-934`、`cli/src/main.rs:417-420`。
|
||||
|
||||
### F05 / P1:单次 HTTP 没有期限,30分钟不是硬上限(源码 + 短探针)
|
||||
|
||||
reqwest builder 未配置连接、读取或总 timeout;当前依赖的默认值也为 None。提交等待仅 900 次请求之后各 sleep 2秒,每次 await 可以长期卡住,全局传输 gate(Semaphore(1))同时阻塞其它 mapping 同步。
|
||||
|
||||
假本机 API 收到请求后不响应,真实 Client.status 超过外加 2秒测试期限仍未返回。“2秒”只是探针界限;没有产品总期限由代码与依赖源码确认。
|
||||
|
||||
应设连接/读取空闲期限、阶段硬 deadline、可取消请求和明确重试策略。
|
||||
|
||||
代码:`transfer/src/lib.rs:93-97`、`:138-140`、`daemon/src/lib.rs:856-938`。
|
||||
|
||||
### F06 / P2:direct 完成响应丢失,会放弃已经上传的数据(本机复现)
|
||||
|
||||
服务端 complete 已将条目置 uploaded,但响应丢失;客户端重跑 prepare→PUT→complete。下一次 prepare 因 uploaded 被拒绝,随后被归类不可重试并中止。
|
||||
|
||||
真实 upload_direct 配合模拟这组服务端状态的假 API,复现 `item_not_uploadable` 与 `abort_classified=true`。应查询条目状态或只重试幂等 complete。
|
||||
|
||||
代码:`daemon/src/lib.rs:261-270`、`:517-530`、`internal/api/object_sync.go:2194`。
|
||||
|
||||
### F07 / P1:跨平台安装/升级能力不能当作已跑通
|
||||
|
||||
- Windows:save/delete_credential 的 cfg 包含 Windows,却调用仅 cfg(unix) 定义的 write/delete_headless_secret。源码上存在名字解析阻断;未在 Windows 工具链实际编译,不能把 macOS 测试当作 Windows 通过。位置:`platform/src/lib.rs:189-192,230-233,319-320,356-357`。
|
||||
- Linux 标准 daemon 以 ubt + NoNewPrivileges 运行,macOS 当前是普通用户 LaunchAgent,但更新器直接 dpkg/installer 安装系统包,没有提权 helper。CLI 使用 sudo 不改变 IPC 接收者身份。位置:`updater/src/lib.rs:248-268`、`packaging/linux/drosync.service:11-17`。
|
||||
- Windows rollback 原样安装上一版 MSI,与 MajorUpgrade 的禁止降级配置冲突。位置:`packaging/windows/drosync.wxs:4`。
|
||||
|
||||
应先明确系统安装的授权执行架构,再做各目标编译、签名、安装/升级/回滚验收。上述问题含既有缺陷,不能全部归因于最近的入口整理。
|
||||
|
||||
## 5. 其它功能、安全与运维风险
|
||||
|
||||
| 编号 | 问题、条件和影响 | 证据/位置 |
|
||||
|---|---|---|
|
||||
| F08 / P2 | 报表吞掉不可读子目录。一个已同步可读 episode 加一个不可读的未上传 episode,实测仍 HTTP200、完整1/1。 | `core/src/report.rs:172-208,231-258`;临时 chmod0 后恢复。 |
|
||||
| F09 / P2 | 报表与上传过滤规则不同:.done/隐藏/临时文件可能被当作必须同步文件;同长度改写只凭历史状态+size仍判完整。 | 实测添加 .done 从完整变部分;AAAA→BBBB同size仍完整;`core/src/report.rs:196-215,353-359`。 |
|
||||
| F10 / P2 | 完全相同 mapping add 可产生两个ID,重复扫描,默认 sync 又因多映射报错。属于重复配置/执行,不是第二个入口。 | 真实CLI/daemon复现;`core/src/lib.rs:57-65`、`daemon/src/lib.rs:1010-1013`。 |
|
||||
| F11 / P2 | 初始 watcher 注册失败后仍把映射记为已注册,目录恢复后不会重试。 | 目录20秒后恢复,跨60秒刷新仍无同步;`daemon/src/lib.rs:1391-1413`。 |
|
||||
| F12 / P2 | Web 的任务名、episode、错误消息未转义进入 innerHTML。只读不消除 DOM 注入。 | 真实报告fixture + 提取当前JS执行,形成事件标签;未在用户浏览器执行payload;`cli/src/dashboard.html:333-346,381-393`。 |
|
||||
| F13 / P2 | portable --enable 只 restart,不 enable。新安装后可能重启丢失自启。 | `packaging/linux/install-systemd-portable.sh:83-85`,源码确定,未执行安装。 |
|
||||
| F14 / P2 | DEB 先生成摘要再签名,最终文件与 .sha256 不符。 | 实际脚本 + 假打包/签名器复现摘要失配;`packaging/linux/build-deb.sh:55-58`。 |
|
||||
| F15 / P2 | DEB 升级只 daemon-reload,没有停止/重启现有进程,CLI/daemon可错版。 | `packaging/linux/debian/postinst:25-27`、`prerm:4-6`。 |
|
||||
| F16 / P2 | 多映射同日默认导出文件名只有日期,后导出覆盖先导出。 | `cli/src/report_service.rs:70-83`,代码确定性,未单独二进制复现。 |
|
||||
| F17 / P2 | 上传/排队缺周期租约心跳;长于10分钟的云端copy缺claim续租和完成CAS。竞争者可夺租或重复认领。 | `daemon/src/lib.rs:409`、`internal/store/object_sync.go:950-969,1063-1077`;条件性竞争风险,非现场事实。 |
|
||||
| F18 / P2 | 一个同步在 scheduler select 分支内长时间await,unbounded事件队列未消费,其他mapping串行等待。 | `daemon/src/lib.rs:1368,1452`;结构性内存/调度风险,未做长时间采集压力测试。 |
|
||||
| F19 / 发布阻断 | 严格Clippy仍失败;CI没有Linux ARM64构建job,虽有手工脚本且发布矩阵要求4平台。 | 当前Clippy首个报表lint触发失败;`.gitea/workflows/drosync-release.yml`。 |
|
||||
| F20 / 运维盲点 | errors_total 不是全部文件错误数:commit/cleanup失败被continue,不一定计入周期错误;缺阶段时延和队列年龄。 | `internal/objectsync/coordinator.go:201-209`及cleanup分支。 |
|
||||
| F21 / P2 | 平台 Session 只取前200条、每 Session 冲突只取1000条,丢弃 nextCursor;旧会话/更多冲突可能漏看。UI文案却声称游标分页。 | `src/pages/ObjectSync.tsx:324-343,959`、`src/services/api/object-sync.ts:157,184-188`;源码确定,未构造平台大列表浏览器测试。 |
|
||||
|
||||
租约特别说明:续租不检查 expiresAt,只有 owner/fencing 必须匹配。没有竞争者时允许过期后续上,不能宣称“超过5分钟必失败”。风险是过期窗口被另一设备夺租后失效。
|
||||
|
||||
控制面若配置公网 HTTP,认证和 bearer 缺少传输加密;这是已有明确选址风险,未声称本次捕获泄露。BOS HTTPS 不能替代控制面 TLS。
|
||||
|
||||
## 6. 上传性能:为什么目前不能给“足够”结论
|
||||
|
||||
### 6.1 小文件存在明确控制面上限
|
||||
|
||||
每凭据固定分钟窗口 600 次;同凭据下多个设备共享额度。实际需要上传的新小文件至少 reserve、prepare、complete、commit 四次控制请求,因此单凭据持续平均上界约为 **150文件/分钟(2.5文件/秒)**,还没有扣除清单、状态、分页与重试。100万个需要实际上传的新小文件,仅额度推导的时间下界就约 **111.1小时(4.63天)**,忽略起止窗口边界。短时跨窗口完成率可能更高;无需上传的未变化文件不适用这个四请求模型。这是源码推导,不是吞吐压测值。
|
||||
|
||||
429虽标记retryable,但 Retry-After 被丢弃;部分操作仅0.25/0.5/1/2秒退避,reserve/commit/status无同等局部重试。单次限流错误还可能取消其它在途文件。
|
||||
|
||||
位置:`internal/api/server.go:1537`、`internal/api/object_sync.go:162-163`、`transfer/src/lib.rs:138-149`、`daemon/src/lib.rs:254-255,817-820`。
|
||||
|
||||
### 6.2 扫描、上传和发布仍有显著额外成本
|
||||
|
||||
| 阶段 | 当前事实 | 影响 |
|
||||
|---|---|---|
|
||||
| 扫描 | 每个新Session先全目录SHA256,全部结束后开始建Session/规划 | 每次增量都可能重读历史数据;读取量约D_all。 |
|
||||
| 上传 | 每个待传文件/分片先MD5再读取PUT | 无重试时逻辑读取约D_all+2D_upload;首次全量约3D,页缓存可能减少物理读盘。 |
|
||||
| 并发 | 最多16个文件;一个文件的分片串行;当前页全部完成才读下一页 | 单大文件只能1路PUT;页尾大文件降低后续文件并发。 |
|
||||
| 云端规划 | 每项串行BOS HEAD和Mongo查询 | 假设每项10ms,百万项约2.78小时,超过名义15分钟规划等待;10ms是模型参数,非现场BOS实测。 |
|
||||
| 发布 | 每副本按文件串行处理,每周期最多16;对象内部copy片并发8 | 文件上传结束仍要排队,数据在BOS内再复制D;客户端不会因此下载文件回本地。 |
|
||||
| 元数据写 | 每小文件至少4次控制请求,每请求还涉及认证、限流、幂等、条目/会话等存储调用 | 至少36次store接口调用/小文件的静态下界,不等同实际Mongo命令数或延时。 |
|
||||
|
||||
1TiB 文件当前分片约1GiB、1024片;单文件串行。截图约4MB/s是整进程瞬时网络值,不能据此判断实际连接并发、出口带宽或BOS端限制。应测端到端完成率,而不只看PUT期间速率。
|
||||
|
||||
## 7. 元信息性能:本次实测
|
||||
|
||||
### 7.1 Mongo Session聚合
|
||||
|
||||
macOS ARM64、本地 MongoDB 6.0.20、WiredTiger cache 0.25GiB、合成文档总数1,111,000,复制当前索引与聚合管道。每规模5轮,中位数如下。不是专用空闲机器,也未清空OS缓存。
|
||||
|
||||
| 单Session条目数 | 聚合中位耗时 | 扫描索引项 | 读取完整文档 |
|
||||
|---:|---:|---:|---:|
|
||||
| 1,000 | 1ms | 1,000 | 0 |
|
||||
| 10,000 | 9ms | 10,000 | 0 |
|
||||
| 100,000 | 79ms | 100,000 | 0 |
|
||||
| 1,000,000 | 793ms | 1,000,000 | 0 |
|
||||
|
||||
查询使用 `sessionId_status_action`,explain 为覆盖索引投影;这是已有优化的有效证据。但仍是 O(N) 聚合,不是 O(1) 计数读取。百万条仅返回约279字节的Mongo分组JSON,却扫描百万个key。这个字节数不是整个HTTP响应长度。
|
||||
|
||||
客户端每轮查询后再sleep2秒,900轮。因此若每轮额外0.793秒且一直等待,光这个本机聚合成本就使循环模型从30分钟变为约42分钟;网络/锁等待还会增加,单次请求无限悬挂另见F05。不能把“响应很小”当“后台成本很低”。
|
||||
|
||||
### 7.2 Mongo 条目分页索引
|
||||
|
||||
当前无状态过滤的条目查询为 `sessionId + id游标 + sort(id)`,却缺对应 `(sessionId,id)` 索引。实测会选择按status的索引再排序,或扫描全局id索引并过滤其它Session,计划随数据分布变化。
|
||||
|
||||
同一临时库对照,仅添加候选 `(sessionId,id)` 索引,未改源码/线上:
|
||||
|
||||
| Session条目数 | 当前索引首页中位耗时 | 候选索引中位耗时 | 当前→候选扫描key |
|
||||
|---:|---:|---:|---:|
|
||||
| 1,000 | 8ms | 7ms | 1,000→1,000 |
|
||||
| 10,000 | 12ms | 7ms | 10,000→1,001 |
|
||||
| 100,000 | 216ms | 7ms | 11,114→1,001 |
|
||||
| 1,000,000 | 14ms | 9ms | 1,115→1,001 |
|
||||
|
||||
百万Session占整个库大多数,所以全局id索引碰巧有效;不能据此推论它总比十万Session快。结果展示的是缺少匹配索引导致性能依赖分布,而非严格随N单调变化。首次规划/冷热波动另见原始JSON。
|
||||
|
||||
位置:`internal/store/object_sync.go:919-945`、`internal/store/mongo_indexes.go:168-174`。
|
||||
|
||||
### 7.3 本地SQLite与日报历史加载
|
||||
|
||||
优化构建调用真实 StateStore;合成scan_files和sync_items;每页1000。下表历史加载不含文件系统扫描、JSON响应或Excel生成;RSS为独立测量进程峰值,不是整个daemon常驻基线。
|
||||
|
||||
| 条目/历史记录数 | 全部OFFSET分页 | 加载历史状态 | 加载进程峰值RSS |
|
||||
|---:|---:|---:|---:|
|
||||
| 10,000 | 0.023s | 0.028s | 22MiB |
|
||||
| 100,000 | 0.186s | 0.224s | 128MiB |
|
||||
| 1,000,000 | 15.155s | 3.752s | 1,294MiB(约1.26GiB) |
|
||||
|
||||
十万到百万,记录增加10倍,完整OFFSET分页耗时约81倍;百万末页单次中位耗时约为首页38倍。另100万条历史最终只对应1万个路径,仍需约2.865秒加载,因为查询先读/解析全部历史再去重。
|
||||
|
||||
位置:`state/src/lib.rs:445-477` 和 `:546-560`;每次Web/导出都调用该历史加载。应改游标分页、维护最新状态投影、按日期/路径取所需数据,并限制并发报表计算。
|
||||
|
||||
### 7.4 POC当前指标不能当作吞吐验收
|
||||
|
||||
首次读取两个协调器最近完整周期约421.738/419.763秒;后续快照约430.764/531.028秒。两次快照之间每副本cycle计数各增加2,committed计数仍为9051/8961,累计周期错误216/207未增加。
|
||||
|
||||
**不知道当时是否有待提交队列,也不知道耗时具体在规划、清理、审计还是发布,因此不能把周期时长除以16当单文件上传时间,更不能直接认定截图Session卡点。** 这说明现有指标不足以解释慢环节;需要分阶段耗时、待处理数、最老条目年龄、BOS请求及重试统计。最近30分钟所取日志为空,也不证明没有失败。
|
||||
|
||||
## 8. 修复和验收顺序
|
||||
|
||||
1. **先保正确性并收敛调用方**:按既定分工退出旧平台日报链路,明确管理员与本机中止入口;不可变源快照/身份校验;direct完成响应丢失恢复;统一取消链路;失败/partial退出码契约;报表过滤和错误不能伪装完整。
|
||||
2. **再保可运行**:文件级稳定调度、watch失败重试、真实HTTP/阶段deadline、取消打断、租约与claim续期、重复mapping防护。
|
||||
3. **再降元信息成本**:Mongo匹配分页索引;状态转换驱动幂等计数并保留最终校准;SQLite游标分页;日报最新状态投影和按日查询。增量计数必须处理重试/并发,不能裸加计数。
|
||||
4. **再提上传吞吐**:分片有界并发、跨页预取、hash缓存/流水化、规划与提交分队列、批量签名/提交、遵守Retry-After、重新评估凭据级限流。直接不可变最终key可评估,但须一起处理冲突与业务可见性。
|
||||
5. **最后发布验收**:各平台编译与签名安装/升级/回滚、服务权限和重启、最终包摘要、真实POC/BOS与采集机容量分级测试。源码合并、服务Ready或小型fixture都不等于发布验收。
|
||||
|
||||
建议真实验收记录:稳定文件首次开始上传p95、有效上传MiB/s、文件/秒、扫描与摘要时间、规划/提交队列等待p95、每Session元信息请求数/字节、Mongo keys/docsExamined及CPU、daemon/Web RSS、取消完成时间、断网/响应丢失后的内容校验。真实20TiB容量认证属于另一个有成本的验收步骤,本次没有执行。
|
||||
|
||||
|
||||
## 9. 本次检查记录与复现边界
|
||||
|
||||
- 基础回归:`cargo test --offline --locked --manifest-path tools/drosync/Cargo.toml --workspace`;`go test ./internal/api ./internal/objectsync ./internal/store`;`cargo fmt --all --manifest-path tools/drosync/Cargo.toml -- --check`;`python3 scripts/generate_drosync_contract.py --check`。前三类功能检查与格式/生成检查通过,严格 Clippy 另行失败,见 F19。
|
||||
- 平台认证回归:`go test ./internal/api -run 'Test(SyncReportEndpointsRequireSessionAuth|BrowserAuthenticationCannotBeDisabledByRetiredEnvironment)$' -count=1` 通过。
|
||||
- 临时探针保留于本机诊断目录:`/tmp/drosync-upload-audit`(摘要、超时、响应丢失);`/tmp/drosync-platform-report-probe`(旧 Go handler 调当前 CLI);`/tmp/drosync-state-benchmark`(SQLite 真实函数与采样结果);`/private/tmp/drosync-mongo-audit-60mgs_j5`(Mongo 脚本与结果)。它们不是仓库回归测试,不宣称新机器能直接执行这些临时绝对路径;关键观测已归档于本文和相邻 JSON。
|
||||
- 合成数据库使用独立端口/目录。采样完成后停止本次临时 Mongo,删除本次 Mongo 数据目录及三份 SQLite fixture,保留脚本和结果。没有修改现场数据库或用户业务文件。
|
||||
- 本报告为审计,不包含缺陷修复,也不把故障探针的预期红断言混入“43项基础测试通过”的结论。
|
||||
Loading…
x
Reference in New Issue
Block a user