 toor
|
7243f73d33
|
fix: 解析大画廊时连接泄漏 + 解析阶段无进度反馈
用户反馈：点开始下载后 6 个画廊（都是 2000 张级）一直显示「解析中 0/?」，
看起来像卡死。排查发现两个问题：
1. 连接泄漏（真 bug）
httpClient() 每次请求都新建 http.Transport，用完丢弃。Transport 被丢弃后
它持有的 keep-alive 连接不会立刻释放（要等 IdleConnTimeout=90s），
于是每发一个请求留下一条僵尸连接。
现场实测：91 条 Established 连接，而解析是串行的，正常应该只有 1 条。
修复：Transport 全局复用，只在代理配置变化时重建，
重建时 CloseIdleConnections 关掉旧连接；新增 Client.Close()。
实测：20 次请求从 20 条连接降到 1 条；100 次并发请求只用 22 条。
2. 解析阶段毫无反馈
2000 张 = 100 屏串行翻页，整个解析阶段界面都显示「解析中 0/?」，
完全没有进度，用户只能干等。
修复：FetchGalleryPage 增加 ParseProgress 回调，每翻完一屏上报一次
（已解析张数/总张数/当前屏），界面显示「已解析 340/2000 张」。
另外：用户设置里请求间隔是 1000ms（1 秒），全局限流让 5 个画廊共享
1 请求/秒 —— 500 次解析请求需要约 8 分钟。这是配置导致的慢，不是 bug，
但可以在界面上看到进度后就不会以为卡死了。
测试从 74 增至 80，新增：
- TestTransportIsReused / TestTransportReusedUnderConcurrency（连接复用）
- TestSetProxyRebuildsTransport（改代理要重建）
- TestParseProgressCallback（进度回调，含最后一屏）
|
2026-10-09 10:02:50 +08:00 |
|
|
toor
|
0447875b6d
|
feat: 双层并发 + 全局限流 + 整轮扫尾 + 画廊目录清单
原实现只能「多画廊并行，每个画廊串行下」，单张大画廊下得很慢。
按用户多年使用习惯（5 画廊 × 每画廊 8 张）改造为双层并发。
- 双层并发：画廊并发(默认5) × 页并发(默认8) = 最多 40 张同时下载，
两个值都在设置面板可调（1-20）。页级 worker 池 + mutex 保护计数。
- 全局限流：对齐参考实现的 nextRequestTime 算法，限所有请求
（含 /s/ 解析与图片本体），默认 0 秒关闭。
- 整轮扫尾：跑完后自动重扫失败页 1 轮（同样走完整 4 次退避重试），
仍失败则停下并标记 partial，换线路后手动点开始即可续传。
- 画廊目录清单 .ehdl.json：记录 gid/token/总页数/已完成页，
即使 state.json 丢失也能算出「应该多少张、还差多少张」。
顺带修复：
- Start() 双重加锁导致死锁（引擎完全无法启动）
- clampInt 越界时返回默认值而非边界值（设 30 会静默变 8）
- 直链正则写死 hath.network，CDN 换域名会全军覆没 -> 加图片 URL 兜底
- ReconcileTask 会误报「有改动」
测试从 37 增至 62，其中并发/限流/扫尾用 httptest 模拟 EH 实测：
- 页并发峰值 = 8、画廊并发峰值 = 5（完全生效）
- 12 次请求限流 80ms 实测 966ms（期望 880ms）
- 断点续传 4 张已存在时只发 5 次请求
|
2026-10-09 00:11:38 +08:00 |
|
|
toor
|
0f927147cd
|
feat: EH Downloader 用 Go + Wails v2 重写
原 Electron 版在这台 Windows 机器上无法启动（0x80000003 崩在 V8 初始化），
整个业务逻辑用 Go 重写，前端界面与协议结论完全保留。
- internal/eh: 协议核心，画廊页分页 -> /s/ -> hath 直链 -> 下载
- internal/core: 并发引擎 / 状态存储 / 目录模板 / 油猴桥口
- app.go: Wails 绑定层，替代 Electron IPC
- frontend/js/api.js: 适配层，renderer.js 一行未改
- 37 个测试，含 httptest 模拟 EH 的端到端链路验证
相比 Electron 版：90MB -> 12.4MB，180MB 内存 -> 27MB，构建 90s -> 2s。
顺带修掉原版代理探测的 bug（永远返回第一个端口，从不等连接结果）。
|
2026-10-08 23:28:16 +08:00 |
|