feat: 双层并发 + 全局限流 + 整轮扫尾 + 画廊目录清单
原实现只能「多画廊并行,每个画廊串行下」,单张大画廊下得很慢。 按用户多年使用习惯(5 画廊 × 每画廊 8 张)改造为双层并发。 - 双层并发:画廊并发(默认5) × 页并发(默认8) = 最多 40 张同时下载, 两个值都在设置面板可调(1-20)。页级 worker 池 + mutex 保护计数。 - 全局限流:对齐参考实现的 nextRequestTime 算法,限所有请求 (含 /s/ 解析与图片本体),默认 0 秒关闭。 - 整轮扫尾:跑完后自动重扫失败页 1 轮(同样走完整 4 次退避重试), 仍失败则停下并标记 partial,换线路后手动点开始即可续传。 - 画廊目录清单 .ehdl.json:记录 gid/token/总页数/已完成页, 即使 state.json 丢失也能算出「应该多少张、还差多少张」。 顺带修复: - Start() 双重加锁导致死锁(引擎完全无法启动) - clampInt 越界时返回默认值而非边界值(设 30 会静默变 8) - 直链正则写死 hath.network,CDN 换域名会全军覆没 -> 加图片 URL 兜底 - ReconcileTask 会误报「有改动」 测试从 37 增至 62,其中并发/限流/扫尾用 httptest 模拟 EH 实测: - 页并发峰值 = 8、画廊并发峰值 = 5(完全生效) - 12 次请求限流 80ms 实测 966ms(期望 880ms) - 断点续传 4 张已存在时只发 5 次请求
This commit is contained in:
+17
-3
@@ -157,9 +157,23 @@
|
||||
</label>
|
||||
|
||||
<label class="field">
|
||||
<span>并发数:<b id="set-conc-v">3</b></span>
|
||||
<input type="range" id="set-conc" min="1" max="8" step="1" value="3" />
|
||||
<small>每个画廊要发 2N+1 次请求,建议 2~4。调太高容易被限流。</small>
|
||||
<span>画廊并发:<b id="set-gconc-v">5</b> 个</span>
|
||||
<input type="range" id="set-gconc" min="1" max="20" step="1" value="5" />
|
||||
<small>同时处理几个画廊。</small>
|
||||
</label>
|
||||
|
||||
<label class="field">
|
||||
<span>单画廊页并发:<b id="set-pconc-v">8</b> 张</span>
|
||||
<input type="range" id="set-pconc" min="1" max="20" step="1" value="8" />
|
||||
<small>每个画廊内部同时下几张图。<br>
|
||||
总并发 = 画廊并发 × 页并发,默认 <b id="set-max">40</b> 张同时下载。</small>
|
||||
</label>
|
||||
|
||||
<label class="field">
|
||||
<span>请求间隔:<b id="set-interval-v">0</b> 秒</span>
|
||||
<input type="range" id="set-interval" min="0" max="50" step="1" value="0" />
|
||||
<small>所有请求之间的最小间隔(全局生效,含 /s/ 解析与图片下载)。0 = 不限流。<br>
|
||||
高并发下如果频繁遇到 429,可以调到 1~2 秒。</small>
|
||||
</label>
|
||||
|
||||
<label class="field">
|
||||
|
||||
Reference in New Issue
Block a user