++

Tampermonkey/eh.js

@@ -0,0 +1,261 @@
+// ==UserScript==
+// @name         eh-v2
+// @namespace    http://tampermonkey.net/
+// @version      1.1
+// @description  采集页面数据并发送到后端
+// @author       Jack
+// @match        *://*/*
+// @grant        GM_xmlhttpRequest
+// ==/UserScript==
+
+(function() {
+    'use strict';
+
+    // 全局配置 - 请根据实际情况修改这些值
+    const BACKEND_IP = '127.0.0.1';
+    const BACKEND_PORT = '55830';
+    const BUTTON_LOCATION_SELECTOR = '#gd5 > p:nth-child(5)';
+    const DATA_LIST_SELECTOR = '#gdt a'; // 修改为a标签的选择器
+    const ALL_IMG_DATA = {}; // 用于储存每一页的图片url, 格式为 {"0001": "https://example001.jpg", "0002": "https://example002.jpg"}, 最高支持4位数至9999
+    const source = 'eh';
+
+    // 创建按钮
+    const button = document.createElement('button');
+    button.id = 'data-sender-button';
+    button.textContent = "send data";
+    button.style.position = "fixed";
+    button.style.top = "32%";
+    button.style.right = "1%";
+    button.style.transform = "translateY(-50%)";
+    button.style.padding = "3px 8px";
+    button.style.fontSize = "10px";
+    button.style.backgroundColor = "#007baf";
+    button.style.color = "#fff";
+    button.style.border = "none";
+    button.style.borderRadius = "5px";
+    button.style.cursor = "pointer";
+    button.style.zIndex = "10000";
+
+    // 添加到指定位置
+    const targetElement = document.querySelector(BUTTON_LOCATION_SELECTOR);
+    if (targetElement) {
+        targetElement.appendChild(button);
+    } else {
+        // 如果选择器找不到元素，默认添加到body
+        document.body.appendChild(button);
+    }
+
+    // 从页面中提取图片的函数
+    function extractImagesFromPage(htmlContent) {
+        const images = [];
+        // 创建一个临时div来解析HTML
+        const tempDiv = document.createElement('div');
+        tempDiv.innerHTML = htmlContent;
+
+        if (DATA_LIST_SELECTOR) {
+            const linkElements = tempDiv.querySelectorAll(DATA_LIST_SELECTOR);
+            linkElements.forEach(link => {
+                // 从a标签中获取href属性，这通常是图片页面链接
+                const href = link.href;
+                if (href) {
+                    images.push(href);
+                }
+            });
+        }
+        return images;
+    }
+
+    // 格式化数字为4位数
+    function formatNumber(num) {
+        return num.toString().padStart(4, '0');
+    }
+
+    // 获取基础URL（移除分页参数）
+    function getBaseUrl(url) {
+        // 使用正则表达式移除 p= 参数及其值
+        return url.replace(/([?&])p=\d+(&|$)/, (match, p1, p2) => {
+            // 如果后面还有参数，保留&符号，否则保留空字符串
+            return p2 === '&' ? p1 : '';
+        }).replace(/[?&]$/, ''); // 移除末尾的?或&
+    }
+
+    // 构建分页URL
+    function buildPageUrl(baseUrl, page) {
+        if (page === 0) {
+            // 第0页不需要p参数（首页）
+            return baseUrl.includes('?') ? baseUrl : baseUrl;
+        } else {
+            // 其他页添加p参数
+            const separator = baseUrl.includes('?') ? '&' : '?';
+            return baseUrl + separator + `p=${page}`;
+        }
+    }
+
+    // 发送数据到后端的函数
+    function sendDataToBackend(data) {
+        console.log('准备发送的数据:', data);
+        console.log('数据类型:', typeof data);
+        console.log('字符串化后的数据:', JSON.stringify(data));
+
+        return new Promise((resolve, reject) => {
+            GM_xmlhttpRequest({
+                method: "POST",
+                url: `http://${BACKEND_IP}:${BACKEND_PORT}/api/save_json`,
+                headers: {
+                    "Content-Type": "application/json",
+                },
+                data: JSON.stringify(data),
+                onload: function(response) {
+                    console.log('后端响应状态:', response.status);
+                    console.log('后端响应内容:', response.responseText);
+                    if (response.status === 200) {
+                        resolve(response);
+                    } else {
+                        reject(new Error(`后端返回错误: ${response.status} - ${response.responseText}`));
+                    }
+                },
+                onerror: function(error) {
+                    reject(error);
+                }
+            });
+        });
+    }
+
+    // 处理单个页面的函数（支持HTML字符串和当前页面）
+    async function processPage(page, htmlContent = null) {
+        let images = [];
+        let hasNewImage = false;
+
+        // 处理当前页（page = 0）的情况
+        if (page === 0 && htmlContent === null) {
+            // 直接从当前DOM中提取图片
+            if (DATA_LIST_SELECTOR) {
+                const linkElements = document.querySelectorAll(DATA_LIST_SELECTOR);
+                linkElements.forEach(link => {
+                    const href = link.href;
+                    if (href) {
+                        images.push(href);
+                    }
+                });
+            }
+        } else {
+            // 获取分页URL并请求
+            const baseUrl = getBaseUrl(window.location.href);
+            const pageUrl = buildPageUrl(baseUrl, page);
+
+            // 如果是当前页面（htmlContent是响应内容）
+            if (htmlContent) {
+                images = extractImagesFromPage(htmlContent);
+            } else {
+                // 请求远程页面
+                try {
+                    const response = await new Promise((resolve, reject) => {
+                        GM_xmlhttpRequest({
+                            method: "GET",
+                            url: pageUrl,
+                            headers: {
+                                "Referer": window.location.href,
+                                "Cookie": document.cookie
+                            },
+                            onload: function(response) {
+                                resolve(response);
+                            },
+                            onerror: function(error) {
+                                reject(error);
+                            }
+                        });
+                    });
+
+                    images = extractImagesFromPage(response.responseText);
+                } catch (error) {
+                    console.error(`第${page}页采集失败:`, error);
+                    return false;
+                }
+            }
+        }
+
+        if (images.length === 0) {
+            console.log(`第${page}页没有图片，可能是最后一页`);
+            return false;
+        }
+
+        // 检查是否有重复图片并添加到总数据中
+        images.forEach(href => {
+            const isDuplicate = Object.values(ALL_IMG_DATA).includes(href);
+            if (!isDuplicate) {
+                ALL_IMG_DATA[formatNumber(Object.keys(ALL_IMG_DATA).length + 1)] = href;
+                hasNewImage = true;
+            }
+        });
+
+        console.log(`第${page}页采集完成，获取到${images.length}个图片链接，新增${hasNewImage ? '有新图片' : '全是重复图片'}`);
+
+        return hasNewImage;
+    }
+
+    // 点击事件处理
+    button.addEventListener('click', async function() {
+        // 1. 获取当前URL和title
+        const currentUrl = window.location.href;
+        const pageTitle = document.title;
+
+        // 清空之前的图片数据
+        Object.keys(ALL_IMG_DATA).forEach(key => delete ALL_IMG_DATA[key]);
+
+        // 获取当前页码（如果存在）
+        const pageMatch = currentUrl.match(/[?&]p=(\d+)/);
+        const currentPage = pageMatch ? parseInt(pageMatch[1]) : 0;
+        console.log(`当前页码: ${currentPage}`);
+
+        // 从第0页开始处理（包括当前页面）
+        let shouldContinue = true;
+        let page = 0;
+
+        while (shouldContinue && page <= 100) {
+            if (page === 0) {
+                // 处理当前页（第0页），直接使用当前DOM
+                const hasNewImages = await processPage(0, null);
+                if (!hasNewImages && page > 0) {
+                    console.log(`第${page}页没有新图片，可能已到最后一页，停止采集`);
+                    shouldContinue = false;
+                }
+            } else {
+                // 处理后续分页
+                const hasNewImages = await processPage(page);
+                if (!hasNewImages) {
+                    console.log(`第${page}页没有新图片，可能已到最后一页，停止采集`);
+                    shouldContinue = false;
+                }
+            }
+
+            // 如果图片数量达到上限也停止
+            if (Object.keys(ALL_IMG_DATA).length >= 2200) {
+                console.log('图片数量达到上限2200，停止采集');
+                shouldContinue = false;
+            }
+
+            page++;
+        }
+
+        // 打包最终数据
+        const data = {
+            url: currentUrl,
+            title: pageTitle,
+            source: source,
+            imgs: ALL_IMG_DATA,
+            totalImages: Object.keys(ALL_IMG_DATA).length
+        };
+
+        // 显示结果并发送到后端
+        console.log('采集完成的所有数据:', data);
+        console.log('后端地址:', BACKEND_IP + ':' + BACKEND_PORT);
+
+        try {
+            await sendDataToBackend(data);
+            alert(`数据采集完成并已保存到后端！\n标题: ${pageTitle}\n总图片链接数量: ${Object.keys(ALL_IMG_DATA).length}`);
+        } catch (error) {
+            console.error('发送数据到后端失败:', error);
+            alert(`数据采集完成但保存到后端失败！\n错误: ${error.message}\n请在控制台查看完整数据`);
+        }
+    });
+})();