EasySpider: 可视化浏览器自动化测试/数据采集/爬虫软件

项目简介

一个可视化浏览器自动化测试/数据采集/爬虫软件，可以使用图形化界面，无代码可视化的设计和执行任务。只需要在网页上选择自己想要操作的内容并根据提示框操作即可完成任务的设计和执行。同时软件还可以单独以命令行的方式进行执行，从而可以很方便的嵌入到其他系统中。

A visual browser automation test/data collection/crawler software, which can be used to design and execute tasks in a code-free visual way. You only need to select the content you want to operate on the web page and follow the prompts to complete the design and execution of the task. At the same time, the software can also be executed separately in the command line, so that it can be easily embedded into other systems.

示例1/Example 1

（右键）选中一个大商品块 -> 软件自动检测到同类型商品块 -> 点击“选中全部”选项 -> 点击“选中子元素”选项 -> 点击“采集数据”选项，即可采集到所有商品的所有信息，并分成不同字段保存。

(Right click) Select a large product block -> The software will automatically detect similar blocks -> Click the 'Select All' option -> Click the 'Select Child Elements' option -> Click the 'Collect Data' option, you can collect the information of all products, and will be saved by sub-field.

示例2/Example 2

（右键）选中一个商品标题，同类型标题会被自动匹配，点击“选中全部”选项 -> 点击“采集数据”选项，即可采集到所有商品的标题信息。

同时，选中全部后如果选择“循环点击每个元素”选项，即可自动打开每个商品的详情页，然后可以再继续设置采集详情页的信息。

(Right Click) Select a product title, the same type of title will be automatically matched, click the 'Select All' option -> Click the 'Collect Data' option, you can collect the title information of all products.

At the same time, if you select the 'Loop-click every element' option after selecting all, you can automatically open the details page of each product, and then can set to collect the information of the details page.

文档/Documentation

请点此进入教程文档，如有英文可暂时翻译一下，或看作者的硕士毕业论文（主要看第三章和第五章）。

Ebay样例博客：https://blog.csdn.net/ihero/article/details/130805504。

Documentation can be found from GitHub Wiki.

视频教程/Video Tutorials

Bilibili/B站视频教程:

EasySpider介绍 - 中国地震台网采集案例

设置页面向下滚动

如何无代码可视化的爬取需要登录才能爬的网站 - 知乎网站案例

循环点击列表中每个链接进入详情页采集详情页内容+设计时动态调试+动态JS

实战采集汽车网文章内容并下载文章内图片

定时执行任务+选中子元素多种模式+将提取值作为变量输入

【重要】自定义条件判断之使用循环项内的JS命令返回值 - 第二弹

流程图执行逻辑解析 - 58同城房源描述采集案例

MacOS系统设计和执行eBay网站爬虫任务教程

如何执行自己写的JS代码和系统代码 （自定义操作）

如何自定义循环和判断条件 - 第一弹

如何对元素和网页截图及命令行执行指南

OCR识别元素内容功能（常用于文字验证码）

如何爬需要输入验证码的网站

如何切换IP池和使用隧道IP - 打开详情页采集案例

如何同时执行多个任务（并行多开）

Python代码运算后的结果作为文本框的输入

实例 - 反人类网站文章采集和代码调试

写入MySQL数据库教程

Cloudflare等极端反爬网站如何爬取

Refer to Youtube Playlist to see the video tutorials of EasySpider.