智能爬虫系统开源项目

本项目是一套可视化、可配置的网络数据采集平台，主要包括爬虫流程管理、可视化流程编排、定时任务调度、任务运行监控、日志查询、数据源管理、自定义函数、变量管理及通知管理等功能模块。前端基于流程图编辑器配置请求、解析、循环、条件判断、数据输出等节点；后端负责流程解析与并发执行，支持HTTP及Selenium动态页面采集、XPath/CSS/JsonPath/正则提取、Cookie和代理管理，并可将结果保存至数据库、Redis、CSV等目标。同时提供RabbitMQ消息调用、REST接口、运行状态查询、异常处理及企业微信通知能力。