知网数据采集RPA产品系统

客户是一家铜铝复合材料生产企业，其内部有数字化系统，客户希望有工具可以定期自动地：打开知网 -> 搜索 “铜铝复合材料” 的相关文章 -> 把搜索到的信息存入其数字化系统的数据库 ，供其使用 。

本项目是一套面向铜铝复合材料行业的知网学术文献自动采集RPA系统，主要功能模块如下：

（1）智能浏览器自动化模块：基于Playwright实现自动打开知网门户、智能等待页面加载、自动输入检索关键词、点击搜索按钮等全流程浏览器操作，支持有头（可见窗口演示）与无头（后台静默执行）两种运行模式。

（2）多页数据抓取模块：支持用户自定义采集页数（1-20页可选），自动识别并点击"下一页"翻页按钮，智能判断分页终止条件，批量提取文章标题、作者列表及原文链接等结构化数据。

（3）交互式可视化界面：在浏览器页面上动态注入流程进度条，支持运行速度档位选择（快速/中速/慢速），实时展示采集结果预览弹框，适合客户演示汇报场景。

（4）数据入库模块：自动将采集到的文献信息写入客户MySQL数据库，自动建表、批量插入，支持配置数据库连接参数及RPA任务标识，便于后续检索与追溯。

（5）跨平台与远程Agent模式：支持Windows/Linux双平台，可打包为自带运行时的便携包一键部署；同时提供远程Agent服务，允许无图形界面的服务器通过HTTP接口触发RPA执行，满足企业级调度需求。

我在本项目中负责完整的技术选型、架构设计与核心代码实现。

技术栈：Python 3 + Playwright（跨浏览器自动化框架，比Selenium更稳定、速度更快）、PyMySQL（数据库交互）、Java Launcher（跨平台启动器，负责OS判断与Python运行时分发）、Properties配置文件（动态指定目标网址、关键词、数据库连接等参数）。

实现亮点与难点：（1）利用JavaScript注入技术在页面上动态展示进度条与提示信息，增强演示效果与用户体验；（2）实现浏览器有头/无头模式自动切换，兼容服务器无桌面环境场景；（3）优雅处理知网动态加载与反爬策略，通过合理等待与重试机制保障采集稳定性；（4）设计远程Agent架构，使RPA可被业务系统通过HTTP远程调用，解耦部署与执行环境。