描述:此系统为模拟用户手工操作点击下载其他网站的文件,相当于爬虫,把文件按照类别存储到服务器,按照设置指定下载每个月的文件。下载失败,成功都有提醒。下载监控模块,用户操作日志模块,机构管理,权限管理,参数设置,下载报表等模块。
项目架构:Springboot,LayUI,MyBatis-Plus,MySql,Tomcat,selenium,quartz
项目职责:产品设计,项目负责人,在此项目中担任多项职责,从产品的需求分析,跟客户的对接,产品的原型设计,数据库的设计,文档的模块编写,模块的分发,到客户现场调试,现场部署等。
技术要点:
1、基础数据的增删改查
2、使用 selenium 自动化测试工具模拟手动登录下载
3、下载的监控等
遇到困难:遇到最大的困难就是从另一个网站登录进去然后到达指定的位置,自动化下载文件。想过了很多种java爬虫方法,解析网址的时候,始终找不到最终固定下载文件的URL,于是就使用 selenium 模拟手工的操作去下载,因为害怕爬的网站会请求访问量大会崩溃,所以设定了下载的间隔时间。使用quartz定时任务,每3分钟执行一次多线程下载,每次限制2