针对公司内部各部门、各团队需要各种网页文件、网页数据做分析,做了数据爬取脚本,并实现爬虫脚本的配置化
点击空白处退出提示
针对公司内部各部门、各团队需要各种网页文件、网页数据做分析,做了数据爬取脚本,并实现爬虫脚本的配置化
1.文件爬虫,按照网站进行分类,每个网站单独脚本存放,可以将网页转成word和excel存放,也可以存到数据库中
2.检索门户:针对爬虫文件,可以通过检索门户搜索内容,支持文件名、文件内容、发布时间等条件筛选
1.项目整体设计、所有代码开发我一人完成
2.爬虫使用python,后端java、数据库mysql,前端vue





评论