此项目中主要做的是数据的大批量爬取,以及报告的计算。前台使用的vue和bootstrap进行数据展示。后台的数据爬取使用一个自己封装的HTTPRequest类,运用了单机版的多线程队列爬取。报告计算也使用了多线程队列来节约生成时间,中间使用了mongodb的数据存储已经redis的缓存技术,以及一些图像操作技术生成pdf
评论