全自动智能爬虫程序

程序特性：
1.采取自动化手段访问收集网站数据，控制访问频率（间隔500毫秒），不妨碍网站正常运行；
2.采用定时任务方法执行程序（每2小时执行一次），无需人工干预，保证数据的实时性；
3.持久化数据是批量的，避免频繁写入数据库；
4.完整详细的日志输出，可以快速定位问题；
5.为了保证程序的稳定运行，程序中有非常多的重连机制和判定；
6.程序运行过程中出现任何错误会发送邮件和错误日志文件告知（如：网站更新，域名变换，持久化失败，重连失败...）， 保证第一时间修复问题；
7.识别数据中所有文件(如：gif，jpg，png，pdf，word，excle，xlsx，zip...)，自动下载后上传oss（上传完成删除临时文 件），并修改内容中的文件地址，保证文件的永久性；