福建省海洋预报台网页数据监测爬取系统

包含的模块：
数据爬取和序列化模块，用于抓取网页上的公开数据，并序列化为json文件，使用Python的Scrapy框架开发；
抓取失败报警模块，当由于网络或其它原因抓取失败时，向指定邮箱发送邮件，使用Python的smtp模块开发；
定时执行模块，定时驱动程序执行，使用Python的apischedule第三方模块开发。
解决的难点：
网页公开数据的接口和解析方法的提取，通过抓包工具和浏览器检查工具。
对爬取过程中各种异常的捕捉和相应的标记处理。