为了获取某些小说网站的小说的最新章节,开发了此爬虫工具。
主要功能:
1、定义几个常用的小说网站,这些都是采集的目标;
2、分析这些网站的数据格式,使用HTTPConnection自动读取这些数据,并且把多个网站的数据进行比较;
3、获取到的数据存储到TXT文本(每个章节一个文本),并将相关的索引保存到mysql中;
4、利用MVC开发了一个配套的浏览网站
点击空白处退出提示
为了获取某些小说网站的小说的最新章节,开发了此爬虫工具。
主要功能:
1、定义几个常用的小说网站,这些都是采集的目标;
2、分析这些网站的数据格式,使用HTTPConnection自动读取这些数据,并且把多个网站的数据进行比较;
3、获取到的数据存储到TXT文本(每个章节一个文本),并将相关的索引保存到mysql中;
4、利用MVC开发了一个配套的浏览网站
评论