小说爬虫

我要开发同款

捕风的异乡人2023年03月12日

70阅读

所属分类python爬虫

作品详情

应用了requests，re,ThreadPool模块，对小说网站进行爬取，获得小说文本数据。爬虫效率快，获取的数据量大。通过css选择器进行定位，效率高。

查看全文

声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP

实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

前往安装

分类

压缩算法 Ruby/Rails开发工具 jQuery图片展示/幻灯插件 Web加速缓存软件多媒体处理 Sliverlight Web多媒体播放器数据库驱动程序 ErLang TypeScript 代理服务器软件网络会议/视频会议指纹识别验证码(Captcha)高级UI组件(Advanced)

推荐作品

付费进群管理系统

1.该系统主要用于声控直播管理粉丝进群付费提现使用，分别包括队伍管理，提现管理，发布群号，更改账户，添加账户模块。播主可以通过该系统查看入群粉丝微信账号信息和付费情况，方便提现管理增加收益。 2.我负责整个系统服务端的从零搭建环境已经创建git仓库进行开发管理，搭建开发框架，使用到springboot+springjdbctemplate+bootstrap++swagger+redission+jwt+docker。 3.该系统开发过程从零开始考虑和前端对接接口安全方面问题使用jwt进行接口鉴权，以及考虑后期接口并发方面使用redission保证接口在并发访问情况下数据一致。

sf轻小说爬虫

模拟浏览器发送请求，获取到小说数据，提取到小说文本，并保存。熟练通过正则，xpath，BeautifulSoup进行提取。运用多线程对爬虫进行加速。可获取到的数据量大，效率高。

快手爬虫

对浏览器进行了模拟，定义了一个类，用面向对象的方法写的，对异步请求进行爬取，解析，保存，运用了多线程技术，爬虫效率高，自动翻页，获取到数据量大，可用于进行数据分析，具有商业价值。

学车网

功能：学员在线练习，观看视频，报名驾校。管理端，学员管理，驾校管理，教练管理，退款管理等。职责：根据需求，负责整个系统的设计和数据库设计，编码的开发

在线教育培训

主要功能：用户管理，角色权限，自己管理，试题管理，资讯管理。负责功能， 1、学员登录，资讯查看，学习等学员端所有功能的设计和实现。 2、封装了视频播放组件。 3、制定了出题规则和答题实现逻辑。