一、想要获取数据进行数据分析，如分析房价找到最优方案，分析商品价格数据讨论价格波动趋势
二、想将网页数据下载到本地保存，如小说、视频、图片批量地抓取到本地
三、可以获取评论区评论分析消费者对那些方面更有需求，分析消费者心理
点击空白处退出提示
网页数据获取产品系统
我要开发同款技术信息
作品详情
行业场景
功能介绍
获取网页的各种数据，如评论，图片，小说文字，视频，商品价格，好评数量等等，一些可收集在mongodb,redies,MySQL等数据库中，也可以用csv文件保存或保存在Excel中；小说数据可以文档、epub电子书等形式保存，可以结合数据进行数据分析
项目实现
利用自动化工具drissionpage绕过一些反爬措施，批量获取数据，利用xpath筛选目标数据，再把数据以html文档的形式保存，或者保存在mongodb里，小说直接发送请求会有乱码，需要用fontTools库和ddddocr库进行读取文本和识别文本，将乱码整合成可视化字体
示例图片
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
评论