责任描述:
• 编写爬虫程序,想出反反爬虫策略,数据清洗,分表储存;
• 基于django-suit框架编写django后台,与使用者进行交互;
• 部署至centos服务器;
• 持续做程序的维护与服务器的运维工作。
项目简介:
1. 根据需要爬虫的数据进行需求分析,分析洲际集团官网api结构与反爬机制;
2. 通过requests,xpath以及正则表达式,完成获取房态数据的抓取、批量订房、取消预定号、等功能;
3. 对抓取数据进行清洗过滤,分表储存;
4. 操作语言:python、框架:django+djangosuit、数据库:mysql、开发平台:visual studio code
点击空白处退出提示
评论