能让用户直观使用的爬虫系统

1.该项目为公司，项目分为python端和php端，用户在php设计的网页上输入需要爬取数据的需求录入mysql数据库，python脚本读取数据库内容爬取，返回数据到数据库，客户可以在页面上直观查看任务状态以及结果内容并可以进行导出
2.我在团队中主要进行php端的web开发，从项目的搭建（laravle框架）到服务器的部署（nginx）。也从事部分python爬虫工作，爬取网页内容，包括百度双端搜索页，知乎搜索页，51job各站，对结果使用beautifulsoup，xpath，正则按需求解析提取内容，还有用手机抓包工具获取微信指数key进行批量查询。
3.知乎数据接口请求头的的md5加密字段x-zse-96，准备一台windows server劫持知乎域名到本地在本地运行js可以获取正确的字段参与cookie生成