网络爬虫

1、帮助客户完成京东、天猫等平台不同商品评论数据自动抓取（包括图片信息）； 2、搭建的RPA机器人能每天自动化完成评论数据抓取任务；

本程序使用Python语言编写，使用的是Flask轻量级Web应用框架，数据库采用MySQL设计，使用百度开发的开源的ECharts图表库进行数据的可视化显示。招聘信息数据的爬取使用Requests进行，爬取的招聘网站为拉勾网，拉勾网有较强的反爬机制，所以采用Cookie的形式进行封装，再进行数据获取。获取的招聘信息数据存储到MySQL数据库，然后使用Pymysql包连接MySQL将查询的数据展示到页面。

1，用户只要告诉我所需要的数据，我用Python爬虫技术就可以将网站数据爬取下来。 2,100%都是我写出的，最终给用户数据就行。 3，数据完整，不缺失。

通过对excle读取获取需要的信息，使用selenium对网页进行数据爬取，获取需要的数据，对获取的数据处理后保存在本地数据库或者输出为excle

post请求参数分析，需要解密2重签名嵌套逻辑，反向根据webpack模式找到签名生成模块，并重写更改，拿到2重签名套入参数

我主要是掌握c++、php、java、go、D等编程实现能力； 也可以兼容行业市场调研，深度机器学习 算法设计能力及可以实现实际应用项目关键算法

老板有什么需求就做什么 由于做爬虫蹲号子一个月 目前无业家里蹲 随时可接项目 不挑项目、不挑时薪 先做后付款 ^_^ 3年以上工作经验 主做web后端，爬虫，数据分析 业余写过自己的股票，债券量化回策

爬取1688商品列表数据 1、多关键词换行隔开 2、新增价格区间、销量筛选 3、新增采集日志 4、采集字段为：商品名称、商品链接、价格、销量、复购率、店铺星级、诚信通年限、图片链接 5、日志显示显示采集的关键词，页码

帮客户在知网上采集31个省的日报内容，从2010年至2023年的每天的日报内容，供客户科研使用 使用python+request查询出每个省的所有日报地址，然后再遍历这些地址，再次请求这些地址，获取到所有的网页内容，期间遇到滑块验证码，使用python+js破解滑块，继续采集数据

能够从国研网、橘子资讯、人行网站、新浪财经等多个公开数据来源采集信息。通过Python编程语言，我们将实施网络爬虫，定期抓取这些网站上的数据，包括经济、金融、政策等各个领域的信息。这些数据将被整理并存储，以供进一步分析、研究和决策使用。

利用python语言拿到网址上数据，进行数据清洗拿到自己需要的数据，利用数据进行可视化窗口绘制，批量爬取音乐，抖音，图片

1. 在线教育平台 2. 包含组织，老师，学生等端 3. 可以发布课程，学习课程，以及在线学习等功能 4. 前后端都有，都由个人开发

导账工具 利用爬虫技术从网上爬取有效数据，在本地进行数据整理后，上传至服务端。服务端根据数据内容进行后续相关业务。 项目包括： 客户端程序： 数据爬取模块、数据整理模块、上传模块 后端接口： 提供WEBAPI接收数据并存储 前端网页 本人负责了该项目的客户端实现和后端接口实现。

1. 病案填报：对病案数据填报以及自动填报，并且以纯 js 对填报数据校验。 2. 填报审核：审核角色将填报病案审核。 3. 数据上报：将填报数据上报到国家平台。 4. 数据统计：使用 echarts 做图形及 gridManager 表格对填报数据统计。 5. 系统管理：系统用户、科室、角色、填报模板配置等。

python angular redis mysql nginx linux 作品分类（1-5个分类）（必填）： 机器学习/深度学习 脚本编程语言 网络爬虫 日志分析和统计 项目构建 添加标签，按回车确认 HTML5开发相关文件管理器其他jQuery插件Chrome插件/扩展论坛系统BBS作业/任务调度网络爬虫日志分析和统计图形和图像工具Emoji 表情相关终端/远程登录搜索引擎项目构建REST/RESTful项目嵌入式操作系统

内网渗透的痛点：目前已有的扫描器，依赖库较多，体积过于庞大，在内网渗透中，很多极端情况无法安装扫描 器，使用socks4/socks5代理扫描的话，时间久，效率低与选择自制工具 工具内核采用Csmap 主要贡献:负责前端的代码实现、后端代码优化

1.项目其实很简单，无非就是获取响应数据，分析数据，得到相应地址，下载并保存 2.全程独自完成，利用的正则，bs4等相关工具，精准实现所有功能 3.很多网站都会进行反爬设置，关键是精准找到对应接口

慧眼安全检测平台是基于行业化合规的主动安全管理产品。可作为行业监管部门的监督检查工具，快速摸排资产、精准定位风险隐患，及时响应通报并推动整改；可作为行业化关键信息基础设施的管理和监控平台，结合安全事件，帮助用户进行资产梳理，评估漏洞影响，快速处置，形成安全管理闭环。 我负责检测引擎开发

当前系统能力： 数据源：贝壳网页版 数据展示方式：飞书通知、生成excel、命令行展示 规则配置：按照不同用户配置监控房源、配置房源黑名单 监控触发方式：手动触发、job触发

基于二手车交易数据的二手车估值平台项目 构建日均爬取20万条以上数据的网络爬虫，从二手车交易平台获取车辆的报价、售价、使用及保养情况等数据，通过机器学习算法对二手车进行估值。主要使用工具：Scrapy、Redis、Django、Mysql。