网络爬虫

实时监控商品状态，当状态变更进行判断并执行自动化下单等一系列操作 本项目负责破解加密参数，功能实现以及需求梳理

1.项目其实很简单，无非就是获取响应数据，分析数据，得到相应地址，下载并保存 2.全程独自完成，利用的正则，bs4等相关工具，精准实现所有功能 3.很多网站都会进行反爬设置，关键是精准找到对应接口

1.针对美容美发行业特性服务上线， 2.开发具有多店铺，会员管理，员工管理，预约功能，活动管理，商城，分佣，作品集，微信支付等功能平台； 3.促进门店订单交易，会员实时余额查询等快捷便利服务体验。

主要分为几个部分 1 网站网络请求分析，JS源代码分析等 2 模拟浏览器发送请求，获取数据后解析数据 3 数据持久化，保存在了json文件中（抓取重点数据可保存在数据库中）

项目介绍： 自主研发的时空大数据平台，是一个集地理信息和云服务于一体的综合性管理平台。它利用互联网在 线抓取数据、本地特色扩展数据以及基础测绘 GIS 数据。该平台通过微服务构建数据中心、服务中心、源 数据集成发布、数据代理等功能模块，实现对测绘数据（Shape、TIF）、公共数据、IOT 数据的微服务技 术管理，并借助 GeoServer、Nginx 技术对外提供标准的 WMTS、WMS、RESTFUL 接口。系统内部还封装 了大华、铁塔视频组件，用户可在后台配置对应参数，引入相应组件的 jar 包以获取视频流。 项目技术：SpringCloud Alibaba、Nginx、Nacos、Mysql、Redis、PostGis、RocketMQ、Seata、ShardingSphere、ELK、kettle、Minio、Vue、Git、JenKins 职责描述： 1．参与需求讨论，负责核心功能开发，包括对接第三方系统和编写相关技术接口文档。运用领域驱 动设计（DDD）方法，确保系统设计的合理性和可扩展性。 2．采用去重表技术解决消息重复消费问题，并通过定时器定期清除无用的去重表数

基于二手车交易数据的二手车估值平台项目 构建日均爬取20万条以上数据的网络爬虫，从二手车交易平台获取车辆的报价、售价、使用及保养情况等数据，通过机器学习算法对二手车进行估值。主要使用工具：Scrapy、Redis、Django、Mysql。

主要是给客户破解瑞数产品，包括瑞数4,5,6，相关网站有中国海关，国家电网，药监局，中国联通，深圳房地产，深圳大学等 首先抓包分析网站请求信息，使用python请求对应的地址获取到js代码，分析js代码，把js代码抠下来拿到本地node环境运行，使用补环境技术，让js代码在本地能够运行成功，最后获取到cookie，再次带上cookie对网站发请求，顺利获取到网站的信息

帮客户破解极验平台的点选，滑动，无感验证码，还有易盾平台的滑动验证码 使用python获取到平台的验证码图片，然后使用图片识别网站识别滑块的距离，或者需要点选的文字，分析js代码并使用js代码加密请求的数据，再次使用python对网站发送请求，成功获取验证码通过之后获取到的数据，然后带着数据登录网站，能够登录成功

使用Python作为编程语言，在对网站结构进行分析后利用爬虫技术下载所需的图片及相关信息，作为数据分析、人工智能训练的基础。

责任描述：负责设计和实现折扣快报APP的数据处理流程，包括线报数据的采集、清洗和整理，以及关键信息的提取和分析。通过有效的数据处理流程，确保折扣信息的准确性和及时性，同时保护商业机密，确保数据安全。 使用技术：Python, MySQL, Docker, Docker Compose, Flask, sqlalchemy 技术描述： 1.数据爬取与管理： (1)使用 Python 编写爬虫程序，实现对相关数据的批量获取。 (2)利用 SQLAlchemy ORM存储数据到Mysql，确保数据准确性和完整性。 2.系统部署与安全合规： (1)使用 Docker 管理部署，通过 Flask 提供对外接口，同时设置监控和警报机制保障系统稳定运行。 (2)严格遵守法律法规和网站使用规则，确保数据安全和用户隐私。

采用网络爬虫等技术获取地学数据，并借助Python等编程语言进行数值模拟，将模拟结果采用python各个库的调用共同完成数据处理的界面开发，并采用GMT对处理后的数据进行可视化处理。

破解雪球网站和马蜂窝网站的cookie 首先分析网站请求的信息，分析cookie的生成顺序，然后使用python代码对网站进行请求，获取到对应的js代码，在本地补环境并执行js代码，获取到对应的cookie再对网站进行请求，正确获取到网站的数据

本程序使用Python语言编写，使用的是Flask轻量级Web应用框架，数据库采用MySQL设计，使用百度开发的开源的ECharts图表库进行数据的可视化显示。招聘信息数据的爬取使用Requests进行，爬取的招聘网站为拉勾网，拉勾网有较强的反爬机制，所以采用Cookie的形式进行封装，再进行数据获取。获取的招聘信息数据存储到MySQL数据库，然后使用Pymysql包连接MySQL将查询的数据展示到页面。

1、项目分为：①竞品实时数据爬取；②对应数据分析； 2、我负责的：①代码撰写；②爬虫策略设计；③分析报告

在产品技术中心主要的工作内容如下： 1、国裕医药在线、国裕网项目： 前期主要是接手融合版订单模块、支付模块。包含易极付、微信支付、农行银企通、浦发B2B支付等 在公司的组织架构、人员调整后，主要是负责对项目的管理为主。主要项目有：国裕医药在线的前端、用户中心、统一管理中心、api、dubbo服务、扫码版、国裕网前端、文件上传系统、JMS消息系统、定时任务项目。 2、项目管理等工作： 在国裕医药在线的项目不断迭代中，主要是做需求的分解，程序设计，任务分解，把控进度，质量监督的工作，必要时做些核心模块的代码。 对于有多个需求时，严格根据项目紧急、重要程度来排期。根据个人技术能力、目前的任务量 ，按实际情况来分配任务 对项目组内的同事写的代码做Code Review，对有的代码需要改善的地方，与同事一起讨论并进行优化。 3、项目安全性等工作： 针对国裕医药在线平台做EDI安全测评。主要内容有： 密码复杂度、 登陆失败次数的处理策略、 多步骤操作的连续性鉴权（如找回密码）、 隐私与敏感信息的加密存储、全站https、 防请求头攻击、 cookie防篡改、 用于敏感信息加密存储、 web应用

网页爬虫 1 使用requests库发送请求 2 使用bs4来解析网页，re格式化数据，拿到数据 3 数据持久化存储（例子中存储的是csv文件，可存储在数据库等）

在这个示例中，首先我们使用requests库发起了对指定网址的请求，并检查响应状态码是否为200（表示请求成功）。然后，我们使用BeautifulSoup库解析页面内容，并从中提取所需的数据（这里示例提取了所有标题元素）。最后，我们打印这些标题元素的文本内容。 请注意，实际的网页结构和所需的数据会因网站而异，你可能需要根据具体网站的HTML结构和数据位置来调整代码。另外，确保你了解网站的使用规定和法律法规，遵守网站的爬虫规则，避免侵犯他人的数据和隐私。

技术栈：前端（vue3+vite2）+后端（python+flask)+数据库（mysql） 实现功能：1.网易云音乐接口解析 2.账号注册/登录 3.前端界面设计 4.python后端API设计 5.邮件验证码，账号登录

项目比较简单基本的爬虫技术用的是xpath解析，翻页爬取自动跳转详情页面的具体参数。数据存取没设置，可以根据客户需求如，JSON，csv,mysql,mongodb.

IT帮帮(https://itbangbang.cn) 本系统是本人注册的一人公司名下的系统，是100%本人独立完成的所有工作。包括：前端、后端、架构、产品设计、运维、爬虫、域名等。 1.本人完成(100%) 后台管理部分； 用户端部分： 目前上线部分分为：联系、需求、服务、商机、帮豆模块。 需求：发布需求、我的需求。主要为IT类发布任务。 服务：发布任务、我的任务。主要我技能服务类服务。 商机：通过网络爬虫selenium抓取招标数据，进行展现。 帮豆：在线充值，需求竞标、查看商机会消耗帮豆。 之前曾经上线，目前暂时未显示的模块： comfyUI:采用大模型进行在线绘画作图。 视频播放； 资源上传与下载功能等。 2.涉及技术： caddy、springboot、dubbo、redis、mongodb、bootstrap、websocket、netty、MySQL、selenium、多线程、jdk17、python、jquery、vue.js、Https、 开源安全模块(天池)等、第三方支付、在线文件预览、下载模块