Python

1.天眼查、企查查爬取私募基金有限责任公司相关信息 2.通过协程异步并发高效爬取 3.使用redis mysql数据库存储 4.使用selenium解决部分html无法解析的问题

1、通过scrapy框架，进行并发爬取数据。 2、开源pytesseract识别验证码成功率低，使用超级鹰破解登录验证，提高验证正确率。 3、实现了每分钟更新一次数据，session共享，无需使用代理。

1.使用appium对HomeLinking APP进行功能化验证，完成冒烟测试，系统循查 2.利用allure自动生成测试报告，利用jkenis部署可远程控制执行

1.电商平台抢购商品 2.可以快速抢购某些指定的商品 3.用到requiest/pickle/logging 可以在界面选择多线程去进行抢购指定的商品

根据google trends 追踪关键词热度 项目追踪抓取区块链相关数据，保存到本地进行数据分析 用到的技术：logging/pandas/datetime/apscheduler/pytrends

客户是业内一家中型财经公司，数据来源渠道一共2个： 购买或者爬虫，他们公司爬虫数据全是由我一人开发，并持续维护（自2017年开始至今，稳定不会间断） 涵盖：A股，港股，美股，美股ETF，全球指数，可比基金，债券，北交所，新三板等全套信息

1.实现基于禅道的问题提交维护功能 2.实现了与设备的对接，可通过设备本体以及手机app发布问题，并临时锁定设备 3。实现设备本体的日志转存oss以及后续的修复解锁功能

通过python采集API接口的用户订单数据，通过SharePoint上传手工数据，通过python采集后入库在airflow平台上配置调度dag，实现数据入库后，计算出每笔订单返利信息，反馈客户

使用scrapy框架，通过反爬技术，以及多线程，对网页中的图片进行分布式的爬取，最终获取每一张图片，并且将每一张的信息存储在数据库中

简介： 本人基于Python Django框架完全开发的该平台，可用于辅助管理公司的指定数据资源（文件目录）： 解决的痛点： 对于SVN、Gitlab等公司核心代码资源，可以文件目录的方式实现同步备份，从而实现容灾。可以自定义任意目录，并以任意调度方式进行。 1.服务器资源：登记、修改物理机/虚拟机等服务器资源的基本信息。 2.重要数据管理： ① 目录备份，通过目录同步的方式，实现文件备份。 ③ 自定义任务调度，可以手动或定时调度执行目录同步。

PC微信能做的事情，都能做到，原理是 hook 微信进程，直接拿到微信内存数据，再转发出来，比如可以 1. 接收转账 2. 监控公众号推送 3. 自动发送和回复消息 4. 自动通过好友申请

1、分为两个部分 1）制作部署包工具 用户可选择项目、仓库，用两种方式之一制作部署包，可选择分支，然后选择分支下的编译输出包，或者直接输入标签名，然后制作部署包，过程中弹出交付件清单的所有内容，用户可修改后点击确定，等待进度条执行完毕，则部署包制作完成，用户可点击下载按钮下载，所有做包记录存到数据库 2）部署工具 外发到现场机台使用，只允许使用制作部署包工具制作的部署包进行部署，帮助用户一键部署需要的交付件到现场机台，并留存部署记录 2、制作部署包工具的前后端均由本人开发，前端采用angular框架，后端采用django框架，涉及javascript、css、html5、python3、mysql； 部署工具采用python2+PyQt4+shell开发 3、部署工具一开始按照需求开发，并在用户的意见下，一直迭代开发，最终最大化的满足用户的需求，提高用户体验，这个过程是比较艰辛的，因为用户是客户人员，沟通上比较不直接，让我从中学会了更有效、有力的沟通

简介: 获取网站信息，存表，web端展示与调度管理，使用账号登陆认证。 特点: web端管理:在web端定时调度，并且可以手动启动,停止 由本人完全开发。

1、使用scrapy并发爬取数据，使用国内代理IP。 2、爬取波胆数据，网站接口更换，进行二次开发。 3、项目稳定运行至今。

为了缓解高校自习室及其座位紧张的问题，开发一款基于计算机视觉目标检测的软件，可以实时展示自习座位，并且可以做到对指定的座位进行预约等功能。 搭建YOLOv3目标检测平台，基于VOC数据集标注形成自己的特殊数据集训练网络，能够实时地反映出相应教室的座位空余情况，同时可以根据用户选择的特殊需求推荐座位。

feedback 使用 Django 和 easyspider 爬虫框架完成，主要任务是： 1. 同步上游 供应商的商品价格，数量，货期变化 2. 每日把更新信息，推送到 下游对接的高校内部系统中

项目分为场景分析、数据获取与清洗、模型开发与测试、模型验证与评估以及上线等； 本人负责全流程产品的设计与开发并验证等。

1、该工具主要实现两大功能： 1）自定义app配置 游戏包名选择、安卓或苹果系统选择、广告平台选择、新建游戏版本或用户分组、修改游戏的各项配置，本地配置应用到外网服务器，也可同步外网服务器的配置到本地，让运营人员能够按需求一键修改需要的游戏配置，极大的提高了操作效率和降低人工成本，可查看操作记录 2）广告比重配置 游戏包名选择、安卓或苹果系统选择、新增或修改广告平台、新建游戏版本或用户分组，本地配置应用到外网服务器，也可同步外网服务器的配置到本地，让运营人员在分析当前游戏用户流量后，快速的调控广告比重，极大的提高了操作效率和降低人工成本，可查看操作记录 2、该工具采用python3-PyQt5开发，使用mysql数据库，用FTP上传ini的形式，并使用了多线程，操作流畅，用户体验好，整个工具全由我自己自主研发 3、其中遇到一次性修改配置过多，服务端响应慢的问题，故采取多线程，分批次并发请求，解决此问题

这是我之前些的爬取鬼灭之刃电影的程序，使用了requests爬取，抓取到的ts等进行整合，最终分布拼接成完整的视频

这个项目是SkoolofCode网站 (https://skoolofcode.us/), 它是一个专门为儿童和青少年设计的在线编程辅导平台。以下是该项目的详细说明： 1. **前端技术栈**：这个网站采用HTML5，CSS3，JavaScript进行开发，使用了jQuery和Bootstrap框架以提供优秀的用户体验和交互。Bootstrap框架帮助实现响应式设计，使得网站可以在各种设备和屏幕大小上展现一致的效果。 2. **后端技术栈**：Python和Django框架构成了网站的后端。Django的MVC(Model-View-Controller)模式用于结构化和管理代码，同时使用ORM(Object-Relational Mapping)进行数据库操作，大大简化了数据处理过程。 3. **数据库**：数据库方面使用的是MySQL，它是一个可靠的关系型数据库管理系统，负责存储所有的用户数据，包括账户信息，课程信息等。 4. **服务器和云技术**：服务器托管在Digital Ocean上，以便提供高效，稳定的服务。同时，也使用了Microsoft Azure云服务来提高