Python

1、一款智能化的识别引擎，实现税表和财报从PDF到Excel的精准转换。 2、主要技术包含python和AI深度学习算法。 3、主要挑战为： 1）需保证数据内容的100%准确，否则就无意义。 2）需尽量准确的还原表格结构，并将表名、表头、表格等各个板块结构化处理，对算法要求高，且需要考虑全国各地不同的税表格式。

项目概述： 淮南物资消耗系统构建指标、计划、质量、仓储、领用、回收、加工改制、复用、直至报废处置的全生命周期物资管控平 台。建立精细高效的需求计划管理体系，通过生产作业计划关联、分级审查、多级平衡利库、采购进度追踪等，提升存量资 源盘活和保供支持能力。 项目职责： 1、参与项目需求评审，产品原型评审，UI设计评审； 2、根据项目排期制定测试计划，测试方案及测试流程图； 3、根据测试计划及原型编写测试用例，测试报告，整理项目文档； 4、使用jmeter对接口及压力测试； 5、编写制定自动化测试脚本，自动回归各功能流程； 6、检查测试实施每日工作内容，对项目整体测试实施进度把控。

使用FreeSurfer或FastSurfer重建的脑部三维模型，原本为左右半脑为一个整体的模型。 本次项目的主要目标是：将用DKTaltas协议分割的模型根据标签分割成不同的小的模型。 主要使用了python技术，然后用docker封装成image发布为工具。

使用vicon等动捕设备捕捉表演者的口型、收集各种口型数据、进行AI训练，将得到的AI口型，传递至motionbuider中，烘培至模型嘴部、实现快速动捕

项目要求： 1、抖音数据的爬取(https://www.douyin.com/user/MS4wLjABAAAA6QIRfJADgoyzikxITn4r6GsUVINB-EiR4UOY_ju1AU2W5Fq4YAkj-2n33_fK_gca?vid=7154044222864215331) 2、数据: 人名, 粉丝数, 所有视频的名字, 所有视频的点赞数, 所有视频的链接地址 3、将视频名字, 点赞数, 链接地址保存到excel中, excel文件名: 人名_粉丝数 项目实现： 1、使用selenium自动打开该网址，需要首先通过验证码中间页，此处借助超级鹰网站提供的API接口识别图片验证中的文字位置，创建selenium的动作链依次点击文字的位置并确认，这样可以通过验证 2、使用selenium模块提供的控制页面滚动的方法滚动到页面底部，此处需要等待数据的刷新，然后使用xpath语法抓取对应的数据 3、利用openpyxl模块创建工作簿和工作表，将数据写入，最后保存为.xlsx文件 项目实现的关键 1、首先要通过前面的验证码中间页 2、需要能够滚动到页面底部，等待全部数据刷新出来，然

项目要求： 1、使用selenium第三方模块自动进行B站个人账号登录，需要通过图片文字验证 项目实现： 1、使用selenium模块自动打开浏览器网页，利用xpath语句找到账号输入框和密码输入框，填入提前保存好的账号和密码并点击登录 2、借助超级鹰网站提供的API接口，识别图片验证中的文字位置，利用selenium创建的动作链依次点击这些文字的位置最后点击确认 项目实现的关键： 1、该项目使用的浏览器是谷歌浏览器，使用的python的IDE是Pycharm并已经安装好selenium模块，另外需要安装chromedrver插件 2、由于对人工智能方向不是很了解，项目使用了超级鹰网站提供的API接口来实现对图片验证中的文字位置的识别

项目要求： 1、用正则来爬取(https://image.baidu.com/) 2、要求搜索什么关键字则爬相对应的图片(例如:老师，学生) 3、将所有的图片存储到`关键字`文件夹中, 该文件夹是通过代码实现的 4、图片的名字可以随意取 项目实现： 1、项目使用了requests和re模块 2、需要用户输入关键字和要爬取多少个页面的图片，用户可以选择要保存的图片格式 3、向对应的URL地址发送请求，获得响应数据，然后使用正则表达式匹配图片的URL地址并提取；向图片的URL地址发送请求下载，然后将图片数据保存下来 项目实现的关键 1、需要找到图片对应的URL地址

项目要求： 1、使用selenium将网易云音乐网站——》发现音乐——》排行榜——》热歌榜的评论爬取，只需要前10页的数据 2、数据字段包括：评论人、评论内容、点赞数，并将数据保存到csv文件中 项目实现： 1、利用selenium模块获得浏览器对象、自动打开浏览器网页 2、利用xpath语法抓取数据字段，然后将数据存入csv文件中 3、再利用xpath语法找到“下一页”元素并点击，从而实现切换页面 4、循环10次，即可爬取前10页的数据 项目实现的关键 1、网页源代码中有内嵌框架，需要切换到内部的iframe框架才能拿到数据 2、切换下一页时需要等待页面刷新，此时应做延时处理 3、如果没有评论内容或者点赞数值，需要进行处理，如将评论内容文本设为“暂无”，点赞数设为“0”

项目要求： 王者荣耀案例( https://pvp.qq.com/web201605/wallpaper.shtml ) 1.、将此网站作中的高清壁纸爬取出来 2.、总共有33页, 每页有20张个英雄, 将所有页的所有英雄对应的全部分辨率的图片下载下来保存到电脑 `高清壁纸`中, 需要代码写文件夹的操作 项目实现： 1、使用了python的requests和re模块 2、首先需要抓取图片数据所在的包，向其中的Request URL发送请求获得响应的数据，直接使用正则表达式从响应的数据中提取图片的URL下载地址和图片对应的角色名称 3、观察可以知道图片数据的Request URL地址随着页面的变化是有规律的，向对应的Request URL发送请求可以获得对应页面的数据，由此可以爬取所有页面的图片数据

人人钢琴网的EOP音乐文件和爬虫脚本，分门别类的存放乐谱个歌曲信息。 见:https://gitee.com/hsdllcw/everyonepiano-music-database

1.python爬取网页数据 2.python爬取指定日期、类别、国家数据 3.python获取数据做成excel表格 4.python数据做成柱状图、兰丁格尔玫瑰图、折线图等

此项目主要是自动登录京东淘宝网站，定时获取京东、淘宝上自家店铺的商业数据，解析清洗到数据库中，供产品进行分析定位。并将程序运行状态通过dingtalk发送到钉钉报警群进行监控。 开发环境：python+selenium+pyppeteer+msyql 1. 使用selenium，自动输入账号密码进行登录，操作滑动进行图片验证，循环自动登录淘宝网站店铺，通过操控页面元素点击按钮等，分批获取指定tab页上的数据，将数据解析清洗到mysql数据库中。 2. 使用pyppeteer，自动输入账号密码进行登录，操作京东页面上的滑块登录，循环自动登录京东网站店铺，通过操控页面元素点击按钮等，分批获取制定tab页上的数据，将数据解析清洗到mysql数据库中。 3. 通过dingtalk模块，将预警信息发送到钉钉报警群中。 难点：京东、淘宝登录时可能会滑块登录验证，淘宝滑块可通过selenium+自身模块的防验证函数+指定版本chromedriver；京东滑块可通过pyppeteer+cv2+指定版本chromedriver

基于微服务的视觉系统，包含认证鉴权、标签管理、视觉算法（检测、分割、OCR）训练推理等模块。使用到的技术和工具：算法相关（YOLO系列、SSD、MaskRcnn、PaddleOCR、face_recognition、dlib）、Web相关（Springboot、Nacos、Mysql、Redis、Nginx、Maven）、C++工具（Opencv、Eigen、Cmake、GNU、Tesseract、TensorRT）、Python工具（Opencv、Flask、Numpy、Pytorch、Anaconda）

项目描述：调用广告平台API接口实现自动化广告投放，分析广告投放数据，挖掘广告投放优化方向 项目角色：产品设计、后端功能开发、运维 具体工作内容： 汇总广告API接口参数与业务需求，设计数据表结构以及数据流，汇总可实现功能并撰写操作文档，python开发广告投放功能接口。 实现自动化广告投放后，编写python脚本定时获取广告投放数据报告，结合业务需求，统计广告投放数据转存至MySQL数据库并用BI工具进行展示。随着数据量增长，将数据报告转存至hive数据库，并用pyspark进行数据清理与统计，统计结果数据使用datax从hive数据库转存至MySQL数据库。 统计计算广告数据报告中的关键指标，比如转化率、转化成本、投放时长等，根据关键指标获取预设的对应优化操作，拆解并执行API接口请求，记录广告优化操作日志。 使用强化学习模型，挖掘不同关键指标下广告计划的最佳优化行为。将广告页面点击率与转化率组合作为状态(state)的评估指标、已对广告计划的优化操作作为行为(action)，点击率与转化率提升作为正面奖励(reward)。

概述：针对 tripAdvisor （猫途鹰）编写网页爬虫并基于获取的数据进行数据和情感分析 采用技术：Python ，相关第三方库，burp suite； 项目内容： 1. 数据收集：使用 Python 编写爬虫程序，从目标网站上收集相关数据； 2. 数据清洗：使用 Python 对收集到的数据进行清洗和处理，包括去重、填充空缺值、格式转换等； 3. 数据分析：使用 Python 中的 pandas、numpy 等库对数据进行分析和挖掘，并通过可视化工具进行展示； 4.语义分析：通过自然语言分析提取并标注评论的情感色彩 ；

1、实现爬取某博客的实时直播间消息。分为两部分功能，第一部分使用http爬虫，爬取网站订阅的所有直播间，直播间历史消息等，初始化到软件界面。第二部分使用websocket爬虫，连接博客服务器，实时接收所有直播间的消息。 2、将爬取到的消息转发到钉钉。通过webhook连接以及加签密钥的方式转发。 3、转发时，支持含有屏蔽词的消息不转发功能，支持敏感词替换功能，支持延时转发功能(可指定延时多久)，支持周末不转发，小于指定长度的消息不转发功能。支持转发时间段设置功能。

1. 项目基于ViT模型实现了脑肿瘤自动分类系统，整个系统包括分类模块、注册登录模块和信息展示模块； 2. 项目应用了深度学习框架PyTorch和Web编程框架Django，本人负责项目的全部内容

项目描述：通过python脚本处理繁琐的办公流程，并监控系统可用性，解析系统日志的分析数据清洗状况，实现自动化解放双手，并通过邮箱或者短信预警。 1. 监控系统页面是否正常和运行 2. 将日常操作数据流程、excel文件等，使用python脚本实现，将日志或者数据解析到excel表中或者oracle数据库中，并定时发送至邮箱。 3. 使用twilio将预警信息发送至短信或者使用smtplib将预警信息发送至邮箱

这个存储库包含了一个完整的编程和算法练习，但是这个存储库并没有将所有练习都放在笔记本中，而是为每个练习提供了一个Python文件，这个文件包含问题和解决方案。

项目描述：此项目是一个多渠道网络舆情作战分析、 评估、 监控系统，根据各渠道流文本数据分析计算其敏感度、 影响力等指标进行监测及预警，评估用户价值体系，培育虚拟士兵进行发帖、点赞等操作。 基于 Flask 框架开发， elasticsearch 存储海量数据以及使用 vue 进行前后端分离模式。 开发环境： Linux+Flask+elasiticsearch+Mysql+Uwsgi+Nginx 1. 负责完成用户登录模块、监测预警模块、状态评估模块以及上报模块后台开发； 2. 维护服务器各项目、 数据库以及定时任务的稳定运行；