Python

1. 软件面向的行业和业务场景（25%） 本项目主要面向数据密集型行业，如市场研究、电子商务、金融分析和学术研究等。通过利用Python语言和数据采集技术，软件能够高效地从各类网站和平台上提取有价值的数据，帮助企业和研究人员进行数据分析和决策支持。例如，在市场研究领域，软件可以自动采集竞争对手的产品信息和价格变动；在电子商务领域，可以监控商品的库存和销售情况；在金融分析领域，可以实时获取股票行情和新闻数据。 2. 项目功能模块及其实现的功能（50%） 项目分为以下几个主要功能模块： 数据采集模块： 网页解析：使用lxml库解析HTML文档，提取所需的数据信息。 页面操作：使用DrissionPage库模拟浏览器操作，处理动态加载的网页内容。 数据抓取：根据预设的规则和目标网站的结构，自动抓取所需的数据。 数据存储模块： 本地存储：使用openpyxl库将采集到的数据存储到Excel文件中，方便后续的分析和处理。 数据库存储（可选）：支持将数据存储到关系数据库（如MySQL、PostgreSQL）中，以便进行复杂查询和数据管理。 数据清洗与处理模块： 数据清洗：对采集到的原始数据进行清洗和格式化，去除重复和无效数据。 数据转换：将数据转换为适合分析和展示的格式，如JSON、CSV等。 用户界面模块： 配置界面：提供友好的用户界面，允许用户配置数据采集的目标网站、采集频率和数据存储方式。 日志与监控：实时监控数据采集过程，记录日志信息，方便用户查看和排查问题。 调度与自动化模块： 任务调度：支持定时任务调度，自动化执行数据采集任务。 错误处理：内置错误处理机制，确保在遇到网络问题或目标网站结构变化时，能够及时调整和恢复。 3. 项目的技术选型和架构特点（25%） 技术选型： 编程语言：Python 网页解析库：lxml 浏览器模拟库：DrissionPage 数据存储库：openpyxl（用于Excel存储） 架构特点： 模块化设计：项目采用模块化设计，各功能模块独立开发和维护，便于扩展和升级。 高效数据采集：结合lxml和DrissionPage，能够高效处理静态和动态网页，确保数据采集的全面性和准确性。 灵活存储方案：支持多种数据存储方式，满足不同用户的需求。 用户友好界面：提供直观的配置界面和实时监控功能，提升用户体验。 自动化与容错机制：内置任务调度和错误处理机制，确保数据采集过程的稳定性和可靠性。

对于功能学习，首先要做的就是学习过程中如何看到结论，如何对现象总结。要明确每一步动作的初衷，避免背离最初的目的。 一、测试环境 在能够运行系统的前提上，我们要拥有对应系统的源码供我们进行调试，明确学习方向后需要增添流程debug。 同时还要拥有版本维护的手段，常用的版本工具有SVN和git工具。 二、需求梳理 可以让我们很好的观察系统运行状态，是否正常。最常用的方式通过前端界面完成，这一部分也是这篇主要讲述的地方。 首先我们应该选择一个前端框架帮助我们完成界面的设计。在此之前先明确我们需求。 1.支持以脚本为单位创建标签页 2.支持导入python脚本 3.支持执行python脚本，并获取回显内容。 a) 支持根据json格式解析回显内容，使用树状图形展示每个节点信息。 b) 支持将节点信息关联到文本框。 4.支持配置保存 三、设计 根据需求我们将工具分为前端、中间数据、底层三部分 3.1、前端 主页面包括地址栏，脚本/脚本结果/添加筛选key。还提供对地址、脚本、筛选key保存配置的功能 3.2、中间件 中间件通过python的flask实现，通过拨不同句柄响应用户。

本项目为：使用RNN对股票价格进行预测。RNN为循环神经网络，这里使用了Adam优化器。股票价格的波动受到多种因素的影响，例如：股票自身的波动、外部突发舆情的影响等等。

cifar-100数据集共有100类别，每个类别包含600张图片，其中100张作为测试集，500张作为训练集。100个类别是“精细”类的划分，也可以划分为20个粗糙类别。

使用了LSTM（长短时记忆网络）对股票价格数据进行了预测。股票价格数据，它受到多种因素的影响，例如：有股票本身的波动，外部政策因素的干扰，突发舆情事件的影响等等。在此，使用了LSTM，设定窗口大小为60，使用了MSE损失函数。

某工业现场，开发的上位机控制系统，包括生产状态监测、生产数据查询、投料的自动控制，目前系统已正常投放运行接近一年 C++ Qt 上位机开发 Python 编写控制算法代码 Sql Server 数据存储 OPC 数据采集

当今社会人民群众的交通出行越来越便捷，然而在享受便捷的同时如何保障交通出行的安全也是无法避开的话题。根据世界卫生组织的调查，因交通事故而死亡的人数逐年增加，这给人民群众的人身安全带来了威胁。引发交通事故的因素有很多，其中酒后驾驶、危险驾驶、疲劳驾驶是主要原因。根据交通安全管理局的数据显示，大约 16%-21%的交通事故是由于疲劳驾驶引起的。本设计实现基于端云算力协同的疲劳驾驶智能识别。利用端侧算力单元与云上算力中心协同，使用训练集训练AI从而实现AI自动识别驾驶人员状态，让车辆能够更准确更迅速的检测疲劳/分神驾驶，及时提醒司机，减少交通事故。设备可以监测司机的神情和动作，譬如正常驾驶、打哈欠、长时间闭眼、打电话、左顾右盼等疲劳/分神行为，当驾驶员产生疲劳状态时，通过声音提醒驾驶员及时休息或更换驾驶员；当驾驶员有分神状态时，通过灯光提醒驾驶员调整姿态；两者兼备时，用声光提醒来避免危险驾驶。为达到以上功能，需协同利用端侧设备和云测平台的算力，选用STM32单片机开发，综合利用到计算机视觉领域的目标检测、关键点检测、图像分类等基础技术，用到剪枝、量化、蒸馏、batch推理等模型方面的优化，以及异步、多线程、pipeline并行等应用层面的优化。助力我国交通事业的发展，提升人民的幸福指数，为和谐社会发展贡献一份力量。

1.项目是一个百度图片爬虫，可以根据关键词，自定义需要爬取的图片的内容，带IP代理； 2.爬虫脚本的开发（python）GUI工具界面

100%参与产品原型设计，并成功上线。产品结构包含： 1. 小程序登录页；手机号、微信头像、昵称信息授权 2. 贷款推荐、banner配置等 3. 贷款筛选项 4. 贷款详情 5. 贷款工具、切换客户经理版本

开发一套学生信息管理系统，可以实现学生信息（姓名、年龄、各科考试等级等）的录入、查找、删除、修改、排序、显示、统计等各种需求，最后封装成.exe程序，并解决该.exe程序在win10以上系统运行和win7系统运行不兼容的问题。

1.完成93位英雄头像爬取，存在获取的html与网页不同的问题，导致爬取结果少了最前面的22位英雄。 2.采用selenium，解决第一条通过request方法爬取结果缺失的问题，完成115位英雄皮肤爬取。

项目1.通过python将jpg图片合成pdf文件，实现了批量合成的功能。 项目2.通过python将jpg图片转换txt文字，实现了批量转换的功能。 项目可以实现以上功能，经过实际检验。20230825 VX 15850109865

1、根据cookie和课程id自动爬取vipcode视频回放，并使用多线程技术进行下载 2、运用Python爬虫等技术 3、本软件需要使用旧版robonline乐博在线 windows登录账号，打开所有课程页面，按下f12，找到名为info的请求，在请求内容中，找到要爬取的课程名称，得到里面的classId、productId，依次填入代码中的classIdlist、productIdlist，最后获取请求信息里面的secret和token，也分别在代码中填入。

1、根据关键词多线程爬取百度图片，可运用到yolo目标识别检测等方面 2、使用了Python多线程，爬虫等技术，爬取百度图片 3、途中遇到了百度图片api无法使用等问题，最终使用了param解决

有记账功能，可以记下您的支出项。可以让您定时把支出的钱补上。有记忆功能，再打开程序时依然会保留上一次的记录。 有完善的bugreport功能。项目已经使用pyinstaller打包完成，源码和打包后的程序已经在附件中。欢迎大家的购买。

参数逆向: anti_content参数分析逆向 screen_token参数分析逆向 滑块验证分析 可做整套软件 供学习交流 不可用于商业行为

加速乐反爬: 整合模块:整合加速乐加密js,适用于所有加速乐反爬机制 加密模块:多种加密源码模块,由整合模块进行整合运行 采集模块:网站加速乐采集

使用scrapy框架,采集指定类别的所有商铺信息 储存数据库 请求模块:负责请求任务 数据解析模块:负责解析响应数据 数据库存储模块:存储数据值数据库

使用python定期备份公司数据库至ftp，公司为开发类型公司，数据库中数据均不大，采用完全备份方式，目前系统支持神通、mysql、postgres 后端为python flask框架，前端为layui框架，登录使用token认证方式。

初学Python（这是一个简洁而又不简单的代码！） 实现简单的登录注册，跳转窗口。用户注册账号后会存入本地指定文件夹中的txt文件中，在登陆输入信息时读取数据进行比对，比对成功后提示登录成功并跳转到主界面