数据处理

该项目是基于python的爬虫MOOC课程评论数据获取，用户可以通过输入关键字来获取自己想要的某一课程评论数据并将其保存到excel表格中进行可视化。 运用场景：mooc课程评论数据 开发工具：requests、jsonpath、pandas、time函数

该项目实现仓储管理，数据入库，出库，查询，修改用户信息，展示出入库记录 功能。 该项目创建database类实现SQLite数据库的创建及增删改查功能。创建页面 Label、Button 通过Group组合，通过Layout布局，实现组件整齐标准的展现在窗口中。通过 按钮信号与槽的连接，并执行lambda表达式，实现页面的切换与功能的调用。通过读取输入文 本框内容，将数据与现有数据对比，实现数据入库出库，更新数据，模糊查询数据等功能。最后 通过创建入库出库数据模型TableModel，展现出入库记录。

可适用很多业务场景需要的定时任务处理，例如： 1、订单超时未支付业务，完成订单支付超时状态流传，库存恢复 2、监控业务定时任务配置，按cron配置执行方案执行 3、业务补偿，定时处理补偿业务保证数据的最终一致性

通过腾讯的云开发,把自营商城,财务管理,拼多多经营数据,其他功能(如扫码枪等)综合成一个小程序 然后区分不同权限的人员,使用不同的功能

了解客户需求后对百度的新闻网站进行初步代码测试 这个项目应用到必备的库：pandas库，fake_useragent库，requests库，BeautifulSoup库，BeautifulSoup库 数据爬取的难点：百度的反爬机制和动态加载

项目描述：工务智能巡检机器人系统由部署在远端机房的数据综合分析系统，运行在轨道上 的巡检机器人组成，巡检机器人采用分体式平台化设计，分为自走行的载人与检测平台，检测平 台有线路检测模块、隧道检测模块等。检测道床异物，扣件、弹条和螺栓等的丢失、松动、错位、 断裂等

电表远程抄表 通过网络对DTU发送命令DTU再通过RS485和电表实现数据的读取并储存 可控制抄表时常节省流量 也可通过串口服务器对小范围电表进行集中读取并储存 软件可采用本地数据库或网络数据库实现远程的数据查看

import pymysql：导入 MySQL 数据库连接库，用于与数据库进行交互。 from selenium import webdriver：从selenium库中导入webdriver，用于控制浏览器进行网页操作。 from selenium.webdriver.edge.options import Options：从selenium.webdriver.edge.options模块中导入Options，用于设置浏览器选项。 from selenium.webdriver.support.ui import WebDriverWait：从selenium.webdriver.support.ui模块中导入WebDriverWait，用于等待网页元素加载。 from selenium.webdriver.common.by import By：从selenium.webdriver.common.by模块中导入By，用于指定网页元素的定位方式。 from selenium.webdriver.support import expected_conditions as EC：从s

1、项目简介，功能点比较简单：将excel、csv文件中的数据，自动填写到表单并提交，有简单的日志记录输出情况； 2、技术情况：python语言+qt面板；

该项目是通过对高三学生月考成绩进行数据清洗并对每一科成绩分别进行排名，然后分别用matplotlib和pyecharts对各科成绩前二十名进行绘图及多图合并。 应用场景：数据可视化 开发工具：matplotlib、pyecharts、numpy、pandas

PDF文档处理模块： pdf_table_to_dict函数：实现PDF表格数据提取，支持多页表格合并，自动识别表头和数据行 批量处理模块： process_all_pdfs函数：批量处理多个PDF文件，自动遍历文件夹，错误处理和异常捕获 数据标准化模块： 营养成分数据提取和转换，支持多种营养指标（能量、脂肪、蛋白质等），数值标准化和单位统一 数据导出模块：数据整理为统一格式，导出为Excel表格，结果可视化展示 核心技术栈： Python语言开发 pdfplumber库用于PDF解析 pandas用于数据处理 numpy用于数值计算 架构特点： 模块化设计，功能解耦 面向对象编程 异常处理机制完善 可扩展性强 技术优势： 自动化程度高 处理效率好 易于维护和扩展 代码复用性强

我负责“青岛高速综合管理驾驶舱”项目的前端开发工作。 ◆ 负责驾驶舱八大模块（基础设施、路网运行、应急调度、出行服务、机电运维、养护管理、项目管理、收费管理）的大屏页面开发和 维护工作，对 Vue/Vuex/Vue-router 有了深刻理解并熟练掌握；负责用 Echarts 实现驾驶舱中五十余个图表、进度条、动态效果的制作， 对 Echarts 暴露接口的使用和封装属性的访问有了深刻理解。 ◆ 负责高德地图扎点、搜索行政区划、地图路线标注、事故范围圆绘制、救援车位置及路径规划实时更新等功能方法的封装及使用。 ◆ 熟练对接各系统接口（青岛高速单点登录系统接口、高德地图接口、高速路各关卡摄像头视频接口、高速工作人员电话接口）。

1、本方案面向企业的数据库管理与开发团队，针对行业中海量数据存储效率低、复杂业务逻辑处理困难等问题。通过专业的存储过程与函数开发，解决了传统SQL脚本维护成本高、执行效率低下、业务逻辑分散等痛点，显著提升管理系统的数据处理能力与事务处理速度。 2、基于MySQL、SQLServer、Oracle多数据库适配的存储过程开发，实现跨平台数据操作优化，单次复杂查询性能提升40%以上； 通过函数开发将仓储核心业务（如库存动态计算、订单批次分配）模块化，降低代码冗余，提升系统可维护性； 采用数据库原生事务控制与错误回滚机制，保障物流计费、库存更新等高敏感操作的原子性与一致性； 3、本方案为物流行业定制化数据库中间层解决方案，核心技术包括： 多数据库（MySQL/Oracle/SQLServer）存储过程开发与性能调优；

该项目主要实现了警情上图、一张图指挥与调度 本人整个项目的架构设计、数据库设计，产品实现逻辑、业务闭环的设计。除此外因为该项目最终产品形态由我方实现，固本人的工作还涉及到了与局方、厂商之间的协调，厂商（大华、海能达等）对接方案的技术实现。 编写的业务代码有：1、对接电围、人脸数据厂商。 2、数据打包过互联网边界至GA网 3、数据在GA网内入库（kafka、clickhouse、nginx）；4、基于AbstractRoutingDataSource 重写动态切换数据源（区别于在yml 配置文件中配置多数据源，配置文件中只有一个数据库。 新增业务只在数据库配置表中新增一条记录。能做到业务代码无感，能和单数据库一样使用mybatis操作业务数据库）

Scrapy 是一个用于 Python 的快速高级 Web 爬虫框架，旨在帮助开发者以简单而高效的方式抓取网站数据。Scrapy 提供了一个完整的开发环境，包括请求调度、数据提取、数据处理以及存储等功能。 项目结构 settings.py：配置文件，用于定义项目的设置。 items.py：定义数据结构，用于存储爬取的数据。 middlewares.py：定义中间件，用于处理请求和响应。 pipelines.py：定义管道，用于处理已提取的 Item 数据。 spiders 目录：存放 Spider 类，每个 Spider 类负责从一个或多个网站抓取数据。

GTWR (Geographically and Temporally Weighted Regression) 是一个用于地理和时间加权回归分析的Python包。它适用于需要分析地理和时间数据的研究和应用场景，例如环境科学、城市规划、公共卫生、社会经济研究等。在这些领域，数据的空间和时间维度对于分析结果有着重要的影响，GTWR包通过引入地理和时间权重，能够更加准确地捕捉这些影响，从而为用户提供更为精确和可靠的分析结果。 __init__ 模块: 功能: 初始化包，导入必要的模块和函数，使得包能够被正确加载和使用。 作用: 用户可以直接使用 GTWR 包中的各种功能，无需手动导入各个子模块。 diagnosis 模块: 功能: 提供诊断工具和方法，帮助用户评估模型的性能和准确性。 作用: 用户可以使用该模块进行模型诊断，如残差分析、模型评价指标计算等，确保模型结果的可靠性。 function 模块: 功能: 包含各种辅助函数，这些函数在数据预处理、计算过程中起到重要作用。 作用: 用户可以使用这些函数进行数据操作和处理，简化分析流程，提高工作效率。 kernel 模块: 功能: 提供不

本项目是一款使用 Egg.js 和 Umi 开发的全栈 Web 应用，主要功能是上传论文并在线对论文添加批注，包括文字、横线、方框等，并能够方便他人实时查看。 技术亮点： 使用了 pdf-lib 和 canvas 对论文进行图形绘制，实现了对论文的高效处理和显示。 使用了 Sequelize ORM 来操作数据库，简化了数据的操作流程，提高了数据的安全性和可靠性

电子围栏结合目标检测的铁钻工作业红区安全提醒软件以电子围栏技术为基础，融合先进的目标检测技术，专为铁钻工作业安全设计。其核心功能特点包括：实时监控作业区域，精确识别并追踪人员与设备动态，有效防止铁钻工作业状态下进入红区（高风险区域）的行为；一旦检测到铁钻工作业时人员进入作业红区，立即启动声音、灯光预警机制，确保安全信息迅速传达；同时，软件还具备强大的数据分析功能，能够记录并分析预警事件，为安全管理提供科学依据，助力企业优化作业流程，提升整体安全水平

项目介绍：主要通过采集层中集成的各种采集协议支持与采集方案支持，将设备层中各种设备进行采集接入，从而将各类设备作为信息节点，纳入到信息化管理的整体中进行管理，以实时、准确、自动的为上层信息系统提供及时、真实、有效的数据。项目的架构中将采集层与数据处理层进行分离，使数据采集聚焦于各类协议设备的接入与原始数据获取，再通过处理层，对数据进行封装、聚合、拆分、数据转换等操作，形成上层系统规定的标准数据并推送至云端，同时也可按需本地存储。 技术栈：java、springboot、modbus、串口通信、netty、kafka、mybatis 负责范围：系统设计，功能开发，现场部署实施，文档编写 难点问题：解决了各类设备数据采集协议过多的不兼容问题；解决了设备过多后实时采集出现推送延迟、掉包等并发问题

一、项目模块（下面仅展示主要模块）： ①注册登录模块 ②实名认证模块 ③信用担保模块 ④邀请奖励模块 ⑤充值模块 ⑥发布模块 ⑦经验值模块 ⑧签到模块 ⑨圈子模块 ⑩私信模块 二、分工详情 本公司基于Uniapp，unicloud,两者前后端交互，从而开发出该小程序 使用技术栈基于Uniapp，UniCloud,CSS,NodeJs,UniUI，uView等等 三、项目难点 1.私信系统搭建 该小程序的私信功能，并非使用市面上已经成熟的聊天API，而是本公司单独研发的流式响应代码编写，其好处是比市面上现有的聊天接口而言，能够节省至少80%的花费，其中包括数据库访问次数减少，响应时间更快等优势 2.通告统筹系统搭建 统筹系统是该小程序的核心，用来帮助发布通告的通告主，统计当前报名该通告人员的工资、考勤、加班费等明细账，可一键生成工资表数据，无需手动打卡、记账等操作。 与此同时，该系统的难点在于，实时计算用户工资、和工作时长之间的逻辑关系非常复杂，本公司通过不断地优化和测试代码，最终达成了效果