数据处理

中国教师资格网信息管理平台，作为全国性的SOA微服务架构平台，统筹管理全国教师证书业务，具备庞大的用户基数和持续增长的用户量。应用分布式技术和负载均衡策略平台能够高效处理高并发报名及数据下载等，确保用户流畅体验。同时，利用多线程技术，实现快速数据处理，提升服务效率。平台与公安等多系统安全交互数据，保障信息安全。

该平台是一站式的数据管理平台，具有数据统一存储、实时检索、查 询和分析、监控告警能力，帮助相关人员提升运维、运营效率，快速 查找和定位问题，广泛应用于在线业务监控、运维排障、安全审计、 业务分析等场景。后续加入计算引擎(对数据做进一步的分析，同时 支持异常检测和预测等机器学习功能。其中，本人参与了：服务器及网络设备的信息采集、Web 平台建设、报警模块技术选型及开发

1.系统架构: 使用.net6作为后端宿主服务 2.需求功能:集成海康/大华 rtsp协议；作为通用的摄像头转发服务 3.控制摄像头的播放方式 4.控制摄像头的启用禁用 5.接入nginx转发m3u8文件 6.针对摄像头处理一些通用的控制操作，对外提供api 7.支持websocket长连接，确认摄像头存活，自己对摄像头实时发送命令 8.支持摄像头协议检活，用于处理摄像头补偿机制，处理一些突发状况，摄像头协议意外停止，协议不转流，没有缓存文件等问题

1、 铁路运输保障体系要求经过各站到发列车需要按规范和安全管理要求进行货车装载状态检查，加强对安全风险源的控制，提高应急处置响应处理效率，确保重载铁路运输安全生产。传统的作业手段是人工对交接发列车进行巡检、拍照记录，这种方式带来的是效率低下，人工全天候都要进行作业易发生安全事故。 2、 研发一套由机器自动采集、自动分析、自动报警的系统，通过自动化和智能分析手段完善铁路货检作业智能化、信息化水平。 3、 该系统由传感器设备组、数据采集终端、应用服务组、数据中心、客户端组成，采集传感器组成，采集端由磁钢设备、激光对射设备、红外热成像仪、激光雷达、车号 RFID 采集、线阵相机、线阵补光灯等组成。应用服务组由磁钢对射数据服务、红外热成像服务、激光雷达服务、车号接收服务、线阵相机服务等组成。数据中心集成 gRpc、socket 服务进行数据处理。终端采用 sdl 进行线阵图像渲染。 4、图像分析采用基于PyTorch框架YOLO5深度学习算法实现。

1.可多线程下载视频视频，大幅提高效率 2.将爬取后的视频片段进行排序后合并，确保视频完整性与连贯性 3.技术主要使用python，多线程是自己实现的没有直接用爬虫框架

█ 输入图像预处理：imread读取信用卡图像，cvtColor图像转为灰度，threshold二值化处理图像，findContours 检测轮廓，遍历后存储到字典中； █ 初始化3x3卷积核，imutils.resize修改图像尺寸，TOPHAT礼帽操作去除图像上的干扰，Sobel 算子计算水平方向梯度、并进行归一化处理，THRESH_OTSU寻找合适阈值获取数字，findContours计算轮廓，遍历得到数字的轮廓并排序，最后与模板中的10个数字匹配，计算模板得分，argmax取得分最大项作为识别结果。

该项目实现对多公众号和多企业号的集中管理，及其产品、粉丝、机构、人员等资源管理，适应企业多专业、多层级的营销和管理要求。利用该平台，可实现实现多层级营销人员相关营销模式的管理等。 该项目主要以 java 语言进行开发，jquery、vue 等实现页面逻辑，oracle、mysql 数据库等进行数据处理，使用了 spring，springboot，springcloud 等架构。 我在项目中主要负责了业务和人员等信息的管理功能模块，报表数据的汇总处理，查询与配置等；部分功能模块展示和功能优化调整、测试。

项目分为管理模块，报表模块，知识库模块等多个模块。 管理模块为用户人员的管理，菜单的管理，人员权限的管理。 报表模块为客户所需求记录数据，导出成excel。 知识库模块为客户所需要求的存入文档方便用户调用。 我所做的是管理模块对人员的添加和删除，报表模块根据客户的需求对数据库表进行查询制作不同的表

LIMS系统是集现代化的管理思想和基于现代化计算机具有的数据处理技术、数据存储技术，网络技术，仪器分析多位一体以实验室的检测业务流程和资源管理工作为核心且符合实验室管理的规范，可实现对实验室全方位的统一，科学和高效管理的实验室信息管理系统软件；LIMS系统可以帮助实验室人员储存实验室数据，实现了实验室内部的信息交流，加强了实验结果的质量保证，计算机的引入使得实验室对数据的管理变得更加容易；LIMS系统可以保持有效的审核追踪、自动进行样品跟踪、标准、流程及记录可追溯，减少数据错误；LIMS系统可帮助实验室减少数据输入错误，输入限制，范围检验、条形码输入，自动计算，自动数据采集，自动报告/报表生成等功能，可以减少数据输入的错误，缩短样品分析周期，LIMS系统的自动计算、自动报表生成，自动采集数据和数据调取，使样品分析周期明显加速。

1.项目包含数据汇聚（数据源管理、数据探查、数据同步、数据处理）、数据治理（数据质量、数据资源、数据组织、数据血缘等）、数据安全（数据加解密、数据分级分类、数据权限等）、数据服务（比对订阅、数据推送、数据共享等）； 2.我基本每个模块均有参与，主要负责理清模块需求，提供实现方案，再配合同事一起开发；

背景：面对智能电网的发展和可再生能源接入的挑战，国家电网迫切需要一个能够高效处理和分析电网数据的平台。该平台旨在优化电网运维、提升数据治理能力，并支持电力系统的决策制定，进一步推动电网向数字化和智能化的转型。 模块：数据服务与数据编目、算法模型、审批管理、消息管理与通知、资源管理与参数管理等 难点：数据服务和数据编目需要高度的数据整合和分类能力，同时要保证数据的可查询性和安全性。实现一个高效且用户友好的数据检索系统，需要复杂的后端逻辑和优化的前端展示；算法模型模块可能涉及到数据分析、机器学习或人工智能算法。这要求后端不仅能处理复杂的数据运算，还要能够实时地将运算结果以易于理解的形式反馈给前端用户。 职责：架构设计，方案设计，核心功能实现

发货系统 项目描述： 天梯自研发油业务系统是根据杨子石化现场的情况而定制的系统软件。实现了油库ERP接口发油业务获取、司机自助分仓取票、场外车辆排队管理、现场车台设备通讯、自动化装车流程、结算单打印、各种报表查询、异常特殊情况处理，以及液位仪系统、门禁系统的接口数据通讯等功能。 项目职责： 1、根据需求文档进行需求分析，参加测试需求评审，写出需求点，完成测试设计； 2、搭建测试环境，在k8s配置docker镜像同时配置nginx来进行分布式服务端口响应； 3、根据用例执行测试，在禅道提交bug并进行跟踪管理，进行回归测试； 4、根据接口测试文档编写接口测试用例,使用JMeter进行接口测试； 5、通过Fiddler工具进行抓包，对请求响应报文进行分析快速定位前后端bug； 6、修复好Bug后，由开发提测，再由我在Jenkins发布版本，并进行测试验证； 7、项目后期使用Python+Selenium基于Unittest框架编写自动化测试脚本,输出html自动化报告 8、测试结束后,编写测试报告。

用各类神经网络CNN,u-NET，yolo-v5,cvae..做的数据聚类尝试 时序，图像数据的标定以及预处理以及训练，达到了不错的效果

1、帮助客户完成跨境电商网站自动下单，自动注册账号、自动获取礼品卡优惠、自动核对订单信息等多个流程自动化； 2、搭建的RPA机器人自动完成任务，客户该部分任务原来人工操作全部释放，节省2个人力成本；

1、成功整合人力资源系统角色、菜单及资源，优化权限管理，增强系统安全性。改造扫码登录，解决部门隔离问题，提升用户 体验。集成免密登录功能，满足特殊需求，简化操作流程。 2、统一 Staffing Cloud 系统日志输出，对接阿里云 SLS ，实现实时日志分析。针对 ERROR 级日志，设置钉钉机器人提醒，确 保问题及时响应。 3、搭建项目主体框架，集成 SpringSecurity 提升安全防护。设计统一日志架构，规范日志管理。通过本次项目，展现了在人力 资源系统整合、日志管理及技术集成方面的专业能力，为公司的业务发展做出积极贡献。 4、独立完成外部数据同步功能，通过对接钉钉数据源，实时同步人力资源信息，提升数据一致性，为企业决策提供全面数据支持，展现我在数据处理与对接方面的专业能力。

本项目属于《某所信号处理系统》的一部分，该系统分为：3G传感器(3G信号处理软件)、4G传感器（处理4G信号数据）、大数据平台、web平台、外部对接平台。 本项目功能模块包括：Kafka接收模块、数据适配模块、3G信号解析模块(MTP2，MTP3，SCCP，TCAP，MAP,CAP)，通用数据生成模块，PCAP存储模块， 原始数据上传模块，数据关联模块（MAP,CAP），关联结果上传模块 我从事的工作：1、搭建c++架构 所用技术：线程池，内存池，单例模式、工厂模式、observer模，式模板方法，原型模式，装饰模式 2、编写代码 功能模块包括：Kafka接收模块、数据适配模块、3G信号解析模块部分代码，通用数据生成模块， 数据关联模块（MAP,CAP） 项目组人数：5人

本Python统计分析与可视化项目对多个经济指标数据进行了深度探究，利用Pandas进行数据处理，揭示了各指标的分布特性，并借助Matplotlib和Seaborn进行图形化展示。通过对GDP、失业率、通胀率等关键指标的相关性分析，采用可视化手段直观展现各变量间的关系模式，为理解宏观经济运行机理提供了有力的数据支持

项目为后台管理系统,进行数据的分析处理,其中主要进行GIS数据的分析,根据用户需求输出各种图层,前端使用VUE架构,后端使用微服务架构,负责所示图片的模块的前后端开发以及GIS数据处理

技术栈：Oracle + Redis + Mybatis + SpringCloud + SVN + DATAX + Nginx + Vue +ETL 1.该系统主要用来服务于保险公司，主要功能为从核心系统定时抽取数据并进行标准化报送，并要求通过数据校验与核对，最后形成标准化的文档向监管机构报送。 2.系统管理模块，进行人员管理，部门管理，岗位管理，菜单管理。 3.报送配置管理，邮件，代码映射，调度任务，报送机构，校验规则，常量等配置。 4.报送流程管理，主要功能为将数据分批次从系统和人工采集过来进行数据校验，支持进度查看，校验信息查看，并对数据进行下载，按照特定的流程进行提交5.部门汇总审核，最后将审核通过的数据进行拆分到公司各部门形成质量报告和报送文件。 在线查看与编辑功能

MES信息化管理系统 项目描述： MES系统又称生产执行系统，是在企业信息化管理体系中对生产过程进行管理的重要工具。MES系统主要负责生产现场的数据采集、过程控制和生产调度等工作，帮助企业实现生产计划的有效执行和资源的优化利用。MES系统包括以下几个模块：生产调度、物料控制、质量管理、设备维护、能源管理等。这些模块相互关联，形成一个完整的生产管理系统。MES系统可以为企业提供全面的生产数据分析和决策支持，帮助企业优化生产流程，提高生产效率和产品质量。 项目职责： 1、负责建立和维护一个有效的测试流程; 2、负责测试团队的日常管理工作; 3、负责制定和安排测试计划、测试工作; 4、带领测试团队进行程序测试工作、按照制定的测试计划执行，并监督和控制测试工作的进程; 5、负责测试用例的质量，开发高效的测试用例; 6、负责与其他部门的人员沟通协作，例如与开发人员和项目管理人员进行沟通，共同推动项目的顺利进行; 7、负责测试团队的培训，培养团队队员的能力。