数据处理

项目描述： 交易所各业务系统运行监控平台，负责采集所内核心交易系统、非交易系统的业务和非业务数据，进行基本加工处理，并通过界面进行实时展示，实现对异常情况进行及时告警功能。 项目架构： 系统采用 Spring cloud 架构，利用 Spring boot 构建应用，利用gateway实现网关和鉴权，利用Eureka实现服务的注册和发现，利用restTemplate实现与其他系统进行交互，利用ribbon实现客户端负载均衡，利用kafka消息队列实现消息的投递和异步交互，利用redis和本地内存建立多级数据缓存，利用mysql进行基本业务数据存储，tsdb进行时间指标数据存储，elasticsearch进行搜索，利用nginx实现服务端负载均衡。 项目职责： 1. 为各上游系统提供高性能、高可用的数据传输接口或者途径，接收各系统传输的海量数据，实时基本数据加工处理； 2. 实现标准restful接口实现与前端界面交互； 3. 模块开发实现包括但不仅限于高性能数据接收器的开发，实时业务数据处理以及比对等等。 项目业绩： 1. 已实现多个核心交易系统的监测数据接入、开发； 2. 项目技术难

在statsmodels项目中载入macrodata数据集，选择其中一些变量，计算对数差。使用seaborn中的regplot方法绘制散点图，并给出线性回归线。基于pairplot函数给出一组变量的散点图，对角线上放置每个变量的直方图或密度估计值。

独立负责后端内容 所接手项目 包含商城+小程序 APP crm erp 甲方公司后台 服务器部署 维护 可以熟练使用mysql sqlserver 主从复制 索引配置 队列redis mq 等功能

本项目采用合成孔径雷达算法实现了对卫星目标的成像和识别，并对算法开展优化设计，优化后系统运行时间大大降低

该项目由本人从0到1开发，实现了对某区县（需保密）生态环境局的气、水、声环境的部分非敏感数据处理及展示于公众，作为H5页面添加到公众号进行跳转，关注公众号的公众可以查看近期空气、水、声环境的质量以及未来走势。 项目所用技术如下： 1. 后端：Java、SpringBoot、Mybatis、Redis 2. 数据库：达梦数据库 3. 前端：uniapp、vue、ucharts、uview-ui

该项目主要为用户提供招投标相关信息,该网站现有招标信息已达1000w+数据. ● 参与项目需求评审以及数据库设计 ● 解决部分数据中 pdf 无法检索问题,将 PDF 转换为图片,再使用百度 AI 开放平台接口讲图片文字进行识别以满足搜索需求 ● 使用 PHP的 imgick 扩展将 pdf 转换为图片后调用百度图片内容识别接口将图片的内容转换为文字并存 储在数据库以及 Elasticsearch ● 使用 Laravel的+ Command + MixPHP v1 + Elasticsearch 实现用户信息订阅推送功能 ● 解决网站服务器压力问题 ● 将网站的热数据存储到 redis 加快数据页面打开速度 ● 负责项目整体开发以及服务器管理与搭建

会计稽核系统主要采集内容管理平台、各相关业务系统（一期仅有储蓄及汇兑系统，二期纳入代理基金、国债、理财、代理保险、 黄金业务、中间业务、外汇业务、公司业务，后期又陆续接入资金清算、现金凭证、电子银行等），运用现代信息技术彻底改造传 统会计稽核作业流程，按照操作风险全面控制的原则，通过科学、规范的实施策略，构建的一套内控严密的会计稽核系统，实现自 动勾对、业务稽核、风险预警、疑点排查、考核通报等功能，简称“会计稽核系统”。 开发环境： 操作系统：主要使用 Linux 作为服务器操作系统，Windows 作为开发环境。 IDE：使用esclipse作为Java开发集成环境。 构建工具：采用 Maven 进行项目构建和依赖管理。 后端技术： Java 框架：基于 Spring 框架进行快速开发。 持久层框架：使用 MyBatis 作为 ORM 框架，实现与数据库的交互。 数据库管理： 采用 Oracle 作为数据存储的主要方式，确保数据的完整性和一致性。 版本控制： 采用 svn 进行代码的版本控制进行团队协作和代码托管。 主要职责：我在本项目组中主要工作如下： 1.系统工程需求规格说明书编

数据追踪监测系统，也可称为敏感信息跟踪系统，是数据安全治理整体解决方案的“开局利器”，多手段结合发现数据资产，以数据资产为中心，提供数据分类分级管理，从静态和动态两方面监控关键数据使用情况，并对数据的流向及路径跟踪，具备数据泄露检测和数据安全风险评估的能力，是一种数据的安全使用全程监控的产品

1.刀具磨损在线检测系统100%自行开发，项目对CNC设备采集的刀具信号进行数据清洗，后对刀具的磨损状态进行分类训练，实现深度学习的刀具磨损状况的在线检测。 2. 项目中遇到过准确率较低，模型精度不能保证的问题，最终通过优化损失函数的方法得到解决。 3. 该项目使得CNC机床的换刀可以自动化，节约了人力成本和提供了效率。

1、项目的负责人，负责确定测试范围，规范测试方法和测试用例，制定bug编写规范 2、接口测试，功能测试，性能测试，编写自动化测试工具

项目描述：是一款打通上上签数据与其他 OA 、人力资源管理软件的连接中间件，主要对接企微、钉钉、飞书的审批和其他软件数据流的收集、转换映射和推送，极大地降低的客户与上上签云端的对接难度和成本，目前已服务30+客户。 技术栈：Springboot、MySQL、ElasticSearch+Logstash+Kibana、Redis、SpringCloud、Caffeine、Commons-pool、Docker、Prometheus+Grafana、Spring-security、ShardingSpehere 项目架构： 1.采用 SpringCloud Alibaba 技术体系构建微服务架构，根据实际业务场景对服务进行拆分 2.以阿里开发支撑注册/查询实例 TPS 达到 13000 以上的 Nacos 作为项目的注册和配置中心 3.使用 Keepalived + Nginx 保证访问入口高可用，防止服务器单点故障的发生 4.基于 Redis Cluster 搭建高可扩展、高可用、高并发的缓存集群 5.基于高性能的 Elasticsearch、Logstash、Kibana

该项目包含了基于 arm/Linux 平台的固件开发（C++），也包含 PC 端控制软件的开发（C#）。基于网络的仪器管理软件，为实验室提供解决方案，可以实现多个实验室网络互联，集中管理。易于安装，具有工业可靠性，通过无线网络集中监控仪器状态，可以远程协助操作仪器、在线编辑和提交测试报 告、自动记录仪器资产信息。

一个综合性环境数据处理平台，专注于处理和融合多种来源的排放清单数据，将不同数据源的排放清单进行整合，生成综合、完整的排放数据；同时通过简易融合功能，用户可以从多个维度对整个排放清单进行调控，以适应不同的分析和评估需求，为环境保护和决策提供可靠的数据支持。 项目职责：作为Java开发工程师，参与该项目后端核心功能开发，包括需求分析、架构搭建、技术选型、项目开发等，具体如下： 1) 用户权限认证服务：负责该服务架构设计、系统开发，采用Spring Boot、MyBatis和PostgreSQL（pgsql）数据库。 2) APIsix网关和Wolf的集成：结合APIsix网关和Wolf，根据具体需求，在不同场景下完成用户权限认证和安全防护的实现。有效地保护系统免受潜在的安全威胁。 3) 云平台业务服务：负责开发云平台业务服务中的用户购买记录、使用记录和订单记录等模块，实现模块的业务逻辑处理和数据持久化。 4) 多尺度排放清单融合工具服务：包括专业融合、排放调控和简易融合等模块的实现。为了实现后台计算的解耦和异步处理，采用Gearman和多线程的方式。对算法进行优化，确保在大批量计算时用

是一款后台管理系统，对分店的营业管理，有仪器使用，技师工作情况，商品售卖的记录，表格导入导出。计算营业额，流水业绩，客户分销，和店面分红及其他的金额计算，并以扇形图和折线图显示。

1.线索获取 线上：PC端⼿⼯录⼊、⼴告投放（美团、⼤众点评、⾼德地图等）；线下：企微⼯具、⼩程序、兼职 ⼩程序等 录⼊的信息主要是：⼿机号、姓名、年龄、城市。⾼峰期QPS能达到1000，为了快速响应结果，先将 请求存⼊mysql异步处理创建线索，同时因为不同的线索来源，处理逻辑不同，这⾥采⽤了策略模式 2.线索跟踪、查询 线索录⼊后，定期进⾏电话回访、邀约到访、体验课预约、购买正课。每⼀条线索都有对应的跟踪记 录，同时⾼频次查询线索详细信息。基于2000万+ 的数据量，使⽤了表分区，分区键是地区id，基于 hash算法数据更加均匀。 3.智能外呼 为降低成本，集成web科天云、tQ、智⻮等第三⽅⼯具⾃动拨打电话，话术可⾃由配置。通过appid间 隔⼀定时间轮询通话记录到我们系统

1.使用SpringBoot进行开发，具备商品管理（商品上传，商品信息修改，商品删除，商品展示图片新增等），用户管理（用户详情查看，用户优惠劵发放等功能），商城风格修改，商城主界面图片替换，财务管理（财务数据展示，营业额，成交订单，退款订单金额，待退款订单，用户充值余额等），系统工具，开发工具（字典管理，代码生成器）等功能。 2.登录需要使用账号密码鉴权，并使用验证码进行校验。 3.完美的服务于商城，并提供了好的展示界面，数据展示方式，数据编排逻辑等降低商城后台管理人员的工作量，更加好的赋能与业务。

1. 拥有11年的信息安全产品设计与架构经验，对该领域有深入的理解和丰富的实践经验； 2. 长期在一线参与产品开发，对Linux系统有深入的了解，精通C/C++编程语言； 3. 熟悉并掌握多种开源代码库，如VPP、DPDK和SURICATA等，能够灵活运用于产品开发中； 4. 对网络与数据安全相关产品的功能和实现有深入的了解，能够在产品设计和开发过程中做出正确的决策； 5. 在团队中具有较强的技术支持能力，能够为新进员工提供技术培训，提升团队整体技术水平； 6. 具备自我学习和不断进修的意识和能力，关注技术发展趋势，持续提升个人技术水平； 7. 曾担任技术责任人，熟悉研发流程，包括任务分解、人员分配等，能够高效地组织和管理团队；

对数据进行一些的处理，让数据可视化呈现，也就是数据分析，可以给客户更直观的体验，避免了单纯的数据的单板，可以让拥有一种更直观的感受

开发了一个关于二手房价格市场的数据价格可视化分析网站，主要运用了爬虫技术和可视化技术，以及sql语句实现增删改查功能，同时使用了一些基本的前端的网页制作，将整个网站放入了flask框架下的本地服务器

项目介绍：播控系统主要就是给媒体主进行LED的发布，投放分为：轮播，日期，插播，定时；C端用户功能：人屏互动：C端用户在LED大屏前做指定动作，触发摄像头返回数据，可以扫福利广告，领取红包；扫码投屏：媒体主发一个广告，在广告上面放置二维码，C端用户扫码进入智媒宝小程序，可以发布一些生日祝福，告白等广告；星炫互动：C端用户在大屏下面扫码进入一个聊天室，可以在手机端发消息与图片，大屏上以弹幕或者消息的形式展示。这些功能主要是提升屏的知名度，打造一个小商圈。B端用户功能：受众大数据：跟高德与腾讯对接，显示屏周边的人流量，人群质量，商圈，餐饮，可以知道这片区域投什么类型的广告；客流大数据：展示屏周边的实时客流，可以实时观测客流的情况，在相应的时间段投什么类型的广告；车媒大数据：一般装在停车场入口，来了一辆车可以识别车型，年限，金额，可以针对车型投相应的广告；媒体大数据：可以实时看到LED大屏播放的内容，媒体的位置地图展示等信息。 技术栈：SpringCloud、 MyBatisPlus、 Redis、Oauth2.0、 Dubbo、 Docker、 Nginx、Socket、Vue2 负责