MySQL

互联网信息推荐算法安全评估平台（http://116.62.162.16/home）是一个面向算法治理与信息安全分析的专业工具。该平台支持从快手、微博、抖音、小红书等多类主流平台进行数据抓取与分析，实现对推荐算法行为的全面监测和量化评估。 平台核心功能包括宏观数据看板、账号群体画像分析、安全指标追踪等，能够精准识别如“诱导控制”和“干扰识别”等算法风险行为，并以可视化方式呈现其变化趋势。它已管理超600万账号、37类群体画像，支撑起对信息传播机制与算法影响的深入洞察。 该平台适用于监管机构、研究单位及平台企业，为其提供算法安全评估、舆论风险预警和治理策略制定方面的数据支持，最终推动推荐算法透明、可信、向善发展。

数据爬虫，数据可视化，数据清洗，数仓搭建，撰写分析报告，特征工程，机器学习，数据建模，预测聚类 数据库安装，数据写入及报告页面创建，Excel数据处理，Python自动化

突破金融网站限制，爬取关键信息。进入同花顺网站，爬取行业指数信息，同步计算近2年行业指数数据。精准把握行业动态

在我设计的基于深度学习技术的电缆缺陷检测系统中，采用了改进的YOLOv5算法作为主要的识别和检测技术。这个系统是一个典型的前后端分离的Java Web应用，其中前端使用VUE框架构建，后端则基于SpringBoot框架和MySQL数据库实现，同时，我使用Redis实现验证码的功能，提升了系统的安全性。 系统设计的主要创新和挑战在于将深度学习算法的处理部分集成到网站中。为解决这个问题，我采用了基于Socket通信的解决方案，设定一个共同的IP地址和端口，构建了一个通道，使得Java Web程序和Python服务器能够通过这个通道进行高效的双向通信。 在后端，SpringBoot应用负责处理用户请求，管理用户数据，以及与Python服务器进行交互。一旦接收到一个电缆缺陷检测请求，后端应用就会通过设定的Socket通道将请求的相关数据发送到Python服务器。 在Python服务器端，一旦接收到来自Java Web应用的请求，就会启动YOLOv5算法进行电缆缺陷的检测。检测完成后，Python服务器将结果返回给Java Web应用，后端应用再将结果返回给前端，最后前端将检测结果展示给用户。 整个系统的设计和实现都遵循了模块化和解耦的原则，使得每个部分都能够独立进行开发和测试，同时也方便了后期的维护和扩展。通过这个项目，我提升了我的系统设计和编程能力，也获得了宝贵的跨领域协作和技术集成的经验。

描述： 自助分析平台SA是一个完全可视化的基于Web的可视化SQL取数工具，面向ToB企业级产品，你可以通过类似玩乐高玩具的方式用一块块图形对象托拉拽SQL语句块，组合成复杂的SQL语句块，把复杂的SQL可视化图形转换为具体的数据库SQL语句进行预览取数分析。 主要模块： ELK分布式集群日志搜索核心子项目。 Presto分布式SQL查询引擎数据源核心系统。 DB2 数据库核心系统。 Hadoop 集群核心系统。 后端垂直拆分集群核心系统。 前端水平拆分集群核心系统。 Vue重构前端内容中心核心系统。 后台管理中心核心系统。 负责主要模块： 1、负责实现ELK分布式集群日志搜索核心子项目。 2、负责实现Presto分布式SQL查询引擎数据源核心系统。 3、负责实现自助分析JVM调优。 4、负责实现自助分析日常需求开发、运维、Netty 开源项目 BUG 修复等。 主要技术栈： 采用集群架构开发模式。 后端：Hadoop、HDFS、Hive、Zookeeper、KerberOS、Presto、ELK、SSM、Netty 3.6.5、ActiveMQ、Nginx、JDBC、Servlet、Spring Boot、Spring Data Elasticsearch、Lombok、HikariCP。 数据库：DB2、Hive、MPP。 前端：Bootstrap、JQuery、Vue、element-ui、Echarts。 主要成绩： 1、与华为研发&运维技术沟通，支持KerberOS多租户并发认证解决方案难题。引入两个不同版本的相同JAR依赖包冲突难题。 2、ELK收集日志乱序问题。ES出现难以恢复的错误问题。ELK收集日志赶不上实时生产日志、CPU使用率高问题。生产环境部署Spring Boot 增量更新问题。 3、生产环境命令行Debug问题。JVM调优生产服务器项目宕机问题。 4、自助分析日志无法打印第三方框架日志问题。Netty开源项目Bug修复问题。IE 8低版本跨域问题。

通过低代码的方式配置第三方系统数据源（设备信息、工艺信息、Lot信息等），将数据导入到系统内部，然后根据业务流建立相应的RTD(生产调度系统)规则过滤数据得到生产派工单，支持调用排程算法服务，得到设备机台订单的排程表。 工作描述： - 后端采用django框架，利用DRF快速搭建接口，gunicorn运行server； - 使用zookeeper作为注册中心，对后端服务化拆分; - 使用docker+docker-compose管理部署项目运行环境； - 使用pandas，numpy编写RTD rule, 处理实时海量数据(10G+)，使用多种方案优化代码性能； - 使用nginx做反向代理和负载均衡； - 使用dockerfile打包项目运行环境并优化镜像大小，使用shell脚本实现自动化部署； - 负责项目的日常维护；

项目描述： 本项目为用户提供一个可以随时记录和多查看在自身健康信息的平台。以微信小程序作为前端，与用户进行交互。提供健康信息语音或文字录入功能，经过后端进行。数据处理持久化到数据库。提供健康信息分类查看，汇总查看功能，将数据库的数据经过后端数据处理。使用echart插件进行多视图和分类展示。 我的职责： 模块1：负责用户认证模块开发，使用shiro框架实现用户登录，权限校验等功能。 模块2：负责语句分析模块开发，使用ND4J框架对word2vec模型进行训练，提取语句中的时间，身体部位，感受等信息。 模块3：负责数据可视化模块开发，对用户权限，数据训练等功能在后台管理页面提供可视化操作。

项目描述： 该项目主要使用GoLang作为开发语言，为曦灵数字人直播平台及管理平台提供接口服务。 使用Gin作为主要开发框架，使用Go Module作为依赖管理工具，使用Consul作为微服务注册管理中心，使用GinRouter实现路由服务，使用MongoDB作为数据库。使用ELK作为日志系统，kafka和RocketMQ实现日志收集和延迟性功能。 我的职责： 模块1：负责云端存储服务的开发。对主播角色及资产进行整理，创建对应的数据库模型，确定服务端和UE端的数据映射关系。为前端提供主播角色的初始化，捏脸等功能。并负责实现文件上传的统一接口。 模块2：负责后台管理页面的开发。将系统数据通过业务分析进行分类整理，进行可视化操作. 模块3：负责渠道商页面接口的开发，接入百度账号系统，将百度账号与主播平台用户账号，手机号等信息绑定，并为渠道商提供UE服务的管理功能。

项目描述：本项目使用java作为主要开发语言，为机器人管理平台以及机器人端提供接口服务。使用Springboot作为项目开发框架，使用consul作为微服务的注册管理中心，使用MongoDB作为业务数据库，使用ElasticSearch LogStash Kibana作为日志系统。使用kafka，RocketMQ，SpringAOP实现日志收集，消息推送，异步训练等延迟性功能。 我的职责： 模块1：负责实现机器人平台中的智能问答数据库的训练功能，使用redis和rocketMQ，对之前的同步训练改为异步训练，解决了训练数据庞大时导致的请求超时问题。 模块2：负责机器人端APP插件化升级功能，通过机器人端发送的设备码及设备类型，对机器人app的版本进行扫描并向机器人端发送新版本app的下载链接，并使用新版app的MD5实现插件的安全保证。 模块3：负责服务监控系统的开发，使用x-pack监测ELK中的异常日志并向后端开发人员发送邮件提醒。 模块4：负责后台管理页面的开发。将系统数据通过业务分析进行分类整理，进行可视化操作。 模块5：产品功能的日常迭代开发，如设备到期提醒，问答导入，人脸阈值设置，人脸打卡记录导出等功能。

1.负责该项目的健康问答设计和开发，使得具备以下功能： ①可以根据自定义的数据库进行回答 ②未被记录的答案将会在提问多次后直接记录 ③若存在多个相似答案，则用相似匹配得出最佳答案