大数据

大数据平台是一站式大数据开发管理平台，基于 Hadoop、Spark 等大数据计算引擎，提供数据开发、任务调度、数据资产管理和数据质量管理等全方位的大数据产品服务。涉及 dataworker 平台、datax 数据同步服务、dzlog 日志数据采集服务、小海螺服务、jobserver服务、thrift-server 服务、jupyter 服务等。 技术栈：springboot、nginx、spring-security、jwt、hive、hbase、elasticsearch、clickhouse、kafka、mysql、redis、jupyter、livy、ai应用开发

互联网信息推荐算法安全评估平台（http://116.62.162.16/home）是一个面向算法治理与信息安全分析的专业工具。该平台支持从快手、微博、抖音、小红书等多类主流平台进行数据抓取与分析，实现对推荐算法行为的全面监测和量化评估。 平台核心功能包括宏观数据看板、账号群体画像分析、安全指标追踪等，能够精准识别如“诱导控制”和“干扰识别”等算法风险行为，并以可视化方式呈现其变化趋势。它已管理超600万账号、37类群体画像，支撑起对信息传播机制与算法影响的深入洞察。 该平台适用于监管机构、研究单位及平台企业，为其提供算法安全评估、舆论风险预警和治理策略制定方面的数据支持，最终推动推荐算法透明、可信、向善发展。

功能包括python爬虫，Matplotlib绘图、Echarts数据可视化、结合mysql数据实现hive电影相关数据统计、Mapreduce词频统计、情感分析、词图云等

1. 新能源电池bms通过tcp上传整包、电芯等数据。云端接收数据并进行清洗和保存。 2. 特定算法对电池数据进行分析，对结果和告警进行实时展示 3. 采用docker，springboot，netty，zookeeper，kafka，hbase，spark，mybatisplus，vue，echarts等技术。

目前我国中小房地产公司由于业务较多、数据繁杂、出现数据后端更不上业务发展的节奏，为解决该问题，我司开发该项目，主要为我国中小房地产公司提供数据查询、数据管理等服务，可以解决跨部门口径统一的功能。该项目采用微服务架构，使用springcloud，mysql，redis，rabbitmq，nacos，ElasticSearch+Kafka，docker，Hystrix等进行开发。主要模块包括：数据收集、数据存储、数据处理、数据分析、可视化和系统管理。 工作内容： 1、业务沟通与建模，技术选型，环境搭建与机器部署，数据库建模 2、redis采用redis cluster做集群保障动态扩容，个人中心、交易中心使用bitmap、HyperLogLog类型进行大数据量统计 3、监控系统监控Rabbitmq的Dead-Letter-Exchange应对消息积压 4、基于分布式搜索系统ElasticSearch+Kafka满足站内搜索和ELK日志系统 5、改造Spring cloud gateway建立服务网关 6、引入Hystrix熔断器并进行适配和优化

Data 大屏是一款专业的数据可视化大屏展示工具，其内置多种主题风格以及丰富的组件库，并支持定制化的设计需求。通过异构数据源整合，Data 大屏可轻松接入企业各个业务系统， 实时展示数据，帮助企业第一时间了解业务情况，及时做出决策。

数据治理平台致力于打造一个具备开放自主开发能力的一站式、标准化、可视化、透明化的大数据全生命周期数据开发治理平台。通过单一平台，即可实现数据传输、数据计算、数据治理、数据服务等各类复杂组合场景的能力构建数据资产中心。同时，数据治理平台持续打造符合企业级数仓、数据中台构建要求的能力，满足开发人员从数据引入，数据计算，数据挖掘，数据质量，数据地图，数据服务的各层次能力，为企业业务的数字化转型提供支持，极大的缩短了企业数据价值的开发过程，提高企业提炼数据价值的能力。

项目描述：平台整体架构分为三层，前台为展示层主要由PC端组成，业务主要由数据服务、受众服务、分析服务、营销服务、成员服务、资源服务组成。后台主要分为两部分来完成对业务的支撑，内部服务则由计算服务调度服务和消息服务业务时完成业务的核心部分，外部服务主要为对接入第三方完成对受众用户发送短信邮件等营销手段，数据导入部分需要借助数据治理完成对数据的导入。 项目意义：用户增长平台以消费者为核心进行运营活动，全面的认识消费者，并从中筛选更有价值的客户，高效触达消费者，通过丰富的用户筛选和便捷的策略配置，完成消费者多维洞察分析和多渠道触达，助力企业实现用户增长。 项目职责：任职期间主要负责平台的整体设计、概要设计详细设计的软组部署等相关文档的输出、核心模块数据源数据集以及受众业务和底层服务的开发、协调组内成员的开发工作。 项目业绩：对项目产出核心代码两万余行，调用大数据相关生态组件，调研 DolphinScheduler 作为业务流并自定义研发轻量的任务服务。分析产品业务理解并学习用户增长业务场景和概念问题。解决产品的研发难点，保证产品的正常迭代。

1、宁德时代，各工厂和机台方差，标准差，期望值，数据统计 2、离线批处理统计数据量大概500g 左右，负责封装，公共类，数据统计，以及参数调优

1) 项目基于hbase 作为图数据存储，每个图实力存储一张表。每个实体存单行，属性和关系存入列中 2）负责数据清洗，统计实体和关系数量，快速导入数据任务

为国际矿物学会构建python包，以便于相关工作人员查询每年被认证的矿物名称、化学式等信息。 该包主要涉及的功能包括：基于矿物名称的精准查询和模糊查询、数据导出、数据名称的标准化等内容。

项目环境：MySQL+ClickHouse+Spring+SpringMVC+MyBatis+RabbitMQ+Kafka+Linux 项目描述：属于二开项目，将数据存储从 Lucene 切换至 ClickHouse，是一款软硬一体化产品，将数据库 的各种访问操作，解析还原为数据库级的操作语句，通过预置的安全规则匹配，即可智能分析和监控访问者的各 种操作，可以准确的反馈数据库的各种变化，对我们分析数据库的各类正常、异常、违规操作提供证据。项目使用 SSM 框架搭建，使用 MySQL 存储配置数据、ClickHouse 存储审计数据。 项目职责：负责项目的技术攻关、需求设计、串讲、二次开发、冒烟测试、漏洞修复，主要负责检索模块和 数据维护模块以及数据存储的优化开发 1、数据存储：将原本的 lucene 存储数据转移至 clickhouse 中，优化检索以及报表展示性能。 2、检索：百亿级数据检索优化，经历两次优化，第一次优化通过百度分页方式将检索效率提升 10 倍，第二次 采用多线程+websocket 分批推送将检索时间提升至秒级，得到客户认可； 3、数据维护：自学 ClickHouse 数据库技术，查找资料了解 ClickHouse 分区，利用 ClickHouse 分区特性进 行审计数据的备份、清理和恢复，同时使用定时任务完成自动备份和自动清理。

1.项目描述： 根据某政策文件，需进行全国第X次调查审核系统，项目为全国范围内使用的系统，日活用户量为2万，日接口请求量为1500万，最为突出的特别是地方差异性（全国地区各地方的特殊自然环境）、审核数据全流程留痕、任务大、周期长（三年）、高并发、三级等保安全性等。 2.技术栈：springBoot+Mybaties+postgresql+clickhouse+redis+vue3.0+Spring Security+Docker+Centos+Maven+Git+SFS+Obs+minIO

该项目为政府的农产品生产销售数据统计系统，包括内部 PC 端管理平台、数据大屏和C端微信小程序。通过采集各大农业基地报送的数据进行统计分析，生成各种农产品的生产、销售、成本、利润等数据，进行图形化数据展示。并为各科目管理部门提供报告生成、审核、发布等的操作功能，实现线上业务处理流程。 本人参与该项目从头到尾的整个过程，包括与客户需求分析，数据采集方式，数据统计公式设计，各客户端原型制作，各类交付文档编写等工作。

有管理数据模型的数据标准管理和管理模型数据的数据业务管理。由vue和springcloud开发完成。我主要从事该项目的后端开发和维护，开发测试环境部署和维护

有平台管理，数据源，发布数据源的资源发布区。开发服务的开发端，开发服务测试的开发运行端，管理服务的管理端，被管理的运行端。主要从事项目过程中的开发和维护，环境部署

项目描述： 本项目是武汉交投集团智能网联平台使用的大数据中台系统，可以实现集群服务器的指标监控、业务数据库数据的抽取、数据仓库的创建、数据etl和计算、批处理任务管理、任务执行监控等功能。主要模块包括：首页监控模块、数据源管理模块、数据接入模块、数据服务模块、调度中心模块。 系统架构：HDP+Prometheus+Grafana++ES+Flink+Spring Boot+Mybatis+Vue 责任描述： 中台所有组件的搭建和维护，包括HDP、Prometheus、Grafana、ES、Flink 首页监控模块、数据源管理模块、数据接入模块、数据服务模块、调度中心模块的后台开发 项目相关设计文档的编写 项目上线时的环境部署和后续功能维护

基于互联网+物联网+人工智能的数字化体重管理平台服务 项目创新点 1、动态路径：根据减重患者的个性化信息系统自动计算出该减重患者的运动方案，饮食方案，健康宣教，监测方案； 2、AI自动点评：用户端app能根据减重患者每天的运动情况或每天的的饮食情况结合减重患者的个人信息如，身高，体重，合并的疾病等能自动进行点评并提供实时指导。 项目取得成果 1、本项目AI点评技术和智能动态生成技术路径方案的研发已经完成，应用于《数字化体重管理》项目，取得了良好成效，达到个性化管理路径，智能动态生成管理方案的预期效果，有效提升减重管理效率； 2、项目技术已经获取了一项软件著作权：2021SR1510397 人工智能医学减重管理系统软件V1.0； 3、本项目已为浙江大学医学院附属妇产科医院提供了建设/服务应用，采用了本产品的生活方式干预对PCOS患者进行基础治疗，尤其是对合并重或肥胖的PCOS患者进行减重管理，能有效改善妊娠结局，提高妊娠率， 改善内分泌，降低雄激素等。 项目关键技术 1、基于springboot微服务架构模式，将独立的系统拆分成多个小型服务并各自独立运行，服务之间通过基于HTTP的RESTful API进行通信协作。每一个小型服务都围绕着系统中的某一项或一些耦合度较高的业务功能进行构建，且维护着自身的数据存储、业务开发、自动化测试案例以及独立部署机制。 2、提供动态网关服务（gateway）技术作为系统统一入口，封装了应用程序的内部结构，为客户端提供统一服务，一些与业务本身功能无关的公共逻辑可以在这里实现，诸如认证、鉴权、监控、缓存、负载均衡、流量监控、路由转发等，对所访问后台服务应用会将服务名作为路由地址，可以通过服务名进行请求转发。 3、基于nacos的动态配置中心，通过动态配置服务以集中和动态的方式管理所有应用程序或服务的配置信息。动态配置中心可以实现配置更新时无需重新部署应用程序和服务即可使相应的配置信息生效，这极大了增加了系统的运维能力。

背景： 妊娠期糖尿病（GDM）发病率极高，高达20%的孕妇妊娠期间会罹患GDM，控制不佳的GDM不仅会增加流产、早产、妊娠期高血压、巨大儿、肩难产、新生儿低血糖等围产期并发症风险，还会增加产妇产后罹患II型糖尿病和子代远期发生代谢性疾病的风险，妊娠期间严格管理GDM甚至产后定期随访和必要时生活方式的干预是增强妇儿健康的重要措施。目前我国对于糖尿病的管理模式主要是一般产检+专科门诊的形式，但在中国医护人员相对紧缺、医疗资源分配不均的大环境下，该模式下的GDM病情得不到全程、全天的不间断管控，自测末梢血糖及饮食-运动控制的依从性有待提高，相关并发症的改善效果亟需提升，由此所带来的医疗负担沉重，整个GDM管理模式的改良势在必行。 做法： 该平台对妊娠期糖尿病患者，基于患者基本信息、血糖数据及其他指标监测数据，辅助医疗人员评估制定患者辅助治疗的饮食、运动、监测管理方案，并基于采集的具体数据信息，对患者进行评估和指导,同时提供切实可行的渐进化干预方案。本产品有助于维持妊娠期糖尿病患者血糖稳定，提升了患者对处方的依从性和完成度，同时能够有效的提升了医疗机构的处方效率，管理效率，有效提供了患者居家血糖数据。

1. 项目定位 打造出国内最领先的面向投资机构的数据信息产品 探索利用另类数据驱动医疗行业投资决策 2. 探针做法 1.充分利用国内外已有优质数据源，构建起围绕医疗投资事件、机构和人物，以及与医疗投 资决策密切相关的科研、政策、产品等多方位数据信息库。 2.制定出与数据密切相关的医疗行业分析方法，在动态变化的行业发展中捕捉交易机会和标的 3.研究与数据业务有机结合，在适当的时机探索利用数据面向行业进行内容持续输出，逐步建立起探针数据研究的行业知名度。