Zookeeper

按业务功能主要分为商品，会员，营销，企微，订单，财务，数据等大模块。商品模块承载商户线上和线下商户和门店商品基础数据；会员承载商户线上和线上会员数字资产数据；企微模块是对接企业微信进行客户群体管理；订单模块承载商户和门店线上和线下订单数据的扭转；财务模块主要是统计和汇总商户线上和线下财务订单数据，便

2024.12 Hadoop平台部署与运维项⽬ ⼀、项⽬概述 2024 年 12 ⽉参与 Hadoop 平台部署与运维项⽬，聚焦⼤数据平台搭建与组 件运维，在虚拟机环境完成从基础框架到多元组件的全流程构建，夯实⼤数据 集群运维技术能⼒。 ⼆、核⼼⼯作内容 （⼀）平台与组件搭建 基于虚拟机环境，主导 Hadoop 基础平台架构搭建，规划集群节点配置，保 障分布式存储与计算框架稳定运⾏ 。 （⼆）多元组件部署与配置 数据库类：完成 hive 数据仓库、redis 缓存数据库、clickhouse 列式数 据库、hbase 分布式数据库的安装与参数调优，适配不同数据存储与查询 场景。 协同与流处理类：部署 zookeeper 实现集群协调管理，配置 sqoop 完 成数据迁移、flume 构建⽇志采集流、flink 与 spark ⽀撑实时与离线计 算，kafka 保障⾼吞吐量消息队列，maxwell 实现数据同步，构建完整 数据流转链路。 监控类：搭建 zabbix 监控系统，配置节点状态、资源占⽤等监控项，实 时预警保障集群健康。 三、项⽬价值 通过项⽬，熟练掌握 Hadoop ⽣态体系组件运维技能，能精准应对⼤数据平 台多组件协同部署、配置及监控需求，为⼤数据集群稳定运⾏提供实操⽀撑， 积累⼤规模数据环境下的运维实战经验 。

1、面向门诊药房药师和取药消费者，帮助患者签到排序，叫号上屏，向药机器人发送处方调配药品，协助药师高效有序完成药物分发刚工作。 2、亮点：协同签到、上屏、叫号、机器发药等工作，减轻药师工作负担，维持药房发药窗口秩序。 3、前端使用VUE，后端使用springboot开发，docker部署，RabbitMQ消息发布订阅、Redis做分布式锁等。

DBA助手是一款天云星数据库（简称SCSDB）集群的监控工具，全方位多角度监控集群硬件资源使用情况、数据库使用情况、数据库健康状况，帮助用户快速、高效维护数据库集群，给数据库调优提供信息支撑。总的来说，这个一个用户监控、管理和运维集群数据库的系统，里面还包含了对redis、zookeeper编辑器。

项目描述： 兴业银行信用卡app-本地优惠是由用户端app、运营端pc、商户端app、商户端pc、小程序组成的商城类项目，该项目主要商品为优惠券与红包，为用户提供在商家消费时参与折扣的优惠服务 技术选型： SpringBoot + Zookeeper + Dubbo + Mysql + Redis + Kafka + ElasticSearch + Apollo + skywalking + flume + shiro + activity等 项目职责： 生产问题的排查和解决 用户端和运营端需求的迭代开发，如券的循环周期、子库存、定时上下架、下单支付等功能的实现 定时任务批处理执行监控、热点数据预热 监控系统中的慢sql日志，并对出现的慢sql进行分析及优化 用户端组内同事的需求评审、排期、日常工作进度跟进、code review、交付等工作

1.此系统是面向的客户是企业，针对需要有短信发送需求的企业，为企业解决了企业登录验证码发送和行业短信，营销短信，以及视频短信提交发送的平台。 2.此系统WEB管理端和HTTP接口协议端和所有定时任务，是由JAVA开发，后台发送服务由C++语言开发；采用验证码优先级最高的方法来处理验证码，针对发送失败的短信，通过配置可以对失败的短信进行补发，从而提高短信下发成功率； 3.此系统WEB管理端和HTTP接口协议端和所有定时任务，是由JAVA开发，后台发送服务由C++语言开发；WEB管理端采用了微服务框架开发，通过Dubbo和Zookeeper来实现服务之间的调用；由于每天的短信数量达到百万级，数据库处理采用了分库分表存储，使用ES来存储短信，提高查询性能；

1.面向对象及解决的问题： 面向对象：点众科技及其旗下产品（如“河马剧场”、“DramaBox”、“点众阅读”等）、内容生产与管理团队（编辑、审核、运营等） 解决问题:内容管理分散，短剧、小说等多模态内容缺乏统一管理，复用率低、生产效率低，上传、审核、分发流程割裂，人工干预多、成本优化需求，视频带宽成本高，CDN调度效率低 2.突出特点： 全链路内容管理：支持短剧+小说双模态上传（直传/网盘/API拉取），统一管理中台。 智能存储与转码：动态OSS路径+阿里云窄带高清（节省40%带宽）+冷热数据分层。 高效合规与安全：对接字节/腾讯审核API，实现自动审核+动态CDN链接替换。 视频指纹+冠勇系统，构建侵权监控能力。 智能分发与成本优化：多CDN智能调度（阿里云+火山云双备份）+ H.265设备适配。 灰度发布：按城市/设备定向测试，降低发布风险。 高性能架构：采用Dubbo+Zookeeper实现微服务高可用，ES+Redis保障毫秒级查询。 3. 方案组成及技术选型： 模块 功能 技术选型 多模态上传系统 短剧（ZIP/百度网盘）、小说（文本/CP API拉取） SpringBoot+MyBatis+阿里云OSS 内容管理平台 版权状态管理、分类标签引擎（多级分类+ES索引） MySQL→Redis→ES三级同步 合规审核系统 自动触发审核（字节/腾讯API）、CDN链接动态替换 RocketMQ异步任务+回调机制 智能CDN调度 多厂商权重路由、H.265设备识别、灰度发布 自研调度算法+Redis缓存策略 版权保护系统 视频指纹生成、侵权监控（冠勇系统对接） 阿里云视频DNA+第三方API集成

• 项目描述：基金代销产品包括实时在线交易、离线对账、清算、资金收出款等业务，涉及基金申购赎回、支付、支付通知等实时在线交易，以及支付对账、申购对账、清算、资金收出款等离线交易。 • 技术挑战：支撑百万级用户日活，10几万并发访问、日活50万用户份额和资产和收益，实现基金业务的高并发处理和数据一致性，优化系统性能，提升用户体验。 • 技术应用：使用Spring Boot、Spring Cloud进行微服务架构设计，MySQL进行数据存储，Redis进行缓存和数据存储，Kafka进行消息队列处理。 • 项目成果：日交易量从500万提升到每日5-10亿，系统性能稳定，用户粘性增强

项目概述: 航材物流管理平台结合南航报关公司进出口货运运输的实际业务场景，开发一套集航 材系统接口、运输代理人询价、货物运输监控、运费结算、代理人协议管理和代理人KPI管 理等于一体的航材物流管理平台。 航材物流管理系统连通南航航材管理业务系统、南航贸易报关管理系统、航空公司空 运系统，减少南航报关公司与其他相关业务公司的沟通成本，减少航材丢失，考核运输周 期，节约运输时间，减少航材库存，节约成本，有效提升运营效率；实现代理人询价和运 费结算模块，实现询价全流程系统监控，减少信息泄露导致的廉洁风险；优化现在结算人 员审单流程，避免人工差错；定制各类统计报表，为公司提供运输报关的大数据分析和预 测，供公司领导决策。 工作职责： 1. 负责进出口模块，紧急运输模块，结算模块数据库表的设计和功能的开发，以及登录接 口开发 2. 负责基于RabbitMQ对报关实现异步操作，并使用rabbitmq实现业务解耦 3. 负责生产服务器无外网搭建cluster模式的redis集群以实现redis的高可用 4. 负责项目性能测试环境的搭建（zookeeper集群，redis集群，Nginx配置） 5. 负责对性能测试不过关的接口进行业务优化和sql优化 6. 负责项目安全测试，修复安全漏洞和越权修复 7. 负责登录接口设计和开发，以及shiro和redis的整合 8. 负责ftp文件服务器的搭建，ftp文件服务器定时增量备份，文件上传代码开发

融合中台是中兴无线院和中兴数字产品中心联合开发的数据中台项目，该项目以数字产品中心的 原中台为基础，由无线院负责继续开发新的功能和维护使用。新中台命名为datastation。 DataStation是基于数据治理方法论内部实践的产品输出，一站式提供数据采、建、管、用全生命 周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经 济的企业级数据中台。DataStation提供多种计算平台支持及可拓展的开放能力，以适应不同行业 客户的平台技术架构和特定诉求。 主要面向数据服务和数据的高效一体化管理，使管理更加的模块化和具体化，目前对外的面向对象是，青岛轨交 scala+ZDH(Hadoop、HDFS、Hive、Spark、Kafka、Yarn、Flink)+ADMA（调度工具）+PostgreSql（数据库）

该项目用于接收气象局历年来用到的气象站设备数据，以及对这些站点和数据的维护，包括以下功能： 站点信息管理，站点状态地图监控，站点数据查看，站点实时报文，站点上传开关，预警监控，到报率统计，可用性统计， 数据周报和月报，权限管理等功能，使用的技术框架有Springboot，SpringMvc，Mybatis，Dubbo，Zookeeper， Rabbit MQ，Netty

猫八网是一款专注于留学服务的在线平台，致力于为用户提供一站式的留学咨询、院校匹配、申请规划、自选课程、签证办理等服务。平台整合全球院校和留学中介的数据信息，结合大数据分析和智能推荐算法，为学生提供精准的留学方案，提升申请成功率。 从后端开发的角度来看，猫八网采用了强大的微服务架构，确保平台各项服务和功能的无缝集成。系统能够高效处理大规模的数据，通过智能算法为用户提供个性化的推荐和分析。此外，平台后端还利用实时数据处理技术，确保用户在留学规划的各个环节都能获得最新、最准确的信息。 同时，猫八网不断优化服务流程，包括需求采集、项目管理经验积累、以及竣工验收等，确保为用户提供高效、精准、可靠的留学解决方案。我们的后端系统支持高并发和高可用，能够在用户量不断增长的情况下保持系统的稳定性和优异性能。

1、针对项目需求进行开源系统选型，极大节省自研开发和迭代升级成本，缩短开发周期。 2、逐一了解分析相关产品源码及框架，以保证二次开发可行性和可扩展性，并根据架构明确开发难度。 3、将选型产品进行本地源码部署，并统一整合到jnpf低代码平台，根据UI原型，二次开发各产品的web端统一风格。 4、分配功能测试案例，验证各模块功能准确定和稳定性，通过并发压力测试了解openAPI和数据处理能力，并针对源码bug进行改造修复，其中修复sqlrest、datavines产品对PostgreSQL支持的问题，并提交issues和分支。 5、完成合产品与jnpf的单点登录、流程贯穿整合，实现从数据建模、数据开发、元数据管理、数据质量管控、数据API的数据库流程建设。 6、目前平台已介入28家self区的数据库，和中央数据湖作为数据支撑，通过集群搭建dolphinscheduler，稳定运行600+ etl任务，日批处理上千亿数据量，为数据数据仓库分压一定的数据分析及数据监控压力；同时基于self区库表在线生成API提供数据接口，搭建门户和报表等场景应用

公司名称：奕丰基金销售有限公司(2021.9.1-2024.3.7) 工作简介：在职期间主要参与，公司的项目主要包括基金销售相关的核心业务：官网，app，h5的基金购买，支付，赎回，对接基金公司的数据交互，对接支付机构的文件数据交互，以及一些衍生的副项目，例如保险，现金账户等业务 设计技术：Spring+SpringMVC+Hibernate+Oracle+rabbitMQ 详细描述：本项目结构上分为表现层、业务层和数据访问层，层次间的依赖关系自下到上。 表现层采用SpringMVC框架开发； 业务层封装业务流程，为适应业务的变更，每一业务模块均有专门的接口及实现类，利用Spring的IoC功能将实现类注入给表现层的Controller； 数据访问层借助于Hibernate实现，对Oracle数据库兼容较好。 事务部分利用Spring的声明式事务管理。 业务之间传递信息采用mq进行传递，可以让消息做到稳定传输 担任角色：1.参与公司系统的日常系统开发与维护，收益重构，现金账户，保险等业务开发 2.在职期间参与系统重大项目，收益重构（将原有的在数据库用存储过程计算收益的这套架构，切换为代码层面的节点式的收益计算模式）极大加快了收益计算的速度，并将之前繁琐冗余的sql代码去除，变成了干净整洁的java代码，独立了收益项目，不会受系统其他服务影响导致收益计算出现问题 3.经常参与系统线上问题排查，可以很快的查询系统日志，内存占用等情况，定位问题所在 4.带领团队进行日常的系统运作维护，解决系统的日常bug，维护系统稳定 工作收获：这是我毕业以来的第一次正式的java开发工作，在入职之后我就保持了对工作的极大热情，详细了解公司架构，了解公司业务，积极参与公司相关业务的开发，带领大家投身公司的开发任务中，因为我积极的工作热情，领导让我参与了收益重构这个项目的开发，通过这个项目，更是让我成长了很多，了解了系统的方方面面，也从这个项目中学到了很多开发相关的技巧，包括oracle sql的优化，mq的使用，缓存的使用，以及如何正确的使用锁来保证既能控制代码不会重复运行，又不会太过于影响代码正常运行的效率。在后续的工作过程中，我也参与了系统线上bug的排查与维护，参与其他项目的开发，在这个工作工程中，我也能明白，要保证一个开发项目的完美上线，不光自己要做好，更是应该去带动项目的相关人员的积极性，要让项目的每一个人都参与其中，大家集思广益，才能得出更完美的方案

1.本方案主要面向中国电信营业员，解决公总用户以及政企用户充值缴费、账单入账出账、发票开具、非公众用户托收、账单查询等问题 2.相较于市场常规方案，本方案优势主要集中于：具有极高的安全性和并发能力以及大数据处理能力 3.方案主要包含：门户网站、账务前台、账务后台、出账系统、智慧运维等产品，技术主要包含：zookeeper、Spring、mybatis、jquery等 4.该项目为企业所有，资料无法上传至公网

饭蛋商城是网上购物项目，后续一直再开发维护。主要有管理员网、老板网、APP、小程 序。期间增加了饭蛋钱包 充值，开通会员卡，团购返利，OA 报销等功能。主要技术以 zookeeper 为注册中 心结合 java 开发的 gateway 服务实现集群管理及消息推送服务，项目主体是以 node 开发，使用 mongodb 及 postgresql 为数据库，redis 缓存机制，用 elasticsearch 做店铺与商品的搜索功能。 期间不仅负责项目的需求分析，开发，部署工作，还负责项目及数据库的优化、海外服务器的迁移以及版本升 级。

通过flume和sqoop数据采集工具，采集文件日志中的用户行为数据和数据库中的数据到hdfs 文件系统。然后到基于hdfs文件系统构 建外部分区表，建立总体的数据仓库框架。数据仓库 ods层直接保存原始数据，dwd层对数据进行一些预处理，dws层保存一些中间 层数据用于 app层数据调用。在数据仓库上完成相关指标统计，例如新增用户统计，用户流失统计，操作系统活跃性，商品指标信息 的相关指标。

本案例已注册专利： 专利申请号：CN202011286434.4，公开公告号：CN112102445A。 ① 项目面向用户为房产经纪人（推广功能使用者）、企业运营者（推广组件后台管理人员），其中运营人员配置推广海报模板，定制海报风格和内容等，经纪人使用该功能进行推广。组件依托“多多卖房App”， App里有关新房楼盘、二手房源的推广模块皆依附于该功能。 该组件用于帮助经纪人进行楼盘或房源推广，打开微信、抖音等平台的客源，帮助经纪人快速获客。 ② 相比于时长常规方案，我认为市场的海报推广大多是模板固定，每当模板需求有更新，开发、设计需要重新对接并实现产品功能。我设计的推广组件，解决了企业内海报定制的问题，只要设计师设计出海报样式，即可在海报设计平台上制作出模板，开发团队即可根据推广组件模板进行内容动态渲染，快速生成海报。千品千面、千人千面。 ③本项目中主要担任架构师&项目组Team Leader。项目组构成包括产品经理1人、设计师1人、后端开发2人、前端开发3人，本人担当项目负责人和系统架构、系统设计负责人。 本人首次提出“推广组件”的概念，并独立设计出推广组件的架构模型。项目基于公司现有微服务架构，统一了“推广”的对接协议，解决了复杂业务耦合问题，且实现了前端组件化、业务对接的可配置。任何 App、任何微服务均可快速对接，大大降低了“推广”功能的开发复杂度。带领团队经过了多个版本完成项目上线与优化，完成了从 0到 1 的实现。主要技术：Springboot; Redis、MongoDb、RabbitMq、Dubbo、Zookeeper、ElasticSearch 等。

项目描述：本项目是基于Flink开发的实时数仓，出于客户业务的需要，获取任务开始期间智慧车辆行驶相关指标的实时变化，以便于及时调整车辆参数。整体项目难度较大，需要保证高可用、高吞吐、低延迟、结果的准确性以及良好的容错性。 技术栈: Flume、Maxwell、Kafka、Zookeeper、Flink、MySQL、HBase、Phoenix、Redis、ClinkHouse、Hadoop 个人职责: 1、技术选型与框架搭建：评估多种实时数据处理技术，最终选定Kafka、Flink作为核心组件，搭建起稳定可靠的数据分析框架。 2、系统架构设计：负责整体架构设计，包括数据采集、数据清洗以及数据处理层的设计与实现，确保系统的高性能和高可用性。 3、业务理解与指标分析：根据用户需要，从安全、高效、节能和舒适四个方面展开，深入理解指标实现的意义和途径，梳理实现指标需要的数据。 4、功能研发与测试：负责部分指标的开发任务，配合测试同事制定每个指标的测试用例，确保系统开发效率。 技术描述： 1. 日志数据通过 Nginx 实现负载均衡，将日志数据发送到 Kafka 中，业务数据存储在 MySQL 中，使用 Maxwell 实时监控抓取 MySQL 数据发送到 Kafka； 2. 使用Flume把从日志服务器接收的日志数据进行简单的 ETL 数据清洗； 3. 从 Kafka 读取日志数据进行分流，实现数据拆分，写入不同的 Kafka 主题中； 4. 根据 MaxWell 给我们封装的数据结构提前在数据库中创建一张配置表； 5. 通过 FlinkCDC 动态监控配置表的变化，以流的形式将配置表的变化读到程序中； 6. 通过 Flink 进行双流 Join 组合实现订单宽表； 7. 外部数据源通过 Redis 实现旁路缓冲，加快查询效率； 8. 将维度关联引入异步查询，将 IO 操作异步化，使单个并行可以连续发送多个请求，不需要阻塞式等待，大大提高流处理效率； 9. 利用 FlinkCEP 对流中数据进行匹配，实现车辆掉线检测以及5S内连续3次登录报警； 10. 利用 IntervalJoin 管理流状态时间，实现停车费支付宽表，保证当支付到达时订单明细还保存在状态中； 11. 将多条流通过 union 进行合并，指定水位线，分组开窗聚合，写入到 ClickHouese； 12. 提供一个数据接口用来查询 ClickHouse 中的数据，进行可视化展示。

本项目为建信信托公司的信托业务系统的代销子系统，该系统用于和各代销机构进行信托业务数据交互。 该系统为建信信托遵循标准的中登接口规范，及中登接口规范自研的系统，可以处理中登接口中各种常用的业务类型数据，具有处理委托申请业务规范、生成确认数据文件质量好、时效性高、业务需求兼容能力强、系统易扩展等特点。 该系统使用spring、springmvc、mybatis等基础框架开发业务功能，oracle作为数据库，使用zookeeper、dubbo、rocketmq提供各服务间的调用和高可用能力。