Kafka

项⽬简单描述：通过前端埋点收集⽤⼾⾏为数据数据，业务数据采集采⽤同步策略存储在Mysql，⽤户⾏为数据采集使⽤flume通道，设置ELT拦截器获取⽇志时间戳，通过kafka消息队列暂存⽇志⽂件，业务数据通过Maxwell暂存kafka，所有数据经过⼀系列操作最终流⼊Mysql，通过数据接⼝可以⽣成可视化报表 技术栈：Hadoop，Zookeeper，Kafka，Flume，Spark，Hive等 项⽬总结：本项⽬主要采集电⼦商务平台的⽤⼾⾏为数据和业务数据，业务数据通过调研最晚可到达200天，每次可抽取 处理200天的数据，通过⼤数据组件分析⽤⼾⾏为，利⽤分析结果达到推测⽤⼾喜好，推荐类似商品的效果

TSP系统是某车企为符合国家对新能源车辆法规要求、业务要求等方便所开发的后端管理系统，包括但不限制于车辆远控、车辆行驶数据分析、国标32960协议解析与上报等，我担当该项目技术架构和核心开发，历经8个月、带领13个人完整整体项目的立项、上线、交互等一整个流程。针对车联网系统我整理归纳了比较通用的架构设计(详情可见我博客地址)。另外针对GB32960协议的解析我也进行了一定的程度的抽象与开发，将其编码唯一个可公用的中间件模块(见我github项目); 1. 博客：https://www.cnblogs.com/zhaohuaxishi/p/17227057.html 2. github : https://github.com/xinglongZeng/gb32960-impl

本项目采用前后端分离技术开发，前端使用uniApp开发，后台使用vue+elemutUI开发，前端内容部署在nginx反向代理服务器中，后端采用SpringCloud进行开发，采用SpringMVC作为控制层框架，采用mybatis作为持久层框架，使用mysql数据库作为关系型数据库，采用redis缓存技术以及Elasticsearch搜索引擎。

1、api服务基础架构，修改配置后可直接启动 2、http服务：采用Gin框架，已实现请求日志打印、跨域处理、静态文件访问、swagger的api文档生成等 3、pkg目录下为整理封装的各类工具或中间件

这是一个微服务架构的新闻项目，主要着手于获取最新最热的新闻资讯，通过大数据分析用户喜好精确推送新闻资讯。这个项目包括了用户移动APP，用户自媒体平台，管理平台。管理平台包括了用户管理、内容管理、数据统计、标签管理、公告管理、系统管理。自媒体平台主要有内容发布、内容管理、粉丝管理，评论管理，权限管理，素材管理，我主要开发了内容管理、素材管理模块。

• 开发了一个Python应用程序来实现交通路口的实时目标检测，并将输出结果保存到MySQL数据库 • 在实验室的数据集上对YOLOv4模型进行了微调训练，物体检测的平均准确度达到了95.2% • 编写了基于DeepStream的C++插件以实现输入帧的透视变换和背景去除，使运行时FPS提高30% • 建立了基于Angular和Spring Boot的项目网站，以展示工作流程和研究成果 • 设计并构建了一个全栈Web应用程序，使用户能够获取智慧城市路口的实时交通信息 • 使用Angular框架和RxJS、Bootstrap等库构建了动态响应和用户友好的前端网页 • 利用Spring Boot框架并基于分布式微服务架构，创建多个后端RESTful API来提供各项功能 • 将应用部署在云端GCP上，并配置API Gateway和Load Balancer以实现访问安全与负载均衡 • 使用Git进行版本控制，并利用Jenkins配置CI/CD pipeline以实现自动流程控制

本项目主要是根据自己多年的工作经验，编写的一些程序要进阶所需的一些文档。目前编写了以下三个文档： 1. 《java程序员架构体系.pdf》 有很多做 java 的朋友，都和我说过这样一个问题，他们想要去提升自己的技术能力，但是 感觉自己要学习的内容太多，不知道该如何下手，不知道该如何去学。而且往往在学了一 项新的技术以后，由于在工作中用不到，所以时间长了以后也就淡忘了。所以感觉自己总 是辛辛苦苦的努力了一番，但是效果并不明显，自己的技术能力提升的很有限，感到特别 的迷茫。 而且现在一直在流传程序员 35 岁的职业危机问题，很多人也在担心，如果自己的技术能力 真的一直都没有提升，原地踏步，到时候是不是会真的被淘汰掉。很多人都为此感到很焦 虑。 所以我觉得我有必要将我自己的一些经验分享给大家。希望大家可以从中去借鉴一些东西， 尽快的找到自己的方向，走出迷茫，摆脱焦虑，让自己的技术能力真正的得到提升，不用 在去担心 35 岁职业危机的问题。 这本书并不适合 java 的初学者来看，它是针对于那些已经有了一定的 java 基础，但是却不 知道该如何提升自己的朋友来看的。因为这本书里，我在讲到一些技术点的时候，我并没 有告诉你该如何使用它，而是告诉你使用它可以解决什么问题，使用它会给我们带来哪些 新的问题，以及它的实现原理等等。至于你如何去使用它，在网上或者在书籍中，随随便 便就可以找到很多，我在这里重复一遍也没有什么意义。 2. 《java技术人员如何做好管理.pdf》 Java 工程师的出路，做到最后，无非就两个，一个是继续深耕技术，向架构师的方向上发 展，另一个就是转型做管理。 但是目前的市场行情、尤其是疫情过后，大部分企业的经济状况很不理想，所以很少会去单 独的设立架构师这么一个岗位。大部分情况下，都是技术管理人员，同时肩负着架构师的职 责。所以对于 java 工程师来讲，管理能力也尤为重要。 但是很多做技术的人，并不擅长去做管理。因为在做技术时，更多的是与代码打交道。代码 是一个很单纯的东西，只要你认真的对待他，它也一定认真的回报你。但是做管理就不一样 了，做管理更多的是与人打交道，人可没有代码那样单纯，人要比代码复杂的多得多。一个 经常与代码打交道的人，突然让他与人打交道，他往往会感觉不适应。 所以一个 java 工程师，本来做技术的时候，做的非常好，非常优秀。但是当他转型去做管 理时，却是一团糟。可能他会因此而沮丧、灰心，甚至自信心也受到了严重的打击。 但是我想说的是， 这是一种很正常的现象。 任何一个人， 当让你去做一件你不擅长做的时候， 谁也不可能一开始就做的很好，谁都会有一个过程。我也是一样，我在刚刚转型做管理时， 做的也是一团糟。我也是经过了几年时间的磨砺，才做的越来越好的。 所以今天，我把我这些年做管理的一些经验，分享给大家，供大家参考。希望大家可以从中 获益，一起把管理做的更好。 3. 《如何成为一个优秀的java面试官.pdf》 本文将从以下三个大的方面讲述： 1. 从我个人角度出发，我认为应该怎样做好一个合格的 java 面试官。 2. 各个级别的 java 工程师，各自应该具备什么样的技能与素质，这样才能有针对的面试。 3. 我自己在做 java 面试官时，经常问的一些问题，大家可以参考

1、功能模块1：结构化数据（oracle,mysql,postgres,达梦，tidb等）采集，整合，清洗，数据湖，数据仓库，元数据，数据集市，BI 。 2、功能模块2：非结构化数据ftp,kafka,excel文件，文本文件通过配置导入到数据库或文件服务器。 3、功能特点：支持全量同步，增量同步，实时同步。 4、使用自研go代码自动化工具，一键生成后端，前端，鉴权，元数据等代码，自动生成代码，包括基础功能功能，预留灵活自定义代码空间。 5、使用go语言gin框架+vue+vite开发。

1.秒杀商品的功能 在秒杀这样用户请求并发极高的场景，系统中使用到了缓存和限流等技术来保证系统的稳定和快速响应 2.认证登录的功能 分成购物车、优惠券、秒杀等模块 3.分布式和配置化 没有采用单纯的SpringBoot的单体架构，而是使用了分布式的架构，无论是系统的性能遇到瓶颈，还是某个模块在运行过程中遇到问题，亦或者需要开发新的功能，在分布式下都可以以最低代价解决问题