大数据

1、负责公司数据治理平台设计，解决从各类数据中提取主题数据、关系数据、进行数据合并处理 2、设计整体流程，将治理拆分为多阶段任务：拆分数据任务、合并数据任务、数据入库任务 3、设计拆分任务的配置信息，灵活解决各类数据提取数据目标配置 4、利用Hbase存储拆分结果数据，利用Kafka进行通向，两任务可流式处理数据 5、提出以独立jar的加载模式，利用xxl-job任务调度，实现在不关闭服务情况下动态加载、卸载治理任务。另更有利于项目的扩展

本项目主要是通过收集用户的行为数据，根据用户的登录，搜索，点击，阅读，收藏等行为分析用户的喜好，做出不同维度下的相关统计，针对不同用户群体，做到更加精准高效的漫画推荐，提高用户满意度，避免对用户产生垃圾消息，降低流失率, 另一方面针对App以及PC端的固定板块以及漫画分类模块的定向推荐，不仅可以增加项目的可使用性，增加用户的活跃量；而且可以帮助用户发现一些用户想要发现但是很难发现的内容，进而做到提高一些冷门内容的曝光率。同时抽象出用户的尽量完整的信息，做成用户画像。 项目职责: 1. 参与相关数据采集以及主题设计和开发，参与数据仓库的搭建 2. 负责高频浏览主题的建设,负责高频浏览主题的数据填充 3. 用户画像模块：结合用户的基本信息，并从日志中抽取用户的各种行为信息，通过当天的数据和历史数据，抽象出一个用户的全貌，通过不断的对用户打标签，更加全面的了解用户，进而为推荐做数据支持 4. 负责相关指标的实现,为用户专属推荐做数据支持,生成用户的追踪报表，分析用户满意度,统计浏览量前20的漫画种类，以及漫画在不同时间端点，用户访问总量等 技术实现： 1. 首先通过JS埋点和

多种格式主流银行流水数据分析 可单机exe模式也可网络部署模式 功能： 1银行流水真伪辨别，通过数据比对发现假流水 2分析交易关联性 3分析账户负债 4分析账户流动性 本人负责此应用程序的全部开发维护，并根据数据资料的变化实时更新程序。

1.数字大屏整体建设开发，了解客户需要展现图表，业务工作原理个性化定制需要的展现场景。 2.了解客户不同管理层，领导层所需要掌握的信息，开发定制图表

授信额度预审批模型 功能： 1、通过信贷工作中常用数据维度，训练审批模型。并最终得到贴合实际审批效果的授信额度。 2、对模型进行定期迭代更新。 本人负责原始数据清洗、数据整理、数据入参、模型训练等全流程

桥梁数据采集系统是每个桥梁健康监测系统核心内容的数据采集系统，利用采集系统接收桥梁各传感器的实时数据，并加以解算，再加以处理，形成桥梁行业的规定的标准数据格式，进行存储，发送，用户可以通过桥梁健康监测系统来查看各传感器上各测点的实时数据和历史数据。 桥梁数据处理系统是根据不同的桥梁数据及用户需求，按需进行各种不同的数据操作，处理，达成用户想要的数据格式，并存储或者转发。代表项目：1.芜湖二桥，寿春桥数据转换程序。2.白沙洲大桥原始数据分析程序等

本系统需要完成的具体的功能可以分解为4个模块来实现，每个模块的具体实现在之后将一一列出。第一个模块为菜谱查询模块，根据需求理解，该模块应该包括未检索的图显示、用户查询菜谱和信息展示。第二个模块为主料查询，该模块应该包括未检索的图显示、用户查询主料和和显示关联可视化图。第三个模块为功能查询，该模块应该包括未检索的图显示、用户查询功能和显示关联可视化图。第四个模块为菜系查询，该模块应该包括未检索的图显示、用户查询菜系和显示关联可视化图。

1.负责项目的整体开发，包括数据库的设计，代码开发 2.项目使用springboot，canal，kafka。将数据经过清洗转换分发到不同服务器 3.项目可以对数据进行回溯，恢复到指定的版本

这个系统是作者之前在百度工作时，所做的百度内部的一个数据治理平台，用户可以将自己的数据放到平台上进行管理，在数据地图上进行发布，供需要相应数据的人申请，再进行后续的数据消费（API拉取数据，使用平台的可视化报表工具制作成报表等）。 系统的主要功能： 1、数据集、数据表的管理、维护。 2、数据集的发布。 3、数据查询API。 4、可视化报表工具。 系统主要技术栈： 开发语言：后端使用Java语言开发。 开发框架：后端基于Springboot微服务框架，前端H5页面基于Vue。 数据存储：主要业务数据使用MySQL数据库，部分高频访问数据缓存在Redis中。 其它中间件：使用了消息队列Kafka。 我的主要工作： 我是这个系统的技术负责人，负责系统的后端架构设计（在百度工作时，我是开发这个产品的团队的后端leader，实线带十几人）以及可视化报表工具的后端开发工作。可视化报表工具包括数据建模、生成各种可视化图表（柱图、折线图、饼图等二十多种图表展示）、多维分析功能（数据下钻、钻透）等。 因为写这个项目时手头暂时没有作品的图片，所以下面的作品图片不是真实的，等作者找到后再更改成真实图

1.提供全面托管的工作流服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。 2.采用了vue2作为前端框架。接手项目后由我独立负责前端页面的开发和优化要求

系统包含了首页的页头、标题、侧边栏、导航栏及轮播图。左侧侧边栏是电影题材分类信息，共展示了17个电影题材分类，当鼠标放到侧边栏的某一电影分类题材时，会在侧边栏右侧展现出该电影题材分类下的前30个电影名称，并且五个为一组，共六行，如图6所示；上方导航栏包含导演查询、题材查询、编剧查询、年份查询、演员查询和全局展示，分别对应不同的可视化界面，点击不同的链接就会跳转到相应的可视化查询界面；导航栏下方是轮播图，轮播图两侧的箭头用于切换前后图片，并且轮播图默认3秒自动切换下一张图片。

完整数据中台架构设计 设计各项数据接入方式及外部系统信标通信 基于OneData思想的数仓分层建模 基于指标库指标设计 数据集市及数据输出服务选型 分析报表工具选型及开发

1.企业官网：公司介绍，产品及服务介绍，登陆注册，系统入口 2.污水处理看板 3.厂区设备监控，设备控制 4.设备维修与运维工单系统 5.设备维护人员OA审批

数据工场主要是一站式提供数据加工处理，自动调度，自动化生成指标并输出的过程，而我主要工作： 1 主要设计与主要开发 2 推动出盘 3 迭代开发

互联网管理后台是服务大数据各个平台的管理后台，主要包括系统管理、部署管理、数据中心、调度管理等等。 所有技术：java、springmvc、xxl-job、mysql、tomcat、linux、redis、maven、jsp 我的职责：主要负责整系统的数据中心和调度中心的开发、维护和优化，这两个模块设计大数据的指标配置和定时任务配置等等。

1. 项目概述 CDP全称是客户数据平台（ Customer Data Platform）。 客户数据平台是一项收集和整合一系列线上和线下数据的营销技术 。全旅程采集客户行为和业务数据 ，对数据进行清洗、 归集、建模后形成丰富的标签画像；洞察客户，形成细分人群，驱动千人千面的个性化精准营销。 2. 主要功能点 ● 数据采集 ， 目前支持api接入 ，数据库抽取 ，文件接入三种方式 ● 数据路由 、数据转储 、虚拟存储 ● 数据订阅 ，包括api订阅和数据库方式订阅 ● 任务配置 ，包括标签任务 ，数据采集任务 ，数据路由 ，数据订阅 、数据重放等 ● 人群画像 ，包括标签和人群管理 3. 技术说明 ● 架构上使用时下流行的微服务框架 ，基于springcloud之上自研的msf框架 ，使用上更加友好 ● 持久化主要采用mongo和elasticsearch进行存储 。mongo主要存储配置 ，模型定义等偏向元数据类型的数据 。好处是 mongo作为文档型数据库 ，能够存储较为复杂的配置信息 ，且业务上少遍历操作 ，方便查询。 选型es作为主要存储工具 ，考量的是其作为分布式全文搜索引擎

在各业务系统中，数据不流通，形成信息孤岛，商业智能解决方案建立统一数据仓库，整合业务数据，给管理者提供统一视图，统一决策界面。从数据中分析企业发展趋势，挖掘新的机会方法，根据数据决策，提高决策的及时性及准确率。

单独或带领开发小组完成多个数据中台项目的开发。熟悉数据中台开发的各项流程。在多个项目使用dataworks/dataphin/袋鼠云以及各开源平台完成数据中台的数据调研、数据模型设计、数据中台开发、报表展示等工作。 帮助多家公司实现数据中台、数字化运营，提升工作效率。 因以上项目均是客户内部项目，数据不便展示。作品图片为部分类似页面。

单独或带领开发小组完成多个数据中台项目的开发。熟悉数据中台开发的各项流程。在多个项目使用dataworks/dataphin/袋鼠云以及各开源平台完成数据中台的数据调研、数据模型设计、数据中台开发、报表展示等工作。 帮助多家公司实现数据中台、数字化运营，提升工作效率。 因以上项目均是客户内部项目，数据不便展示。作品图片为部分类似页面。

单独或带领开发小组完成多个数据中台项目的开发。熟悉数据中台开发的各项流程。在多个项目使用dataworks/dataphin/袋鼠云以及各开源平台完成数据中台的数据调研、数据模型设计、数据中台开发、报表展示等工作。 帮助多家公司实现数据中台、数字化运营，提升工作效率。 因以上项目均是客户内部项目，数据不便展示。作品图片为部分类似页面。