大数据

一个自助数据分析平台，目的是整合各条业务线产生的数据，分为开放学校，直播，作 业，黑板，主要对学生和老师在平台上的使用数据比如教师使用资源的活跃度，学生的考试成绩，进 行统计分析，帮助运营了解公司各产品的使用情况进行策略调整，以及给校管生成月度报告给学 校老师帮助进行教育方针的调整

数据中台建设的背景跟企业的业务发展阶段和信息技术建设阶段紧密结合，不单单要投入大量的建设人力成本，还有有配套的组织制度、运营团队配合为他保驾护航。所以为什么建设数据中台，希望能达成什么样的目标，对不同企业都来说都是非常重要数据中台建设的起点。行业里，数据中台的主要原因有以下三点： （1）产品矩阵庞大，响应不及时，响应管理混乱 业务发展迅速，产品矩阵庞大，企业数据平台的服务能力有限，响应不及时，同时响应管理混乱，导致数据服务实效延迟，及服务体验较差，影响到业务端数据使用体验和展业效果，有必要进行统一的、模块化、标准化的服务能力管理和输出，实现对业务端的数据需求的精准满足和高效响应。 （2）烟囱式建设数据平台，大量源被浪费 由于业务快速发展和缺乏对整个产品矩阵的数据产品体系进行整体规划，就会出现多个业务线烟囱式建设各自的从数据接入>数据集成>数据开发>数据应用>数据治理等阶段的产品，出现大量的重复建设，导致计算、开发人力、运维人力、存储等资源的重复浪费。 对于这类现状在告诉发展阶段的企业是常见状态，有必要对整个产品矩阵做整体的数据中台能力的规划，让业务的数

一个IC类的外贸网站，将1000多万的Excel数据经过清洗、筛选，整理，归类入库，客户端采用手机端与pc自适应； 重点是，一个产品产生20-100个不同的属性，而且还需要根据属性对产品进行过滤与检索、对比，这就需要对数据进行合理的存储与读取；

1、项目共分为四大模块， 1）租户和权限管理模块 2）能源管理模块 3）双碳管理模块 4）物联网和大数据模块 2、我主要负责系统的架构设计以及租户和权限管理模块、能源管理模块的主要代码编写，以及物联网和大数据的维护

个人大数据平台是一款在支付宝上线的用于查询个人征信（大数据）的小程序，在合规授权的前提下，用户提交人脸识别后，平台返回用户的大数据信息

该产品主要是在疫情期间为政府部门开发的流调系统，数据采集支持人工采集和后台确认维护，并通过后台自动分析生产待处理单，由管理员派单给临时自动化批量生成的工作人员，再由工作人员分批处理。整个过程都有进度和状态跟踪，并自动生成阶段性统计分析报告，为具体的工作提供了很大便利，提高了工作效率。

项目描述： 依托于电网大数据平台，根据指定的分析统计模型，对营销，财务，人资等各大 域的数仓层数据进行分析，结合项目开发，展示分析统计模型结果数据。为审计部门 针对各域的审计工作提供决策支持。 任务角色： 在本项目中负责基建域、营销域及财务域模型开发，把数据从数仓层（DW）抽取 到数据集市层（DM）并进行数据分析及数据开发工作，最后同步经过清洗及分析的统 计数据到 RDS 数据库，供统计分析模型计算模型结果。 此项目积极响应了电网公司 数字化转型方针，有效利用了公司大数据平台，挖掘数据资产价值，开发数据服务， 为相关部门的决策提供大数据支撑。

1.自研数据产品中台 2.设计技术栈广泛：springboot,mybatis,docker,maven,tomcat,nginx 等基础框架外，多方基础数据计算engin：doris，clickhouse，impala，presto等多种消息队列mq，kafka 等等，此外 国内的大多数产品也依旧能支持包括但不限于星环，达梦，qianbase 等 3.多年服务银行业，熟悉行内开发流程规范，数据安全等

1、项目主要功能有，元数据浏览、元素据采集，包括结构化数据库(oracle、mysql、pg、dm、sqlserver)、非结构化（文件）、大数据(hadoop、hive、hbase)等； 2、使用的技术栈springboot + mybatis + nginx + vue + element_ui；

项目为独立设计研发的洪水预报模型软件。基于核心部件洪水预报模型，融合对测站监控数据的大数据分析技术，实现从指定的预报起始时间开始5小时内不同位置的预测水位。且根据动态数据，实现后台的数据清洗，分库分表，生成训练库等。 项目包含的主要模块有联合调度预判功能、站点预报功能、数据采集模块、系统监控维护模块，为用户提供了人工录入、爬取、共享数据获取等多种采集途径，并整合统一；在此基础行支持不同站点的水情预报，并提供重要决策依据。 在此项目中，我独立完成了需求调研分析和设计，完成前后台的开发，为客户提供了多项优质解决方案，均被采纳，项目成功交付。 项目中的难点主要是后台数据的维护，预报的精确度，以及联合调度预判的设计，我通过数据爬取技术、有针对的数据清洗方法、比对校验等手段得到了训练库的正式库建设，预报精度通过寻求客户的协助参与达到了最终的理想水平；在设计部分，我通过以往参与的多个项目经验，提出初始分析设计结果，并和客户协商完善。

该项目主要用于数据填报，主要功能有填报模板创建，数据填报，填报数据纠错等功能； 填报模板创建：支持针对指标进行指标填报及针对已有线下模板进行填报两种方式； 数据填报：支持根据填报模型生成，填报报表； 数据纠错：支持根据设定的阈值，对已填写数据进行自动扫描纠错；

实时计算平台实现数据清洗，工具使用提供工作效率。提供Flink批、流任务的跨云的快速提交、启动、监控、任务监管、调度等能力。提供画布类Sql语法，拖拉拽算子模式，快速构建Flink任务；同时支持Jar模式，SQL面板任务开发与部署。提供流任务实时监控告警、日志、多指标监控可视化

为12306建立构建高铁数据仓库每日增量统计各条高铁始发线路的客流量，通过最近 两年的客流数据使用非限化相关理论度量需求及选择最优预测算法预测未来14天每条始发线路的 客流，实现12306可以根据预测的人流量对未来14天定票价的需求。

该项目是一个大屏机展示项目 展示水电费的用量和，电表和水表的设备状态，和用户统计，用量统计，充值统计 我负责该项目的所有前端工作和开发工作，该项目分别适配1920*1080和3840*2160分辨率屏幕

项目主要分为4个大模块 11个小模块。 1、系统管理模块 主要遵循RBAC规则设计用户 -> 角色 -> 菜单 -> 部门 管理个各个人物的权限 2、商务模块 系统的起点。主要为一些产品管理以及通道管理 3、运营模块 主要为营销商务模块里面的产品包括但不限于为产品生成链接发送链接 绑定落地页等 4、数据模块 主要是为运营之后处理数据。

按需完成数据库、hdfs、hive等相关的数据处理，支持Windows、linux等操作系统，支持本地远程等操作，支持通过SQL、python等建模

一、统一接入标准 提供统一的供应商管理、采购管理等全流程管理，兼容多厂商零代码接入模板，开箱即用 二、构建数据服务体系 联机API和离线文件数据统一接入、本地存储、敏捷的服务编排设计，服务请求流量控制 三、实现运营可视化 智能报表可视化，对账单与订单统计分析，数据应用“看得见、管得了、控得住” 四、建立评估机制 灵活配置评估规则，自动检测数据质量，实时生成报告，对供应商做出综合评价 五、打通数据共享 数据开放集市，提供服务目录，实现数据统一共享与全局查询，充分挖掘外部数据资产价值

应用技术：SpringBoot+Zookeeper+Dubbo+Kafka+MyBatis+MongoDB+ClickHouse+SpringCloud 项目模块：网关模块、接口模块、业务处理模块、数据上报接口模块、数据清洗模块、数据入库模块、数据同步模块 项目简介：项目采用BS架构，浏览器通过HTTP协议或者HTTPS协议获取服务器资源。前后端分离，服务以微服务形式进行分布式部署。该需求是对用户进行人数、平均数、最大最小值等指标做分析，我负责后端，请求采用异步的形式。前端用户属性分析请求先进入Nginx，然后分发到后端网关微服务进行请求校验，通过网关后转发到后台api接口微服务，api接口微服务进行简单数据封装，通过Dubbo框架调用后台数据处理微服务appinsight，appinsight进行异步处理，首先将请求保存到MongoDB，然后获取zookeeper信号量后进行数据逻辑处理，完成数据处理后通过mybatis进行动态SQL拼接，然后去ClickHouse数据库查询数据，对查询数据进行处理后保存到MongoDB数据库。请求开始处理和请求处理完成都会向kafka发送消息，

实现全部智能电表、集中器等设备的数据接入、数据存储、数据处理、数据管理和数据应用，通过MDMS建设，使沙特电力公司可以进行电表数据管理、抄表管理、VEE、结算数据准备、电网对象管理、防窃电管理、线损管理、告警管理，和所有集成的第三方系统进行信息交互，实现数据接收、发布，指令接收、下达和数据按需采集,并管理与其他系统的数据交换

该平台以信息共享为核心，目的是打破建筑信息共享困难的壁垒，规范市场秩序。平台除了日常业务的开展，同时也会延伸到教育、法律等行业，进行建筑人才的培养和法律咨询。 本平台包括信息子平台、工程子平台和管理子平台。信息子平台包括资格审核、征信查询和前沿资讯，该平台为平台安全和信息共享提供支持。工程子平台包括信息发布、人才交流和个人劳务，该平台上进行的是用户的日常业务。管理端包括通知公告、系统管理、日志管理和系统监控，该平台主要作用为数据管理和状态监控。 平台整体采用基于Dubbo的分布式架构，后端服务使用SpringBoot2.0进行开发，注册中心使用Zookeeper搭建，任务调度使用XXL，消息队列采用RabbitMQ，数据库采用MySQL和Redis，权限框架采用的Shiro，在数据搜索，数据推荐等数据处 理方面使用Hadoop平台相关技术进行支持。 关键词：分布式，大数据，建筑平台，信息共享