Hadoop

1.基础功能：小程序端业务办理、诉求反馈、15分钟生活圈查询；管理端业务审批、数据统计。​2.数据平台核心功能：①数据治理模块：对接民政、社保、计生系统数据，通过数据清洗工具剔除重复/无效数据，建立统一数据标准，形成街道“民生数据中台”；②分析看板模块：用ECharts搭建运营看板，展示业务办理量（

需求：为江苏省基础地理信息中心开发内部分公司自动化系统，需整合空间数据管理、项目跟踪与流程审批功能。本人负责：作为全栈开发，参与工作流引擎、审批管理及数据系统模块的设计与实现。开发完善：基于flowable工作流引擎构建灵活审批流程，支持BPMN2.0标准建模与动态表单配置；开发审批设置与管理模块，

1、数据源接入模块：承担数据的传输与清洗的角色。2、数仓模块：数据建模，通过将原始数据进行多层处理变换，使最新数据拆分到维度层中存储，历史数据抽象到其余层级进行加工，最终达到分析统计以及展示目的。3、规则组装模块：生成存储标签系统的规则语句。4、标签模块：根据标签规则库中定义的标签规则对人事数据进行

1、给业务人员提供用户标签超市的明细数据做营销活动使用2、给市场部提供日常投流的各种分析结果报表3、扩展三方数据接口给外部厂商赋能4、打破各级数据孤岛，建立数据资产明细，充分为合作方挖掘数据价值

1、源数据采集，轻度汇总，为数据分析师出分析报表2、定时执行潜在目标用户筛选模型，为营销部门做营销活动传输用户数据3、广告合作方效果数据汇总，为市场部投放广告提供关键词优化数据参考

大数据平台是一站式大数据开发管理平台，基于 Hadoop、Spark 等大数据计算引擎，提供数据开发、任务调度、数据资产管理和数据质量管理等全方位的大数据产品服务。涉及 dataworker 平台、datax 数据同步服务、dzlog 日志数据采集服务、小海螺服务、jobserver服务、thrift-server 服务、jupyter 服务等。 技术栈：springboot、nginx、spring-security、jwt、hive、hbase、elasticsearch、clickhouse、kafka、mysql、redis、jupyter、livy、ai应用开发

京飞档案管理系统（JF.AMS）基于国家档案管理相关规范（如《GB/T 18894-2016》、《DA/T 58-2021》等）而设计，实现了电子文件从收集、归档、存储到利用的全生命周期管理，确保档案数据的完整性、安全性与可追溯性。系统支持实体档案与电子档案的融合管理，并通过标准化接口与业务系统（如OA、HR、合同、财务系统）无缝对接以实现业档一体化应用。 应用场景： （1）政府机关：对接政务云，实现“一网通办”文件归档。 （2）企业：集成业务系统（如SAP、用友），管理合同、会计档案。 （3）档案馆：接收各单位的电子档案进馆，提供公众查询服务。 产品特点： （1）业档一体化 （2）多源收集且高效 （3）检索快捷且智能 （4）流程标准且合规 （5）数据完整且安全

1、 具备 linux/windows 系统的使用和故障排查能力，熟悉信创相关系统和数据库，可以编写 shell 脚本，实现自动化部署，提高工 作效率 2、精通 zabbix 和 Grafana 的组合运用，构建监控体系，实时监测存储系统的各项指标，及时发现潜在问题并 预警，为系统稳定运 行提供有力保障 3、熟练使用 Git 和 Github 进行代码管理和版本控制，能够协同开发和管理项目 4、了解网络 TCP/IP 协议和 OSI 模型和相关网络基础知识和防火墙的配置 5、熟练 oracle OGG 复制,RAC 集群部署搭建和 mysql 数据库的 MHA mycat 读写分离等架构部署以及达梦数据库相关操作 6、熟悉 Kubernetes（k8s）和 Docker 容器，以及相关的集群部署、Pod 创建和灰度发布原理，了解 docker 网络原理和相关存储，可 以编写 Dockerfile 和 Docker Compose 快速创建和管理容器 7、 熟悉 openstack 云平台，以及其 glance，swift，keystone，neutorn 等组件的之间的联系和集群的搭建部署和虚拟化工具 kvm 的 使用 8、熟悉阿里云和天翼云公有云和私有云产品（ESC，ZOS,OSS,OBS,CDN,天翼云电脑,无影云电脑，云监控等产品）的使用和故障排查 9、熟练 ceph 集群部署搭建，并对对象存储运维方面经验丰富熟悉块存储和文件存储，并了解存储系统架构与原理，能精准进行性能 调优和资源管理，确保数据存储的高效性与安全性 10、熟练运用 Ansible 和 Puppet 实现自动化运维，大幅提高工作效率，降低人为错误风险。可快速部署和配置服务器环境，轻松应对大规模系统管理任务。

降低用户对数仓数据的使用门槛 可以通过管理系统快速找到自己需要的数据 1、公司数据数据源管理 和资源使用情况监控 2、每个表数据源的血缘关系和字段信息 3、权限管理 控制每个用户使用权限和数据权限 4、自动生成接入表的相关作业 具体功能设计 ： 1、数据管理系统 架构搭建 基于开源项目搭建数据管理系统 2、数据库设计 用户表设计 Doris表元数据存储表设计 表字典元数据信息表设计 指令和回调表存储设 指令和回调的字典表设计 表的血缘关系表设计 权限表设计 角色表设计 3、页面开发 登录页面 首页统计页面 权限表列表页面 权限配置页面 角色列表页面 角色配置页面 Doris表查询页面 表字典信息页面 指令和回调列表页面 指令和回调字段列表页面 作业配置解析页面 生成解析作业页面 生成指令和回调关联宽表页面 表的血缘关系以及作业和表对映射关系列表页面 4、功能开发 登录功能开发 首页统计功能 库和表存储统计开发 Doris表列表 改查功能开发 表字典列表 修改和查功能开发 指令和回调列表 增删改查功能开发 指令和回调字段列表 字段配置和查询功能开发 开发根据指令和回调配置信息生成 对应的解析作业 开发调度华为云API生成对应的表和作业 开发生成指令和回调关联的宽表功能 解析所有Flink SQL作业 生成所有表的血缘关系以及对应的作业 血缘列表多字段查询功能开发 5、数据清洗-定时更新 Doris表元数据 定时清洗更新 Doris表字段元数据 定时清洗更新 指令和回调数据 实时更新输出 表的血缘关系 实时更新输出 6、通用功能开发 1、生成页面工具 2、页面字典内容查询功能 3、整体页面样式优化 4、后端系统监控 5、用户操作日志功能开发 6、系统字典功能开发 7、功能测试与联调 登录功能联调测试 首页统计功能 库和表存储统计联调测试 Doris表列表 改查功能联调测试 表字典列表 修改和查功能联调测试 指令和回调列表 增删改查功能联调测试 指令和回调字段列表 字段配置和查询功能联调测试 开发根据指令和回调配置信息生成 对应的解析联调测试 开发调度华为云API生成对应的表和联调测试 开发生成指令和回调关联的宽表联调测试 解析所有Flink SQL作业功能联调测试 血缘列表多字段查询功能联调测试

熟悉系统背景介绍和系统架构设计。Redis部署与启动及操作 创建Maven工程、pom.xml中添加相关依赖、添加Web模块 Kafka集群发送订单数据 Kafka消费数据 配置Jedis用来操作Redis数据库、Spark Streaming处理数据 测试系统是否能够正常工作 搭建Web开发环境、实现数据展示功能 Tomcat9.0安装及部署、可视化平台展示 自行实现商品销售TOP3的排行榜显示 修改GetDataService.java和index.jsp文件

2024.12 Hadoop平台部署与运维项⽬ ⼀、项⽬概述 2024 年 12 ⽉参与 Hadoop 平台部署与运维项⽬，聚焦⼤数据平台搭建与组 件运维，在虚拟机环境完成从基础框架到多元组件的全流程构建，夯实⼤数据 集群运维技术能⼒。 ⼆、核⼼⼯作内容 （⼀）平台与组件搭建 基于虚拟机环境，主导 Hadoop 基础平台架构搭建，规划集群节点配置，保 障分布式存储与计算框架稳定运⾏ 。 （⼆）多元组件部署与配置 数据库类：完成 hive 数据仓库、redis 缓存数据库、clickhouse 列式数 据库、hbase 分布式数据库的安装与参数调优，适配不同数据存储与查询 场景。 协同与流处理类：部署 zookeeper 实现集群协调管理，配置 sqoop 完 成数据迁移、flume 构建⽇志采集流、flink 与 spark ⽀撑实时与离线计 算，kafka 保障⾼吞吐量消息队列，maxwell 实现数据同步，构建完整 数据流转链路。 监控类：搭建 zabbix 监控系统，配置节点状态、资源占⽤等监控项，实 时预警保障集群健康。 三、项⽬价值 通过项⽬，熟练掌握 Hadoop ⽣态体系组件运维技能，能精准应对⼤数据平 台多组件协同部署、配置及监控需求，为⼤数据集群稳定运⾏提供实操⽀撑， 积累⼤规模数据环境下的运维实战经验 。

从0搭建大数据平台。fastapi定期ETL多个数据源多个层级&字段&类型的大量数据，日0.7tb。polars清洗入数据仓库HDFS ods，spark定期计算mds/sds数据存储Hive，Azkaban管理同步任务&计算任务，redash展示灵活透视表。 简单的ARMA预测模型预测业务未来走势，图表输出。推荐模型构建业务主特征，提高转化率和效率，指导销售工作。

项⽬简单描述：通过前端埋点收集⽤⼾⾏为数据数据，业务数据采集采⽤同步策略存储在Mysql，⽤户⾏为数据采集使⽤flume通道，设置ELT拦截器获取⽇志时间戳，通过kafka消息队列暂存⽇志⽂件，业务数据通过Maxwell暂存kafka，所有数据经过⼀系列操作最终流⼊Mysql，通过数据接⼝可以⽣成可视化报表 技术栈：Hadoop，Zookeeper，Kafka，Flume，Spark，Hive等 项⽬总结：本项⽬主要采集电⼦商务平台的⽤⼾⾏为数据和业务数据，业务数据通过调研最晚可到达200天，每次可抽取 处理200天的数据，通过⼤数据组件分析⽤⼾⾏为，利⽤分析结果达到推测⽤⼾喜好，推荐类似商品的效果

1.基础功能：小程序端扫码报修、维修进度查询；维修端接单/记录上传。​2.数据平台核心功能：①设备数据模块：实时采集设备运行数据（每10秒1条），存储至时序数据库，异常数据（如温度超标）自动标记；②分析预警模块：分析设备运行数据，生成故障预测模型（如“转速波动≥10%→24小时内可能故障”），同步搭

1、方案面向数据开发人员，解决了海量数据分析统计，解决关系型数据库针对海量数据分析慢的问题 2、Kappa架构的大数据方案，实现流批一体；Lambda架构的大数据方案，离线和实时分离的数据仓库方案。 3、技术选型： （1）数据源‌ → ‌Kafka‌ → ‌Flink实时计算‌ → ‌Clickhouse → ‌API/BI展示 （2）数据源‌ → ‌Datax → ‌Hive/Spark SQL → ‌关系型数据库 → ‌API/BI展示

本方案主要面向政府规划部门与地产开发企业，针对土地资源分散管理导致的规划协同不足、权属信息不透明及开发效率低下等核心问题（如某市因数据孤岛造成30%土地长期闲置），提供全流程数字化解决方案。相较于传统GIS系统仅侧重空间数据展示，本方案深度融合区块链确权、AI动态模拟及多源数据联邦学习技术，实现三大突破：① ​权属存证上链，土地交易周期从45天压缩至7天，降低合同纠纷率60%；② ​开发模拟推演，整合交通、人口与经济数据，自动生成3种开发方案并预测10年经济收益；③ ​跨部门协同，通过隐私计算技术打通税务、环保等8个系统数据，确保合规前提下提升审批效率80%。技术架构采用云原生+微服务设计，底层依托阿里云IoT传感器网络实时采集地块数据，中台部署知识图谱引擎实现全生命周期管理，前端通过三维数字孪生界面支持多角色协作，已在XX新区试点中节省土地开发成本2.3亿元/年。

融合中台是中兴无线院和中兴数字产品中心联合开发的数据中台项目，该项目以数字产品中心的 原中台为基础，由无线院负责继续开发新的功能和维护使用。新中台命名为datastation。 DataStation是基于数据治理方法论内部实践的产品输出，一站式提供数据采、建、管、用全生命 周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经 济的企业级数据中台。DataStation提供多种计算平台支持及可拓展的开放能力，以适应不同行业 客户的平台技术架构和特定诉求。 主要面向数据服务和数据的高效一体化管理，使管理更加的模块化和具体化，目前对外的面向对象是，青岛轨交 scala+ZDH(Hadoop、HDFS、Hive、Spark、Kafka、Yarn、Flink)+ADMA（调度工具）+PostgreSql（数据库）

1. 该大数据项目适用于初创公司在其数据处理（大数据中台）的规划与部署； 2. 该大数据项目分为：架构的服务器选型与规划、各大数据组件高可用规划与部署、各大数据组件安全相关的规划与部署、各组件如何实现用户大统一（超便捷的用户统一管理）； 3. 该大数据项目用到的技术有：Hadoop（HDFS & Yarn）、Hive、Kafka、Ranger、FreeIPA(Kerberos & LDAP)、Spark、Flink、Hudi、Iceberg等；编程语言有：Java、Shell等； 4. 基于大数据15年多的工作经验，为整理该文档耗时6个月（后续还有“开发篇”正在整理中）；

1. 车企车辆数据处理 2. 车辆行程划分，电子围栏 3. 驾驶行为模型开发 4. 车辆实时，离线数据开发1. 熟练掌握Java、Scala 熟悉Linux 、Shell、Python 。 2. 熟悉MaxComputer、Hologres、clickhouse 、Presto、HBASE、Hive、Flink 、Spark、Kafka、Datahub等大数据处理技术，熟悉性能优化和问题排查等。 3. 熟悉数据仓库开发，数据建模、大数据环境搭建、大数据架构设计 。 4. 对数据采集、数据建模、数据开发、数据治理、数据应用等大数据领域有实战经验善于解决问题和分析问题，攻关系统研发中的重难点技术问题，并制定相关的技术解决方案。

1. 本方案面向通信运营商的IPTV平台，解决了流媒体实时时移的管理。 2. 相比于市场常规方案，本方案的特点有：管理时移服务器部署，配置时移频道，配置直播中继，统计点播流量，统计服务器压力，监控服务器工作状态。 3. 方案的技术组成包括：基于Linux操作系统，开发环境使用Gwt，Java，Spring，Hibernate，Oracle，Hadoop, NoSQL等。