Hadoop

本项目为基于Hadoop生态的大数据平台集群部署实践，涵盖从单节点到多节点高可用集群的完整搭建流程，并集成Sqoop、Azkaban、Hive等核心生态组件，适配CentOS、Debian与Ubuntu三种主流Linux环境。主要功能模块包括：1.集群基础环境配置：在CentOS、Debian和Ub

1.三大核心业务模块客户之声（VOC）：关联市场端售后反馈与研发端试验数据，直观展示用户真实痛点与试验验证的匹配度，确保研发方向贴近市场需求。全球试验基地（核心模块）：通过3D地理信息地图，精准定位并展示吐鲁番、黑河、三亚、广饶等基地。实时呈现各场地温度、湿度、风速、光照等环境数据，并动态刷新车辆当

1.位置详情展示：首页直接显示省/市/街道+楼宇精准地址，标注定位更新时间、定位精度数值2.轨迹回放：支持查看当日/近7天行动轨迹，地图生成彩色路线，标注停留时长、途经地点；可导出轨迹记录3.电子围栏：自定义圆形/多边形安全区域（家、学校、园区），手表跨出/进入围栏，APP立即弹窗+推送告警消息；4

数据采集任务管理（创建、编辑、版本管理、任务部署启动）数据加工ETL任务管理（创建、编辑、版本管理、任务部署启动）工作流任务管理（创建、编辑、版本管理、任务部署启动）脚本任务管理（创建、编辑、版本管理、任务部署启动）数据源管理（创建、编辑、测试连接，表，数据预览）参数、函数、预警管理基础功能（用户、

自动化环境初始化：使用Bash脚本完成yum源切换（vault.centos.org）、基础工具安装（vim/git/net-tools）、内核参数优化；容器化服务部署：基于DockerCompose编排Nginx+PythonFlask+MySQL三件套，实现服务解耦与快速扩缩容；安全加固模块：配

Pallas是自主研发的分布式小文件存储系统，核心功能模块包括：1）Master/Worker主从架构，支持基于ZooKeeper的Master选举与高可用；2）Namespace（命名空间）与Bucket（桶）两级元数据管理，支持创建、查询、更新、删除及配额（Quota）与QPS限流；3）基于HB

1.用户权限管理：基于RBAC多角色权限划分，区分管理员、导师、学生三类账号，控制页面、操作接口访问权限；2.科研项目全流程管理：支持项目立项提交、进度更新、结题归档，记录项目周期、经费、参与人员信息；3.任务协作模块：导师可下发科研任务，学生提交成果，支持任务进度在线查看、留言沟通；4.大数据统计

告警中心汇聚异常，实时推送；资产数据中心统一管理IT资源；大屏展示全局数据可视化；AI助手提供智能诊断与建议；系统架构中心透视服务拓扑；日志查询中心支持快速检索分析。六大模块协同联动，构建全栈可观测性体系。

1、搭建集团域+养老子域双层数仓分层模型，完成ODS贴源层、DWD明细层、DWS汇总层全链路ETL开发；2、实现Oracle存量业务向华为MRS大数据平台迁移，优化SparkSQL解决数据倾斜、任务超时，批处理时长由数小时缩短至半小时；3、封装通用增量SQL模板支撑PB级海量数据迁移，编写Shell

持续迭代优化数据仓库架构，标准化分层建模与公共中间层口径，大幅提升模型、脚本复用效率，同步清理冗余冷数据、精简重复存储，有效缩减存储资源占用；深度梳理全链路SQL执行逻辑，剔除低效关联、冗余计算与全表扫描语句，优化索引与分区策略，显著降低离线、实时任务的算力与内存资源消耗，整体提升数据调度运行效率。

智慧信访项目包括数据采集、清洗、分析、可视化和数据挖掘五大模块。（1）数据采集主要使用javawebmagic框架进行的数据爬取，主要采集了对应网站的html网页数据，把采集到的网页数据保存到HadoopHDFS。（2）数据清洗主要使用HadoopMR对网页进行数据清洗，提取出我们想要的数据，主要包

项目目标1.采集政务数据元数据信息，实现库表、字段及业务含义统一管理2.搭建拖拽式可视化建模平台，通过算子实现数据自助加工，降低使用门槛3.新增定时任务调度功能，实现建模任务自动化执行4.对接BI报表模块，实现加工数据可视化展示5.提升数据处理与需求交付效率，支撑政务业务自助数据分析项目概述搭建政务

专门针对交通运输企业（包括公交、出租、客运、物流）设计和开发的，辅助运输企业监控运营新能源汽车的一款互联网云端产品。产品的移动端包括APP和小程序，服务于企业一线管理人员、车队长、车站站长等不同角色进行不同的职能管理、。该平台已在交通运输厅中已运行两年半，目前已接入车辆10万辆，天实时接收和处理动态

项目名称：智慧校园数据分析与预测平台主要功能模块包括：①用户登录注册模块用户注册用户登录验证码校验角色权限控制Session登录状态管理②学生管理模块学生信息增删改查学生信息导出Excel③教师管理模块教师信息增删改查教师信息导出Excel④课程管理模块课程信息管理任课教师关联课程统计分析课程导出E

该项目是对国家信通院进行封装的疫情期间行程查询类api，信通院的通信行程卡是面对社会全面开放的，用户可以根据不同运营商查询各自的行动轨迹，请求量巨大，单日可达2000w次。对于程序的稳定性可靠性有着相当大的要求。

-阿里千问大模型（text-embedding-v3）-Redisearch向量搜索-LangChain4j框架-智能对话系统-个性化食疗方案生成

本平台基于Hadoop生态构建，实现了学生成绩数据的全流程处理。使用HDFS存储海量成绩数据，通过MapReduce和Hive进行数据清洗、统计与关联分析，计算各课程平均分、挂科率、成绩分布等指标；使用Python和ECharts实现分析结果的可视化，生成柱状图、折线图和热力图，直观展示不同专业、不

该智慧煤矿指挥中心可视化系统，核心功能覆盖四大核心模块：矿区基础信息全景展示：直观呈现乌东煤矿的区位关系、行政区划、地理位置，以及井田面积、地质储量、可采储量、设计生产能力等核心资源与产能指标；安全与井田管理可视化：实时展示安全生产累计天数，同时通过三维井田分区地图，清晰呈现南区、北区、西区的井田划

多源时空分析西安市局综合性数据分析平台，贯通数据采集、治理、分析、应用全流程。依托WiFi信令海量数据实时运算处理，完成数据规整与深度研判，可精准甄别重点目标、开展动态管控。共有七大功能模块：案件中心统筹案件相关数据，消息中心推送各类动态讯息，查询中心支持多维度信息检索，数据监测中心实时把控数据态势

项目核心功能包括数据源管理、元数据管理、数据集成与入湖、SQL作业、任务管理和数据服务。数据源管理用于统一维护MySQL、InfluxDB等外部数据源的连接配置，支持数据源新增、编辑、连接测试、启用禁用和状态查看。元数据管理用于管理接入数据的库表结构、字段信息、字段类型、数据来源、更新时间以及Ice