Hadoop

•推拉结合的高控流动态接入：提供超低延迟的Webhook推送接收网关与基于供应商配额卡控的分布式智能拉取爬虫，全量、有序地收集多源异构原始报价数据。•海量报价实时标准化与极速比价：流式对撞20万级标准酒店/房型Mapping映射，现场基于百亿级明细数据进行多供应商最低价（MIN(Price)）的多维

本系统为大型跨国企业级数据中台，包含数据集成、数据开发、数据治理、数据服务四大核心模块。支持30+业务源系统数据接入，具备海量数据离线与实时处理能力。通过五层分层体系（ODS/DWD/DWS/ADS/APP）沉淀数据资产，提供数据地图、指标管理、标签画像、数据API服务等核心功能，支撑业财穿透与精细

1.大数据组件部署：支持HadoopHDFS、Spark、HiveMetastore、Iceberg、Gravitino等组件的安装、基础配置、服务启动及运行状态检查。2.分布式存储对接：配置HDFS存储路径、客户端参数及文件系统访问方式，验证数据读写和服务连通性。3.对象存储集成：配置MinIOS

1.HDFS存储环境部署：完成HadoopHDFS基础环境安装、NameNode、DataNode等组件配置和服务启动。2.HDFS文件管理：使用Hadoop命令行工具进行文件上传、下载、目录管理、文件查询及存储访问验证。3.MinIO对象存储配置：配置MinIO服务端点、存储桶及S3兼容访问参数，

1.Kubernetes集群搭建：使用kubeadm初始化单节点Kubernetes集群，配置APIServer、Pod网络地址段及基础集群参数。2.容器运行时管理：安装和配置containerd，完成容器镜像查询、镜像管理及容器运行环境验证。3.Pod网络配置：部署FlannelCNI网络插件，实

1，构建中建八局数据仓库，ods--->ads层。2，构建指标体系，构建BI看板。3，数据治理，将数据转换成生产要素，为决策提供支持，为员工提高效率。4，维护系统平稳运行。

1.实时采集模块：通过flink-cdc实时采集业务数据库binlog，将数据写入kafka队列2.票务实时计算模块：flink实时接收kafka数据，按放映日期实时计算影片票房、影院票房、观影人次、排片效率等指标3.卖品实时计算模块：通过flink实时计算影院卖品实时销量指标4.会员实时计算模块：

本项目包含六大具体功能模块：邮件模板管理模块、收件人海量数据导入模块、Hadoop大数据批量处理模块、定时批量推送模块、发送日志存储模块、邮件发送状态检测模块。项目主要功能为依托Hadoop实现海量收件人数据读取与分片处理，支持用户自定义邮件正文、上传附件，可灵活配置发送间隔，自动批量分发邮件，统计

用户端以对话为主。选好专家后可以连续提问，系统返回指标卡、表格、图表和文字解读，并支持筛选、维度下钻、智慧运营场景下的归因分析；专家若配置了模板，同一次对话还可以生成看板或下载PPT。用户可以上传Excel、CSV或文本做文件问答，也可以把结果导出、收藏，并在历史对话里找回。管理端负责把这些能力配出

人事大数据平台围绕“数据整合、智能分析、辅助决策”构建核心能力，支持员工档案、招聘、考勤、绩效、薪酬、培训、晋升及离职等多维人事数据的统一接入与管理。平台可通过可视化看板实时展示人员规模、组织结构、年龄分布、职级分布、人才流动、人力成本等关键指标，并支持按部门、地区、岗位、职级等维度进行多层级钻取分

平台侧（Java/SpringBoot微服务）：项⽬管理、任务管理（FlinkSQL/FlinkJar双模式）、环境管理、版本与审批流、任务参数配置、UDF与Connector管理、⾎缘与⽇志、多环境发布、监控⼤盘、⽤户权限。执⾏侧plinker：作为多版本Flink集群的代理服务，向上屏蔽集群版本

1.核心自研大规模并行主题模型引擎：自主设计并实现支持超大规模词表与高维主题空间的无监督分布式LDA推理算法，实现对百亿级海量非结构化文本的低延迟主题抽取与降维表征；2.软硬件深度协同优化：与国际顶尖芯片厂商（Intel跨国团队）深度联合技术攻关，基于硬件微架构深度压榨CPU缓存行（CacheLin

项目面向常熟农商行三农、小微制造、纺织服装、批发零售、个体工商户、科创、供应链、外贸、消费金融及财富管理等场景，整合行内业务、征信、工商、司法、税务、发票、流水、订单、物流等多源数据，构建客户画像、反欺诈、信用评分、额度测算与风险定价模型；支持线上申请、自动审批、人工复核、合同签署、放款支付、贷后预

项目主要是由四大业务域，20个模块组成1、归档接收与基础编目：全宗门类→案卷条目，接收登记→移交凭证，库房盘点·扫码上架，档号规则、元数据模板。2、保管与安全合规：定密保密·涉密告警，水印策略、访问审计、操作日志，RBAC四层权限+组织对接。3、利用与信息公开：借阅审批·逾期催还，9条件检索·全文命

企业知识库：构建多源异构数据接入层，支持文档（PDF/Word/Excel/PPT/TXT）、数据库（MySQL/PG等结构化元数据）、视频流（音视频转录与语义索引）的统一导入、解析与向量化存储，形成企业专属知识图谱。AIAgent智能体：支持文本/语音多模态交互，融合LLM推理与工具调用能力，实现

本项目为基于Hadoop生态的大数据平台集群部署实践，涵盖从单节点到多节点高可用集群的完整搭建流程，并集成Sqoop、Azkaban、Hive等核心生态组件，适配CentOS、Debian与Ubuntu三种主流Linux环境。主要功能模块包括：1.集群基础环境配置：在CentOS、Debian和Ub

数据采集任务管理（创建、编辑、版本管理、任务部署启动）数据加工ETL任务管理（创建、编辑、版本管理、任务部署启动）工作流任务管理（创建、编辑、版本管理、任务部署启动）脚本任务管理（创建、编辑、版本管理、任务部署启动）数据源管理（创建、编辑、测试连接，表，数据预览）参数、函数、预警管理基础功能（用户、

告警中心汇聚异常，实时推送；资产数据中心统一管理IT资源；大屏展示全局数据可视化；AI助手提供智能诊断与建议；系统架构中心透视服务拓扑；日志查询中心支持快速检索分析。六大模块协同联动，构建全栈可观测性体系。

智慧信访项目包括数据采集、清洗、分析、可视化和数据挖掘五大模块。（1）数据采集主要使用javawebmagic框架进行的数据爬取，主要采集了对应网站的html网页数据，把采集到的网页数据保存到HadoopHDFS。（2）数据清洗主要使用HadoopMR对网页进行数据清洗，提取出我们想要的数据，主要包

多源时空分析西安市局综合性数据分析平台，贯通数据采集、治理、分析、应用全流程。依托WiFi信令海量数据实时运算处理，完成数据规整与深度研判，可精准甄别重点目标、开展动态管控。共有七大功能模块：案件中心统筹案件相关数据，消息中心推送各类动态讯息，查询中心支持多维度信息检索，数据监测中心实时把控数据态势