Hadoop

•推拉结合的高控流动态接入：提供超低延迟的Webhook推送接收网关与基于供应商配额卡控的分布式智能拉取爬虫，全量、有序地收集多源异构原始报价数据。•海量报价实时标准化与极速比价：流式对撞20万级标准酒店/房型Mapping映射，现场基于百亿级明细数据进行多供应商最低价（MIN(Price)）的多维

本系统为大型跨国企业级数据中台，包含数据集成、数据开发、数据治理、数据服务四大核心模块。支持30+业务源系统数据接入，具备海量数据离线与实时处理能力。通过五层分层体系（ODS/DWD/DWS/ADS/APP）沉淀数据资产，提供数据地图、指标管理、标签画像、数据API服务等核心功能，支撑业财穿透与精细

1，构建中建八局数据仓库，ods--->ads层。2，构建指标体系，构建BI看板。3，数据治理，将数据转换成生产要素，为决策提供支持，为员工提高效率。4，维护系统平稳运行。

1.实时采集模块：通过flink-cdc实时采集业务数据库binlog，将数据写入kafka队列2.票务实时计算模块：flink实时接收kafka数据，按放映日期实时计算影片票房、影院票房、观影人次、排片效率等指标3.卖品实时计算模块：通过flink实时计算影院卖品实时销量指标4.会员实时计算模块：

用户端以对话为主。选好专家后可以连续提问，系统返回指标卡、表格、图表和文字解读，并支持筛选、维度下钻、智慧运营场景下的归因分析；专家若配置了模板，同一次对话还可以生成看板或下载PPT。用户可以上传Excel、CSV或文本做文件问答，也可以把结果导出、收藏，并在历史对话里找回。管理端负责把这些能力配出

平台侧（Java/SpringBoot微服务）：项⽬管理、任务管理（FlinkSQL/FlinkJar双模式）、环境管理、版本与审批流、任务参数配置、UDF与Connector管理、⾎缘与⽇志、多环境发布、监控⼤盘、⽤户权限。执⾏侧plinker：作为多版本Flink集群的代理服务，向上屏蔽集群版本

项目主要是由四大业务域，20个模块组成1、归档接收与基础编目：全宗门类→案卷条目，接收登记→移交凭证，库房盘点·扫码上架，档号规则、元数据模板。2、保管与安全合规：定密保密·涉密告警，水印策略、访问审计、操作日志，RBAC四层权限+组织对接。3、利用与信息公开：借阅审批·逾期催还，9条件检索·全文命

企业知识库：构建多源异构数据接入层，支持文档（PDF/Word/Excel/PPT/TXT）、数据库（MySQL/PG等结构化元数据）、视频流（音视频转录与语义索引）的统一导入、解析与向量化存储，形成企业专属知识图谱。AIAgent智能体：支持文本/语音多模态交互，融合LLM推理与工具调用能力，实现

数据采集任务管理（创建、编辑、版本管理、任务部署启动）数据加工ETL任务管理（创建、编辑、版本管理、任务部署启动）工作流任务管理（创建、编辑、版本管理、任务部署启动）脚本任务管理（创建、编辑、版本管理、任务部署启动）数据源管理（创建、编辑、测试连接，表，数据预览）参数、函数、预警管理基础功能（用户、

告警中心汇聚异常，实时推送；资产数据中心统一管理IT资源；大屏展示全局数据可视化；AI助手提供智能诊断与建议；系统架构中心透视服务拓扑；日志查询中心支持快速检索分析。六大模块协同联动，构建全栈可观测性体系。

智慧信访项目包括数据采集、清洗、分析、可视化和数据挖掘五大模块。（1）数据采集主要使用javawebmagic框架进行的数据爬取，主要采集了对应网站的html网页数据，把采集到的网页数据保存到HadoopHDFS。（2）数据清洗主要使用HadoopMR对网页进行数据清洗，提取出我们想要的数据，主要包

多源时空分析西安市局综合性数据分析平台，贯通数据采集、治理、分析、应用全流程。依托WiFi信令海量数据实时运算处理，完成数据规整与深度研判，可精准甄别重点目标、开展动态管控。共有七大功能模块：案件中心统筹案件相关数据，消息中心推送各类动态讯息，查询中心支持多维度信息检索，数据监测中心实时把控数据态势

零售管理模块：支持京东平台多店铺订单的统一接入和处理，实现订单全生命周期管理，从订单创建、支付确认、发货出库、配送追踪到签收确认的全流程可视化；集成售后服务模块，支持退换货、售后退款等业务处理，提升客户满意度。采购管理模块：供应商信息管理，实现供应商档案、资质、评级等信息电子化管理；采购订单生成，支

1.车辆数据实时接入：支持百万级车辆实时数据上报、采集、校验与清洗。2.大数据存储与计算：海量历史数据存储，日增量3–5T，支持高并发查询。3.Web管理平台：完整后台管理、车辆监控、数据查询、报表统计、权限管理。4.实时监控大屏：车辆状态、运行指标、异常告警可视化展示。5.AI智能分析：接入LLM

旨在帮助企业快速构建面向业务应用的数据中台。平台覆盖数据全生命周期管理，提供从数据集成、研发、运维到服务与治理的一站式解决方案。数据集成方面，支持在复杂网络环境下对丰富的异构数据源进行高速稳定的数据采集与同步。平台内置数据源管理功能，支持MySQL、Oracle、PostgreSQL、Kafka、H

本项目基于大数据算法，对海量用户行为及属性数据进行深度挖掘与精准画像，高效识别高潜及特定条件的目标用户群体。系统整合短信、APP推送等多渠道，自动化触发个性化优惠、奖励等营销信息，实现千人千面的智能触达。旨在提升用户参与度、活跃度及营销转化率，降低运营成本，驱动业务增长

1.知识中心、概念配置、关系配置、多数据源抽取、图谱探索、知识图谱血缘可视化。2.知识融合，融合多源异构知识，通过策略优化提升知识的一致性、准确性和可用性；知识推理，利用逻辑推理技术挖掘知识间的潜在关联，增强系统的语义理解和智能决策能力。3.RAG知识智能问答，构建基于大语言模型（LLM）与知识图谱

需求：为江苏省基础地理信息中心开发内部分公司自动化系统，需整合空间数据管理、项目跟踪与流程审批功能。本人负责：作为全栈开发，参与工作流引擎、审批管理及数据系统模块的设计与实现。开发完善：基于flowable工作流引擎构建灵活审批流程，支持BPMN2.0标准建模与动态表单配置；开发审批设置与管理模块，

1．“工作台”模块支持对待办审批任务、我的消息、经营指标三类内容的查询、提示与处理功能；2．“客群管理”模块支持对重点客群进行维护，并支持对各客群进行洞察功能；3．“营销管理”模块支持对不同的营销业务进行配置操作，便于业务人员更加灵活的开展营销活动；4．“营销发布”模块支持将营销活动发布到前端H5页