Hadoop

•推拉结合的高控流动态接入：提供超低延迟的Webhook推送接收网关与基于供应商配额卡控的分布式智能拉取爬虫，全量、有序地收集多源异构原始报价数据。•海量报价实时标准化与极速比价：流式对撞20万级标准酒店/房型Mapping映射，现场基于百亿级明细数据进行多供应商最低价（MIN(Price)）的多维

1.大数据组件部署：支持HadoopHDFS、Spark、HiveMetastore、Iceberg、Gravitino等组件的安装、基础配置、服务启动及运行状态检查。2.分布式存储对接：配置HDFS存储路径、客户端参数及文件系统访问方式，验证数据读写和服务连通性。3.对象存储集成：配置MinIOS

1.Kubernetes集群搭建：使用kubeadm初始化单节点Kubernetes集群，配置APIServer、Pod网络地址段及基础集群参数。2.容器运行时管理：安装和配置containerd，完成容器镜像查询、镜像管理及容器运行环境验证。3.Pod网络配置：部署FlannelCNI网络插件，实

1.算子化（Operator）设计与解耦：将底层召回、特征抽取、模型粗排、业务过滤等复杂计算任务拆解为高内聚、低耦合的标准算子节点，彻底消除了业务新增策略时的重复开发成本；2.高性能DAG调度引擎：自主构建有向无环图（DAG）任务拓扑调度内核，支持跨计算节点的自动并发执行、依赖解析与动态拓扑分支选择

项目背景：离线链路只能T+1、业务看不到「现在卖得怎么样」，故补分钟级实时链路，与离线集群同机共存构成Lambda架构雏形|▪实时ETL与数据质量验证：高仿真订单生产者模拟真实生产：泊松到达+21点峰值波峰+8品类加权+二八用户分布，注入1%脏数据验证清洗拦截与巡检不误报；FlinkSQL事件时间+

项目背景：基于淘宝公开订单数据集（99,457行×9列、39个月）从零搭建离线数仓，为报表与自助分析提供统一口径销售指标|▪分层建模与ETL：ODS→DWD→DWM→DWS→DM五层+dim；针对尾逗号、日期混乱、浮点噪声（16%行受影响）等脏数据，DWD八步清洗（去重、缺失值、异常过滤、round

比值法Asthesunsinksslowlybelowthehorizon,itpaintshalftheskyinshadesofgoldandsoftred,castingawarmglowovereverythinginsight.Peoplewalkalongthestreet,headin

本项目为基于Hadoop生态的大数据平台集群部署实践，涵盖从单节点到多节点高可用集群的完整搭建流程，并集成Sqoop、Azkaban、Hive等核心生态组件，适配CentOS、Debian与Ubuntu三种主流Linux环境。主要功能模块包括：1.集群基础环境配置：在CentOS、Debian和Ub

自动化环境初始化：使用Bash脚本完成yum源切换（vault.centos.org）、基础工具安装（vim/git/net-tools）、内核参数优化；容器化服务部署：基于DockerCompose编排Nginx+PythonFlask+MySQL三件套，实现服务解耦与快速扩缩容；安全加固模块：配

智慧信访项目包括数据采集、清洗、分析、可视化和数据挖掘五大模块。（1）数据采集主要使用javawebmagic框架进行的数据爬取，主要采集了对应网站的html网页数据，把采集到的网页数据保存到HadoopHDFS。（2）数据清洗主要使用HadoopMR对网页进行数据清洗，提取出我们想要的数据，主要包

数据中台通常包括数据集成、数据开发、数据存储、数据治理和数据服务五大核心功能。数据集成支持多源数据接入（如数据库、日志、消息队列等），实现离线与实时同步；数据开发提供ETL/ELT能力，支持批处理与流处理任务；数据存储基于数据湖或数仓架构（如分层模型ODS、DWD、DWS、ADS）；数据治理包括元数

页面埋点设计：针对产品各核心页面与交互节点进行系统化埋点规划，覆盖点击、曝光、停留、滑动等多类型用户行为事件，确保关键行为数据不遗漏，为后续分析提供完整的数据采集基础。自动化建站：支持通过配置化方式快速生成埋点管理站点，无需重复手动搭建，大幅降低埋点接入成本，提升多项目、多平台的埋点部署效率。埋点数

旨在帮助企业快速构建面向业务应用的数据中台。平台覆盖数据全生命周期管理，提供从数据集成、研发、运维到服务与治理的一站式解决方案。数据集成方面，支持在复杂网络环境下对丰富的异构数据源进行高速稳定的数据采集与同步。平台内置数据源管理功能，支持MySQL、Oracle、PostgreSQL、Kafka、H

1.具体功能模块：-数据采集模块：多源数据接入（数据库同步、日志采集、API对接）、实时增量采集（FlinkCDC）、离线全量采集（Sqoop）、数据接入监控告警-数据治理模块：数据清洗、字段标准化、数据脱敏、重复数据剔除、数据质量校验（规则配置、异常告警）、元数据管理（血缘分析、口径管理）-数据存

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

1、给业务人员提供用户标签超市的明细数据做营销活动使用2、给市场部提供日常投流的各种分析结果报表3、扩展三方数据接口给外部厂商赋能4、打破各级数据孤岛，建立数据资产明细，充分为合作方挖掘数据价值

1、源数据采集，轻度汇总，为数据分析师出分析报表2、定时执行潜在目标用户筛选模型，为营销部门做营销活动传输用户数据3、广告合作方效果数据汇总，为市场部投放广告提供关键词优化数据参考