Hadoop

1.具体功能模块：-数据采集模块：多源数据接入（数据库同步、日志采集、API对接）、实时增量采集（FlinkCDC）、离线全量采集（Sqoop）、数据接入监控告警-数据治理模块：数据清洗、字段标准化、数据脱敏、重复数据剔除、数据质量校验（规则配置、异常告警）、元数据管理（血缘分析、口径管理）-数据存

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

1、给业务人员提供用户标签超市的明细数据做营销活动使用2、给市场部提供日常投流的各种分析结果报表3、扩展三方数据接口给外部厂商赋能4、打破各级数据孤岛，建立数据资产明细，充分为合作方挖掘数据价值

1、源数据采集，轻度汇总，为数据分析师出分析报表2、定时执行潜在目标用户筛选模型，为营销部门做营销活动传输用户数据3、广告合作方效果数据汇总，为市场部投放广告提供关键词优化数据参考