Hadoop

1、设计多源数据整合方案，搭建标准化数据资源池，支撑9万+服务企业数据统一管理；2、主导数据模型全链路开发（ODS/DWD/DWS/ADS分层），设计场景标签与维度模型，优化查询性能，保障模型合理高效；3、参与集团数据治理体系搭建，负责数据质量校验脚本开发，协助搭建元数据平台实现资产可视化；4、负责

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

1、数据源接入模块：承担数据的传输与清洗的角色。2、数仓模块：数据建模，通过将原始数据进行多层处理变换，使最新数据拆分到维度层中存储，历史数据抽象到其余层级进行加工，最终达到分析统计以及展示目的。3、规则组装模块：生成存储标签系统的规则语句。4、标签模块：根据标签规则库中定义的标签规则对人事数据进行

1、源数据采集，轻度汇总，为数据分析师出分析报表2、定时执行潜在目标用户筛选模型，为营销部门做营销活动传输用户数据3、广告合作方效果数据汇总，为市场部投放广告提供关键词优化数据参考

1．“工作台”模块支持对待办审批任务、我的消息、经营指标三类内容的查询、提示与处理功能；2．“客群管理”模块支持对重点客群进行维护，并支持对各客群进行洞察功能；3．“营销管理”模块支持对不同的营销业务进行配置操作，便于业务人员更加灵活的开展营销活动；4．“营销发布”模块支持将营销活动发布到前端H5页