大数据平台是一站式大数据开发管理平台，基于 Hadoop、Spark 等大数据计算引擎，提供数据开发、任务调度、数据资产管理和数据质量管理等全方位的大数据产品服务。涉及 dataworker 平台、datax 数据同步服务、dzlog 日志数据采集服务、小海螺服务、jobserver服务、thrift-server 服务、jupyter 服务等。 技术栈：springboot、nginx、spring-security、jwt、hive、hbase、elasticsearch、clickhouse、kafka、mysql、redis、jupyter、livy、ai应用开发

项⽬简单描述：通过前端埋点收集⽤⼾⾏为数据数据，业务数据采集采⽤同步策略存储在Mysql，⽤户⾏为数据采集使⽤flume通道，设置ELT拦截器获取⽇志时间戳，通过kafka消息队列暂存⽇志⽂件，业务数据通过Maxwell暂存kafka，所有数据经过⼀系列操作最终流⼊Mysql，通过数据接⼝可以⽣成可视化报表 技术栈：Hadoop，Zookeeper，Kafka，Flume，Spark，Hive等 项⽬总结：本项⽬主要采集电⼦商务平台的⽤⼾⾏为数据和业务数据，业务数据通过调研最晚可到达200天，每次可抽取 处理200天的数据，通过⼤数据组件分析⽤⼾⾏为，利⽤分析结果达到推测⽤⼾喜好，推荐类似商品的效果

1. 车企车辆数据处理 2. 车辆行程划分，电子围栏 3. 驾驶行为模型开发 4. 车辆实时，离线数据开发1. 熟练掌握Java、Scala 熟悉Linux 、Shell、Python 。 2. 熟悉MaxComputer、Hologres、clickhouse 、Presto、HBASE、Hive、Flink 、Spark、Kafka、Datahub等大数据处理技术，熟悉性能优化和问题排查等。 3. 熟悉数据仓库开发，数据建模、大数据环境搭建、大数据架构设计 。 4. 对数据采集、数据建模、数据开发、数据治理、数据应用等大数据领域有实战经验善于解决问题和分析问题，攻关系统研发中的重难点技术问题，并制定相关的技术解决方案。

主要是使用oracle的存储过程去开发报表，针对业务侧的需求提供数据支撑，将数据对接到指定的可视化报表展示平台，完成地区数据的分析。主要使用传统数据库oracle去完成数据分析工作，数据的采集，清洗和加工，和数据的建模，和数据的治理，敏感数据的脱敏，做到生产库没有用户敏感数据，完成不同业务域的数据分析工作。主要是使用oracle的存储过程去开发报表，针对业务侧的需求提供数据支撑，将数据对接到指定的可视化报表展示平台，完成地区数据的分析。主要使用传统数据库oracle去完成数据分析工作，数据的采集，清洗和加工，和数据的建模，和数据的治理，敏感数据的脱敏，做到生产库没有用户敏感数据，完成不同业务域的数据分析工作。

1 、本项目旨在设计一套数据质量报告开发方案 ，通过构建数据质量评估体系 ，实现对数据质量的全面监控和报告 ，以帮助企业识 别数据问题 ，优化数据管理 ，提升数据价值 ， 因此需要一套数据监控管理平台统一归档各系统来源数据 ，进行数据标准化监管 ，并 对外分发合格数据。 2 、项目使用hadoop 、hive 、spark 、datax 、dolphinscheduler 、S3 建设 3 、根据用户制定的质量规则 ，进行数仓开发 ，满足用户需求

通过flume和sqoop数据采集工具，采集文件日志中的用户行为数据和数据库中的数据到hdfs 文件系统。然后到基于hdfs文件系统构 建外部分区表，建立总体的数据仓库框架。数据仓库 ods层直接保存原始数据，dwd层对数据进行一些预处理，dws层保存一些中间 层数据用于 app层数据调用。在数据仓库上完成相关指标统计，例如新增用户统计，用户流失统计，操作系统活跃性，商品指标信息 的相关指标。

1、 协助完成《指标口径文档详情文档》的探查工作，存贷款部分包括协定存款、通知存款、一般定期、大额存款、结构性存款、协议存款、白名单存款、白领通、普惠贷款等等，探查范围包括业务种类，数据标准，业务口径等等，探查指标类型有衍生指标、新建指标、存量指标。 2、 独立完成存、贷款ODS取数逻辑（其中包括机构拆分），有对公定期存款、对公活期存款、个人定期存款、个人活期存款、对公结算存款、应解汇款及临时存款、开出汇票本票，对公账户贷款、个人账户贷款、信用卡贷款、贴现业务等等12个业务场景及表结构设计。 3、 协助前端指标配置及测试工作。

大数据分析平台整体以分布式存储为设计和分析的思想进行架构设计，为公司的业务系统提供大数据解决方案，提高业务系统的实时查询性能和网络吞吐量。主要以CDH6.1.0为hadoop大数据平台的技术底座，对hadoop组件体系的集群化管理，统一控制台运维管理hadoop组件的稳定性、伸缩性、容错性、高可用性等等，可以良好的兼容Spark Streaming2.4.0、flink1.6.0、storm1.2.0等流式计算框架，集成了hive sql、spark sql、java jar、spark、shell、python离线计算资源，集成了impala3.1.0查询引擎，以及与kudu1.8.0 等存储引擎的良好集成，引入了dolphinScheduler1.0.0工作流分布式调度系统，支持spark, hive, mr, python, sub_process, shell等等任务调度。上层应用以springCloud Edgware.RELEASE微服务架构为基础、结合mysql5.7 、redisGraph1.0.8图数据库、es6.4.0、rocketmq4.2.0 等中间件和数据库搭建应用服务平台，再以vue.js2.6.0 实现前端用户UI界面的高效渲染，完整的实现前后端分离的架构设计方案。主要包括规划、研发、资产、市场、系统管理五大模块。我主要负责整个系统的需求分析、架构设计、工作安排、开发运行环境的搭建以及后期应用的部署上线。

主要从事银行业数据开发方向以及ETL方向，针对银行业务需求制定解决方案，主要以写SQL为主，以及shell脚本和工具使用等，还做过BI报表分析等 1.熟练掌握Oracle、MySQL、DB2、GBASE、HIVE、达梦等关系型数据库； 2.熟练掌握以上数据库各种常用函数的使用、存储过程、执行计划等，对 SQL 性能调优等； 3.熟练使用ETL处理工具，KETTLE、DATASTAGE等； 4.熟悉银行相关业务，存款、贷款、资金、理财、票据、债券、同业等； 5.掌握linux系统基本命令和编写 shell 脚本以及Python脚本； 6.熟悉Hadoop、hive、kafka、NCDS 等相关技术组件，熟悉 Hive SQL 应用开发； 7.熟练使用JAVA基础开发； 8.熟练掌握EXTJS前端开发； 9.熟练掌握帆软报表开发使用；

随着数据越来越多，传统的服务后台和一般的数据库已经无法满足海量数据的存储、计算和快速检索查询，为了解决大量数据带来的数据处理效率低、查询数据慢的问题，使用hadoop生态组件，基于大数据分布式集群，实现数据的高效运转。