海南中剑
1月前来过
全职 · 300/日  ·  6525/月
工作时间: 工作日00:00-24:00、周末00:00-24:00工作地点: 远程
服务企业: 1家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

(1)负责大数据数据平台规划、设计。

(2)负责大数据平台研发核心框架和核心模块搭建,对架构的性能进行优化。

(3)负责离线数据仓库、实时数据仓库、数据湖建设。

(4)负责java web/ java EE 方向服务端开发。

工作经历

  • 2019-08-20 -2023-01-30马上消费金融有限公司大数据架构师

    (1)开发语言:JAVA、SCALA (2)分布式存储:hdfs、hudi、hive、hbase、doris、kafka、tidb、ftp、kudu等 (3)分布式计算:spark(core、sql、streaming)、flink、presto、yarn等

教育经历

  • 2008-09-20 - 2012-09-20滨州学院计算机科学与技术本科

技能

Kafka
Hadoop
Spring
系统架构
0
1
2
3
4
5
0
1
2
3
4
5
作品
金联储项目

金联储 web 端项目:互联网金融产品,为投资人提供理财服务。  金联储 app 端项目:web 端的客户端产品。  大宗财经 App 项目:煤炭、石油、天然气、有色金属市场财经信息

0
2023-04-13 09:20
LAP、OLTP 项目;爬虫项目;闪电算项目

OLAP、OLTP 项目:针对钱站业务数据、日志数据、爬虫数据、三方数据进行实时、离线分析。  爬虫项目:爬取全国 35 个省市的社保、公积金信息。  闪电算项目:个人信用风险计算引擎,采用微服务方式,结合预处理思想、流式处理思想保证单个用户 平均计算时间在 2 秒以内,且服务具有良好的横向扩展性。

0
2023-04-13 09:21
数据中台项目,对外提供数据报表平台、数据分析平台、精准营销等场景服务

项目涉及 离线存储项目:收集理财端业务库数据、日志类数据汇总到Hive,分层清洗、合并、去重处理。 实时存储项目:实时收集业务库binlog日志数据,汇总到Phoenix,分层分主题解析。形成维表、事实表,供分析人员使用。 日志收集项目:收集业务系统埋点数据,汇总到Hive,分层清洗、合并、去重处理形成日志指标层。 OLAP项目:对离线存储分层数据处理形成离线指标。 OLTP项目:对实时存储分层数据处理形成实时指标。 报表项目:利用凡软系统形成日报、周报、月报、绩效报表、业绩报表等报表。 用户画像项目:重新定义画像维度,通过对风险识别能力、用户承担风险能力、用户对收益敏感程度角度分析用户数据,再通过营销手段去执行验证效果(正在进行中)。 舆情监控项目:在各个媒体平台上使用爬虫方式搜索正面、负面关键信息,对信息进行分析、汇总包装成产品对外提供(方案执行中)。 数据监控项目:统计集群、关键业务节点数据信息,进行数据汇总,提供监控支持,作为子系统存在。 技术涉及 开发语言:JAVA、SCALA 分布式存储:phoenix、hdfs、hbase、doris、 分布式计算:spark(core、sql、streaming)、hive、yarn、flink 项目管理涉及 项目管理工具:jira 文档分享:wiki  管理开发方式 敏捷开发:产品给出的需求进入backlog,迭代内开启必要的需求,需求完毕之后关闭迭代。 敏捷思想:价值驱动、快速迭代、自组织管理。 人的管理:团队文化、氛围、技术水平、做事方式等。

0
2023-04-13 09:22
更新于: 2023-02-10 浏览: 71