项目涉及
离线存储项目:收集理财端业务库数据、日志类数据汇总到Hive,分层清洗、合并、去重处理。
实时存储项目:实时收集业务库binlog日志数据,汇总到Phoenix,分层分主题解析。形成维表、事实表,供分析人员使用。
日志收集项目:收集业务系统埋点数据,汇总到Hive,分层清洗、合并、去重处理形成日志指标层。
OLAP项目:对离线存储分层数据处理形成离线指标。
OLTP项目:对实时存储分层数据处理形成实时指标。
报表项目:利用凡软系统形成日报、周报、月报、绩效报表、业绩报表等报表。
用户画像项目:重新定义画像维度,通过对风险识别能力、用户承担风险能力、用户对收益敏感程度角度分析用户数据,再通过营销手段去执行验证效果(正在进行中)。
舆情监控项目:在各个媒体平台上使用爬虫方式搜索正面、负面关键信息,对信息进行分析、汇总包装成产品对外提供(方案执行中)。
数据监控项目:统计集群、关键业务节点数据信息,进行数据汇总,提供监控支持,作为子系统存在。
技术涉及
开发语言:JAVA、SCALA
分布式存储:phoenix、hdfs、hbase、doris、
分布式计算:spark(core、sql、streaming)、hive、yarn、flink
项目管理涉及
项目管理工具:jira
文档分享:wiki
管理开发方式
敏捷开发:产品给出的需求进入backlog,迭代内开启必要的需求,需求完毕之后关闭迭代。
敏捷思想:价值驱动、快速迭代、自组织管理。
人的管理:团队文化、氛围、技术水平、做事方式等。
点击空白处退出提示
评论