项目描述：该项目主要为公司研发用于总部人员与分中心人员，，其核心功能为根据大数据平台提供的用户的多维标签，对用户进行分群、分类营销等功能工作内容：1、重构的前期调研、老系统功能梳理2、项目框架搭，前后端分离的分布式应用，主要负责前端框架的搭建，后台公共服务接入3、参与用户分群营销核心功能用户分群营销模块的设计，技术选型，首套方案采用Sqoop、Oozie、Hive、Druid、Quartz4、编写用户分群营销核心代码，整套流程开发5、指导其他开发进行配套模块的开发并进行联调6、为解决在JOB多、调度频繁情况下quartz死锁情况，废弃原有的quartz，引入xxl-job，为适配本项目，修改权限校验、异常机制等部分源码7、为解决首套方案性能无法满足业务，研究Clickhouse列式存储数据库，并引入项目中，目前取得了不错的性能提升8、为解决公司原有KETTLE同步工具发版不够灵活、学习成本高等问题，引入DataX数据同步方案，修改其源码，增加异步回调机制，以满足数据同步快速上线，目前相关数据同步基本已全部迁移基于DataX，兼容HDFS引擎等的核心同步模块9、公司原则是要脱O，在这个基调下，引入TiDB数据库，重构关联系统下发等功能，目前取得了不错的效果，实现在本年底由一个重Package的系统到脱O系统的跨越