1.项目为大数据管理平台，供数据处理人员和分析人员使用。系统用于进行数据连接、数据处理等前期数据准备工作，为后续数据建模、可视化分析提供数据基础。项目包括数据连接、数据准备、数据更新、权限管理几个模块。（1）数据连接用于上传基础数据或着添加数据库链接。数据文件支持csv、excel文件，数据库支持多种常用关系型数据库和非关系型数据库。（2）数据准备对数据进行预处理，通过文件和数据库添加的表为基础表，可对基础表选择字段和添加过滤器，过滤器对字段设置条件进行数据过滤，进行数据更新后将数据保存为parquet文件。通过已更新版本的表创建的表为数据集，提供给其他系统使用。数据集通过表关联进行创建，创建后可对数据集字段进行类型转换、缺少值填充、特征工程、分箱、行级运算、添加过滤器操作。数据更新后将数据保存为parquet文件。同时还包括实时预览、数据版本关联、血缘分析等功能。（3）权限关联包括用户管理、功能权限和资源权限。用户关联维护用户、部门、用户组。功能权限管理用户、部门、用户组可操作的功能。资源权限管理用户、部门、用户组对数据资源行和列的使用权限。2.在项目中负责系统的总体设计，开发文档编写、技术调研、系统框架搭建、工作量的划分、开发任务管理、代码优化、处理开发过程中出现的问题等。并负责数据集创建、字段处理、计算字段、特征工程、分箱、实时预览、数据更新等功能的开发。系统主要使用SpringBoot、MyBatis、MySql、redis、RocketMQ、Dubbo、antlr、spark、sparkML等开发技术。