项目介绍:
这个项目是一个大数据开发平台,用于帮助客户实现一站式数据开发管控,包括项目立项、数据建模、数据开发、数据采集、数据管理
点击空白处退出提示
项目介绍:
这个项目是一个大数据开发平台,用于帮助客户实现一站式数据开发管控,包括项目立项、数据建模、数据开发、数据采集、数据管理
主要的功能模块有
1、系统管理,主要用于管理用户信息,用户角色,菜单权限,组织信息,数据源信息,大数据底座信息
2、项目管理,每一个大数据项目中包含离线开发,元数据管理,租户管理
3、调度任务管理,主要用于管理开发任务的定时监控,任务的上线下线
工作职责:
1.负责产品功能开发,开发新的数据源连接,主要有 ClickHouse、StarRocks
2.对项目做权限项目成员权限管理,主要权限分为组长、开发人员、测试人员
3.对数据进行数据采集并使用 solr 做数据地图
4.kafka 数据消费及消息推送
5.对产品进行部署和验证,包括数据库(Mysql、redis、MongoDB )部署、中间件(nginx、nacos、keycloak )部署、调度引擎(ds )
部署、大数据底座、文件共享 NFS、keepalive 虚拟 ip 部署




评论