● bdp-dataplatform
数据平台: BigDataPlatform:基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。
数据来源: 商城:使用SpringBoot,Java,Vue,React,Android开发多端商城,包括网站、App、微信小程序; 日志:使用Java开发服务端日志、客户端日志收集系统,使用DataX实现数据的导入导出系统; 爬虫:爬虫平台支持可配置的爬取公网数据的任务开发;
数据存储: 分布式文件系统使用HDFS,分布式数据库使用HBase,Mongodb、Elasticsearch,内存数据库使用redis;
数据计算: 使用Hive、MR、HiveSQL、ETL开发离线计算系统; 使用storm、flink、spark streaming开发实时计算系统; 使用kylin, spark开发多维度分析系统;
数据开发: 任务管理系统:负责调度、分配、提交任务到数据平台; 任务运维系统: