1.数据管理平台,逐渐发展成数据仓库;上游kafka/hive接入数据,提供展示和数据处理,下游kafka和RPC接口开放数据,历史数据落HIVE. 2.数据存储:mysql--(管理不便,升级至)-->mycat---(查询功能受限,升级至)-->Hbase-->ElasticSearch | Hive, (Neo4j); 3.数据流转:Kafka , Hive , Redis , Flume, WebSocket, RSF; 4.数据展示:Vue/ElementUI, D3, (Neo4j); 5.数据处理:Java1.7/8 , Scala, Spark Streaming/SQL , Hive;
点击空白处退出提示
评论