总项目https://github.com/wlhbdp/bdp-ecology0、大数据生态解决方案数据平台数据平台:bdp-platform：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。数据来源：商城：使用SprigBoot，Java，Vue，React，Adroid开发多端商城，包括网站、App、微信小程序；日志：使用Java开发服务端日志、客户端日志收集系统，使用DataX实现数据的导入导出系统；爬虫：爬虫平台支持可配置的爬取公网数据的任务开发；数据存储：分布式文件系统使用HDFS，分布式数据库使用HBase，Mogodb、Elasticsearch，内存数据库使用redis；数据计算：使用Hive、MR、HiveSQL、ETL开发离线计算系统；使用storm、flik、sparkstreamig开发实时计算系统；使用kyli,spark开发多维度分析系统；数据开发：任务管理系统：负责调度、分配、提交任务到数据平台；任务运维系统：查看Task运行情况；数据应用：使用pytho，ml，sparkmllib实现个性化推荐系统；使用pytho，scrapy，djago，elasticsearch实现搜索引擎；使用scala，flik开发反作弊系统；使用FieReport，scala，playframework开发报表分析系统；DevOps：使用ELK技术栈搭建日志搜索平台；使用skywalkig，Phoeix实现监控平台；使用scala、playframework，docker，k8s，shell实现云容器平台，包含服务管理（查看docker容器配置，添加容器实例，授权记录，操作记录，历史版本回溯，k8s启停服务，操作记录，对比yaml配置，更新服务）、任务管理、配置管理、镜像构建（包括环境变量和参数配置）、应用日志使用自动化运维平台CoDo开发system-devops；使用Kog开发统一网关入口系统system-api-gateway；使用vue、scala、playframework、docker、k8s、Prometheus、grafaa开发监控告警平台system-alarm-platform；使用Apollo开发system-cofig配置中心；2、数据平台展示
2.1商城图片展示：
商城App：https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/samples/mall-shoppig-03.pg
商城小程序：https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/samples/shoppig-app-04.pg
商城移动端：https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/samples/shoppig-app-05.pg
商城PC端：https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/samples/shoppig-app-06.pg
商城后台管理：https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/samples/shoppig-app-07.pg
2.2compute-mr
1、mr-website-aalyse:1.1主要做的事情：hadoopHA集群搭建部署；mapreduce基础掌握；使用oozie进行任务调度；使用hive保存数据到hdfs，以及从hdfs导出到mysql；使用hbase结合mapreduce处理业务，如用户行为分析；使用flume,gix模拟收集日志，从javasdk端和js网站端收集数据等;1.2主要模块用户基本信息分析浏览器分析地域分析浏览深度分析搜索引擎分析事件分析订单分析2、mr-website-sdk2.1java服务端sdk采集2.2JS前端页面的数据模拟采集3、mr-website-view3.1数据可视化显示3.2主要使用highcharts，html，css,js显示mr-website-aalyse数据处理的统计数据，存在mysqlhttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/mr/2791587557292_.pic.jpg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/mr/2801587557292_.pic.jpg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/mr/2811587557292_.pic.jpg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/mr/2821587557292_.pic.jpg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/mr/2831587557293_.pic.jpg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/mr/2841587557293_.pic.jpg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/mr/2851587557293_.pic.jpg
2.3compute-realtime:
1、compute-realtime-spark:1.1主要做的事情：基于Javee平台展示的Spark实时数据分析平台hadoopHA集群搭建部署；基于zookeeper的kafkaHA集群搭建部署；HA:本地搭建时共5个节点,2个ameode,3个dataode；sparkcore,sparksql,sparkstreamig基础掌握；kafka实时模拟生成数据并使用sparkstreamig实时处理来自kafka的数据；实时处理分析结果保存到mysql,由highcharts动态刷新；highcharts实时展示统计分析结果，以及sparksql算子执行结果；1.2主要模块广告点击流量分析广告点击趋势分析各省份top3热门广告分析各区域top3热门商品统计页面单跳转化率用户访问sessio分析Top10热门品类分析Top10用户sessio分析2、compute-realtime-view2.1数据可视化显示，定时模拟kafka消息队列的数据2.2主要使用highcharts，html，css,js显示compute-realtime-spark数据处理的统计数据，存在mysqlhttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/spark/2871587557435_.pic.jpg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/spark/2881587557459_.pic.jpg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/spark/2891587557479_.pic.jpg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/spark/2901587557498_.pic.jpg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/spark/2911587557535_.pic.jpg
3、数据来源商城前台：mall-shoppig-app:商城Appmall-shoppig-app-service:商城App服务mall-shoppig-wc:商城小程序mall-shoppig-mobile:商城前台mall-shoppig-pc:商城pc端mall-shoppig-pc-service:商城pc端服务mall-shoppig-service:商城前台服务（小程序和前台接入此接口）商城后台：mall-admi-web:商城后台mall-admi-service:商城后台服务https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/microservice.pghttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-api-gateway01.pghttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-api-gateway02.pghttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-apm.pg4、数据收集log-collect-server:服务端日志收集系统log-collect-cliet:支持各app集成的客户端SDK，负责收集app客户端数据；data-import-export:基于DataX实现数据集成(导入导出)data-spider:爬虫平台支持可配置的爬取公网数据的任务开发；https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/Prometheus.pghttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/apollo.pghttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/log-collect.pg5、数据存储分布式文件系统：hdfs分布式数据库：hbase、mogodb、elasticsearch分布式内存存储系统：redis6、数据计算compute-mr（离线计算）:Hive、MRcompute-realtime（流计算）:storm、flikmulti-dimesio-aalysis（多维度分析）:kyli,spark7、数据开发task-schedular:任务调度task-ops:任务运维https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-deploy.pghttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-deploy02.pghttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-devops.pg8、数据产品data-face:数据可视化data-isight:用户画像分析9、数据应用system-recommeder:推荐system-ad:广告system-search:搜索system-ati-cheatig:反作弊system-report-aalysis:报表分析system-elk:ELK日志系统，实现日志搜索平台https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-elk.pghttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-elk（2）.pgsystem-apm:skywalkig监控平台system-deploy:k8s，scala，playframework，docker打包平台。job-schedule:任务提交平台10、启动配置教程10.1启动前，打包dubbo-servie项目，进入dubbo-service目录，执行mvcleapackage-DskipTests=TRUE打包，然后执行mvistall.
10.2启动dubbo-service项目，配置tomcat端口为8091
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/61.pg
10.3启动商城项目的多个子系统
后台：访问https://localhost:8090
10.3.1、前端：启动mall-admi-web项目，进入项目目录，执行pmistall，然后执行pmrudev；
10.3.2、后端：启动mall-admi-service/mall-admi-search项目，配置tomcat端口为8092，接着启动mall-maage-service项目，tomcat端口配置为8093；
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/62.pg
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/63.pg
前台：小程序手机预览，移动端访问：https://localhost:6255
10.3.3、小程序和移动端
10.3.3.1、前端：商城小程序，启动mall-shoppig-wc项目，安装微信开发者工具，配置开发者key和secret，使用微信开发者工具导入即可，然后点击编译，可以手机预览使用。
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/66.pg
10.3.3.2、前端：商城移动端，启动mall-shoppig-mobile，进入项目目录，执行pmistall和pmrudev；
10.3.3.3、后端：小程序和移动端用的是同一个后台服务，启动mall-shoppig-service项目，进入项目目录，配置tomcat端口8094
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/64.pg
10.3.4、商城PC端访问https://localhost:8099
10.3.4.1、前端：启动mall-shoppig-pc项目，进入项目目录，执行pmistall和pmrudev；
10.3.4.2、后端：启动mall-shoppig-pc-service项目，配置tomcat端口为8095；
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/65.pg
11开发计划
https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/%E5%BC%80%E5%8F%91%E8%AE%A1%E5%88%92v1.0.pg
12架构1.0
#1、数据平台架构https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/1571898118926.pg#2、电商https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/%E7%94%B5%E5%95%86.pg#3、微服务https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/microservice.pg#4、容器化部署system-deployhttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-deploy.pghttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-deploy02.pg#5、自动化运维平台system-devopshttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-devops.pg#6、使用Kog作为调用中心网关入口system-api-gatewayhttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-api-gateway01.pghttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-api-gateway02.pg#7、日志中心system-elkhttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-elk.pg#8、告警平台system-alarm-platform8.1监控系统https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/Prometheus.pg8.2数据采集https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/log-collect.pg8.3数据展示https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-elk%20%282%29.pg#9、监控中心system-apmhttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/system-apm.pg#10、使用Apollo作为配置中心system-cofighttps://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/apollo.pg#11、数据平台开发规划https://my-macro-oss.oss-c-shezhe.aliyucs.com/mall/images/desig/%E5%BC%80%E5%8F%91%E8%AE%A1%E5%88%92v1.0.pg
评论