基于Spark的双11淘宝数据分析系统的设计与实现

一利2024年04月27日

511阅读

作品详情

设计并实现基于Spark的双11淘宝数据分析系统，解决了淘宝双11对所有买家各消费行为、男女买家交易、男女买家各个年龄段交易、商品类别交易额及各省份的总成交量等数据分析的问题，提高了对所有买家消费行为及男女买家交易、商品类别、省份等数据进行分析的效率。

查看全文

声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP

实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

前往安装

一利

1月前来过

职业方向：实习生

项目报价：全职 · 300/日 · 6525/月

联系方式：立即查看

服务企业：0家

累计提交：0工时

查看主页

分类

程序文档工具开源轻博客系统日志分析和统计代理服务器软件网络爬虫 GraphQL 项目 jQuery表格插件 XML相关工具下拉刷新(pull-to-refresh)开源字体键盘(Keyboard)jQuery界面效果选择器(Picker)V Web框架

推荐作品

Python与RabbitMQ

在实际使用中Python如何连接RabbitMQ及相应和生产者，消息者。此部分可用于生产环境中，并已在实际生产中使用。借助RabbitMQ消息中件可解决后台执行定时任务的问题。

技术博客地址

工作中使用的开源软件记录及问题解决方案等，从本博客地址可以了解到跟多技术细节。如ELK,Prometheus监控及后期集群扩展等。涉及到Python开发及脚本编写等，后期也会不断的更新

自动化导入表格统计数据

人工导入表格后选定统计条件规则，自动化生成统计后的表格数据人工导入表格后选定统计条件规则，自动化生成统计后的表格数据人工导入表格后选定统计条件规则，自动化生成统计后的表格数据

云采集

使用golang语言的gin框架和python语言的爬虫技术，提供接口进行数据采集服务，做到数据的实时性和准确性，接口主要包括各大电商平台的数据采集，例如：淘宝，京东，速卖通，虾皮，lazada，亚马逊，拼多多等使用golang语言的gin框架和python语言的爬虫技术，提供接口进行数据采集服务，做到数据的实时性和准确性，接口主要包括各大电商平台的数据采集，例如：淘宝，京东，速卖通，虾皮，lazada，亚马逊，拼多多等

CNN_LSTM

构建了基于EEG和BFV信号的深度神经网络模型CNN-LSTM，根据NIHSS和MRS评分对缺血性脑卒中的等级进行分类；接着实验对比了卷积神经网络（CNN）、长短时记忆网络（LSTM）、CNN-LSTM这三种不同的网络架构，最后发现CNN-LSTM混合模型的效果优于单独的CNN和LSTM，准确率在三种架构中最高，在NIHSS、MRS测试集上平均准确率是95.18%；然后通过事后解释，对深度神经网络如何解码生理信号进行可视化。