Hadoop

技术架构 后端技术 Hadoop & Hive：用于存储和处理大规模的旅游数据。Hadoop分布式文件系统（HDFS）提供高效的数据存储，Hive用于数据分析和查询。 Pandas：用于数据清洗和预处理，确保数据的质量和一致性。 Flask：轻量级Web框架，用于构建Web应用的后端服务，处理用户请求和响应。 前端技术 ECharts：用于数据可视化，展示旅游景点的评分分布、用户评论情感分析结果等，为用户提供直观的决策支持。 HTML/CSS/JavaScript：用于构建用户友好的界面，确保系统的易用性和交互性。 算法 推荐算法：结合协同过滤和内容推荐的混合推荐算法，通过分析用户的浏览历史、评分和评论等数据，生成个性化的旅游推荐列表。 情感分析：利用自然语言处理技术分析用户评论的情感倾向，进一步优化推荐结果。 系统特色 1. 大数据技术支持 本系统采用Hadoop技术处理大规模数据，确保在高并发条件下依旧能够快速响应用户需求。通过对用户行为数据的深度分析，系统能够挖掘用户的隐性需求，从而提供更加符合用户兴趣的推荐内容。 2. 多维度个性化推荐 系统整合了景点、美食、购物和活动等多方面的旅游资源，结合用户的历史浏览记录、评分和评论等数据，利用先进的推荐算法为用户生成个性化的旅行推荐列表。同时，情感分析技术的引入，使得系统能够进一步理解用户对不同旅游资源的情感倾向，优化推荐结果。 3. 直观的数据可视化 通过ECharts进行数据可视化展示，系统不仅为用户提供了直观的推荐结果，还展示了热门景点的评分分布、用户评论情感分析结果等，帮助用户更好地做出旅行决策。 4. 完善的用户交互界面 系统采用Flask框架开发Web应用，提供用户友好的界面设计。用户可以轻松地浏览推荐内容、进行个性化搜索、查看详情以及发表评论。同时，系统还提供了登录和注册功能，保障用户数据的安全性和隐私性。 系统功能 1. 景点推荐 根据用户的浏览历史和其他用户的评价数据，通过算法模型分析出用户可能感兴趣的景点，并提供推荐列表。 2. 智能搜索 用户可以通过输入关键词搜索景点、酒店、美食等旅游相关信息。搜索系统能够根据用户的输入提供相关的搜索建议和自动完成功能。 3. 评论与评分 用户可以对访问过的景点或体验过的服务进行评分和评论，这些数据将反馈给推荐系统，用于优化未来的推荐结果。 4. 个性化旅游路线规划 系统能够根据用户的时间、预算和兴趣爱好自动规划个性化旅游路线，用户还可以手动调整路线并即时看到调整后的效果。

利⽤机器学习⾃动检测Hadoop中执⾏慢的节点、并且⾃动分析其根本原因。实验是基于6个异构的 Hadoop节点多轮分别运⾏不同类型，不同负载的任务。采集执⾏过程中的各种核⼼性能数据，CPU占⽤率、内存占⽤率、Job执⾏进度、硬盘负载、⽹络I/ O，利⽤机器学习检测数据的离散性，⾃动检测异常。对异常节点再次进⾏分析，对异常原因进⾏分类，然后训练⼀个基于 随机森林的模型。对实验组进⾏实验，最终实验 的结果精准率98%、准确率97%、误报率6%

项目分为1，通过sparksql 读取多个csv文件。2，建立机器学习模型。3，实时从kafka接收数据，使用模型进行预测 整个项目是我自己开发

买菜app用户侧下单页面，需要根据下单地址所在前置仓的人力状况（分拣侧/配送侧）、站点压力、订单距离站点距离、天气等实时状况准确给出订单预计送达时间，线上版本采用xgboost,后迁移至deepfm部署，最终时间由模型预测T0 + T-Buffer+Gap决定。 我这边完成了算法架构得设计，方案落地以及线上部署维护等。