本创意作品借助Hadoop构建廉价的服务器集群，使用Hive定义大数据仓库元数据，使用Spark on YARN实现农业大数据统计分析与计算，数据分析结果辅助使用大模型为用户提供决策支持。
分布式农业大数据分析计算平台，可以帮助菜农根据价格变动趋势优化种植结构、规避滞销风险；可以帮助批发商及相关供应链企业动态调整采购、仓储与物流策略，降低库存积压成本；可以帮助有关政府部门监控市场异常波动，防范“菜贵伤民、菜贱伤农”问题，从而保障粮食安全。
总体来说，该分布式农业大数据分析计算平台，凭借创新技术架构实现多元主体赋能，以数据驱动农业全产业链的精细化运营与科学决策，在促进农业经济稳健发展、保障民生稳定等方面具有较高的潜力与价值，能够切实有力地助推乡村振兴战略的实施。
项目基于Hadoop、Spark、Hive等开源大数据组件，针对农业大数据处理需求，构建分布式大数据计算平台，实现农业大数据存储与高效计算。
系统首先运用网络爬虫定时抓取网站数据，完成数据获取。随后，对采集数据进行预处理，确保数据质量。依托Hadoop平台，将预处理后的数据上传至HDFS（Hadoop分布式文件系统）并分区存储，配合Hive建立便捷操作的数据结构。借助Spark强大的计算能力，对ODS（操作数据）层数据进行深度处理并保存至DWD（明细数据）层，进一步计算提取所需数据。
后端基于Spring Boot3框架搭建，控制层负责接收前端请求并转发，业务层通过Pojo、Controller、Service等组件处理业务逻辑，访问层利用MyBatis实现高效数据库交互。最终处理好的数据存储于MySQL。前端以Vue框架为核心，结合Element-plus和Echarts等技术，构建出直观、易用的可视化界面。通过MyBatis从MySQL查询数据后，以折线图、柱状图等形式展示。此技术架构兼顾高效数据处理与存储，具备高扩展性和性能优势，为各级用户提供可靠、及时的市场决策依据。
后端系统首先对用户查询进行语义解析，并基于预置的农业数据集（如历史价格、气象数据、市场供需等结构化/非结构化数据）进行向量化编码，构建可检索的嵌入表示（Embedding）。随后，大模型通过相似度计算（如余弦相似度、欧氏距离等）在向量数据库中执行近邻搜索（k-NN），筛选出与用户问题最相关的数据片段。
大模型结合检索增强生成（RAG）技术，将查询结果与领域知识融合，生成分析报告（如价格波动区间、影响因素权重等），并通过API返回前端可视化呈现。该流程确保了分析结果的实时性、可解释性，同时规避了传统大模型的幻觉问题。
1. 本人负责项目中前后端搭建与实现，智能体的调用。前端使用Vue+Element-plus+Echarts实现各种图表，后端使用SpringBoot+Mybatis提供接口与数据。负责编写调用智能体的接口。并将项目部署至服务器，通过nginx实现反向代理，编写项目启动停止的shell脚本。
2.项目使用Hadoop构建服务器集群，使用Hive定义大数据仓库元数据，使用scrapy爬取数据，pandas与numpy清洗数据写入hdfs，hive映射hdfs文件。使用spark进一步处理数据写入mysql，以供后端查询使用。并训练专门的智能体，提供预测与辅助功能，由标准化API接口传输至后端的大语言模型（LLM）服务
评论