深圳二手房数据分析系统产品系统

深圳作为一线城市，二手房交易活跃但信息分散、价格差异大。购房者、中介和分析师普遍缺乏一个直观、可视化的工具来洞察区域均价、户型分布、价格区间等关键指标。本项目旨在通过大数据技术对1740条真实深圳二手房房源数据进行清洗、数仓建模与可视化分析，构建一个完整的数据分析系统，帮助用户快速了解全市及各区房价水平、热门户型与价格分布规律，为置业决策提供数据支撑。

本项目包含以下核心功能模块：1）数据采集与清洗：采集深圳二手房房源数据，对面积、价格、户型、装修、朝向、楼层等字段进行清洗与反推校正，剔除脏数据。2）大数据数仓建模：基于Hadoop HA集群与Spark SQL构建ODS、DWD、DWS、ADS四层六表数据仓库，实现从原始数据到主题指标的加工。3）后端服务：基于SpringBoot与MyBatis Plus提供RESTful API，支持房源CRUD、分页查询与统计指标聚合。4）数据可视化：基于Vue3与ECharts构建11张图表与4个统计卡片，直观展示区域均价、户型分布、价格区间、面积与总价关系等。5）统计分析与导出：通过Sqoop导出HDFS数据至数据库，生成9张matplotlib分析图表。

我负责项目的整体架构设计与全栈开发。具体任务包括：1）搭建Hadoop HA高可用集群（3台Ubuntu虚拟机）与Spark SQL大数据处理环境，完成Flume、Sqoop等组件部署。2）设计并实现ODS、DWD、DWS、ADS四层六表数据仓库，完成1740条房源数据的ETL清洗与指标加工。3）后端使用SpringBoot 2.7.18 + MyBatis Plus 3.5.5 + MySQL构建，开发7个RESTful API接口，涵盖房源CRUD、分页与统计聚合，并解决跨域与数据乱码问题。4）前端使用Vue3 + Vite + Element Plus + ECharts实现11张可视化图表与4个统计卡片。技术亮点包括：面积字段通过总价除以单价反推校正、Hadoop HA高可用架构、四层数仓分层建模、前后端分离与数据可视化闭环。