二手房数据爬取及分析可视化产品系统

通过对二手房数据的爬取和分析，深入了解市场的动态变化，预测未来的发展趋势，提供有力的数据支持。

1、数据爬取。利用爬虫程序模拟人类浏览行为，遍历目标网站，收集并整理所需数据。遵守法律法规和网站规则，尊重隐私政策，避免对目标网站造成不必要的负担。同时，还注重数据的准确性和完整性，确保爬取到的信息具有实际应用价值。
2、数据分析。通过数据挖掘和机器学习算法，数据分析发现隐藏的价值，推动业务创新和发展。
3、机器学习。通过大量历史房价数据，训练算法模型，自动识别出影响房价的关键因素，建立更加精确和可靠的房价预测模型。

在整个项目中，我个人完成对数据的爬取、清洗、存储入库的操作，并且对所获得的数据进行数据分析，将其可视化展出。
在获取数据时，通过scrapy方式对网站进行数据爬取、并保存数据到mysql里。用flask设计页面，并连接数据库，在页面上对数据进行可视化设计。