农产品网站 + 微博餐饮舆情爬虫(食材定价、生鲜采购调研数据源）产品系统

公司餐饮咨询业务需要实时掌握生鲜食材产地报价、食材市场行情、餐饮行业网络热点，人工翻阅农产品网站、微博搜集行情耗时费力，食材价格信息滞后会导致给客户的采购、定价方案失真。项目自动抓取农产品报价与餐饮相关舆情，实时同步食材价格、消费风向，为客户食材采购、菜品定价提供数据依据。

包含农产品价格采集、微博餐饮舆情抓取、异常价格过滤、定时监控、数据预警导出模块。抓取生鲜产地批发价、上市量、网友餐饮消费点评、热门餐饮趋势，高频巡检食材价格变动；自动清洗无效广告、乱码数据，价格异动标记提醒，规整数据对外输出支撑咨询业务。

全权负责爬虫架构设计与开发落地，独立开发农产品站点爬虫与微博舆情爬虫。技术栈 Python+Scrapy 异步爬虫、Redis 代理 & 任务调度、MySQL 分库存储；难点：微博账号风控、农产品站点验证码、接口参数加密，对接打码平台、维护 Cookie 池、逆向加密参数实现稳定抓取，每日更新食材行情数据。