数据采集产品系统

facebook 数据采集系统主要用于从 facebook 平台采集用户公开信息、帖子数据等，为公司市场调研、数据分析等业务提供数据支持。

系统具备定时采集、数据清洗、存储等功能，能够按照设定的规则自动采集指定 facebook 页面或用户的数据。在后台管理中，可以浏览采集数据的详情、图片、帖子等信息。

采用 Spring Boot 框架搭建数据采集系统的基础架构，结合 Jsoup 和 HttpClient 库实现网页数据的解析和请求发送。使用 Docker 容器化部署数据采集服务，实现采集任务的分布式执行，提高数据采集的效率。通过 Docker 的资源限制和调度功能，合理分配系统资源，避免因单个采集任务占用过多资源导致系统性能下降。
利用 Redis 缓存采集任务的状态信息和已采集的数据标识，避免重复采集相同的数据。同时，通过 Redis 的发布 - 订阅功能，实现采集任务的状态监控和通知，方便及时调整采集策略。集成 RabbitMQ 消息队列，将采集到的数据发送到队列中，由后续的数据处理服务异步处理数据，实现数据采集与数据处理的解耦，提高系统的整体性能。