船期数据抓取工具产品系统

本项目是为跨境贸易企业开发的海外船司数据自动化采集系统，旨在解决人工查询船期、运价等信息效率低、数据滞后的痛点。我作为核心开发，负责海外船司网站数据抓取、反爬策略实现、数据清洗与结构化存储，采用 Java + OKHttp+ Redis + MySQL 技术栈，实现了多站点并发采集、定时更新与数据校验功能，为贸易企业提供实时船运数据支撑，提升了物流规划与成本核算效率。

任务调度模块：支持按天 / 小时级配置定时采集任务，可灵活设置采集频率与目标站点；
数据采集模块：通过 HttpClient 实现多站点并发抓取，集成 IP 代理池与反爬策略，稳定获取公开网站数据；
数据清洗模块：对原始数据进行格式校验、去重与结构化处理，剔除无效数据；
数据存储与查询模块：将清洗后的数据存入 MySQL，并提供 API 接口供后续数据分析使用。
主要功能为模拟自动化采集公开行业数据，解决人工采集效率低、数据更新不及时的问题，是用于技术积累与能力展示的练手项目。

搭建基于 Spring Boot 的后端服务框架，实现任务调度、数据采集与存储的全流程；
采用 Java + OKHttp+ Redis + MySQL 技术栈，通过 Redis 实现采集去重与缓存，MySQL 存储结构化数据；
攻克目标站点反爬限制，实现 请求头伪装与异常重试机制，保障采集稳定性；
优化并发采集逻辑，提升数据获取效率，同时保证数据准确性与完整性，是个人技术能力的实践项目。