中国观鸟技术中心数据抓取产品系统

本项目聚焦于生物多样性保护领域，为鸟类学研究或环保组织提供观测数据自动化采集解决方案。针对“中国观鸟记录中心”等平台数据量大、人工整理效率低下的痛点，本工具能够自动、高效地抓取并整合全国范围内的鸟类观测报告，将非结构化的网页信息转化为结构化的Excel数据，极大地提升了数据收集与整理的效率。

本项目是一个针对“中国观鸟记录中心”的自动化数据采集工具，旨在解决目标网站存在复杂反爬机制（如请求头加密、数据加密）导致的数据获取难题。
JS逆向与加密请求头生成
通过 execjs 调用外部JavaScript文件，复现了网站前端的加密逻辑。
自动构造包含 sign (MD5签名), timestamp (时间戳), requestId (UUID) 和加密 data 的完整请求头，成功绕过服务器的身份验证。
动态代理IP池集成
对接了快代理（KDLapi）API，在每次请求时自动获取并使用新的代理IP。
有效规避了基于IP的访问频率限制和封禁策略，保证了爬虫的持续稳定运行。
数据解密与结构化处理
实现了对服务器返回的AES加密数据的自动解密功能。
使用 pandas 库将非结构化的JSON数据清洗、整理为结构化数据，并最终导出为Excel文件，包含观测地点、时间、鸟种数量等关键字段。

我独立完成了整个项目的开发与测试，负责需求分析、代码编写、调试优化及文档撰写。
1、数据获取 (Data Fetching)
构造POST请求，通过集成JS逆向生成的加密参数和动态代理IP，向目标API接口发送请求，获取加密的JSON响应。
2、数据解密 (Data Decryption)
调用本地JavaScript环境，使用AES解密算法处理响应体中的 data 字段，还原出原始的观测数据列表。
3、数据解析 (Data Parsing)
解析解密后的JSON数据，精准提取“观测地点”、“观测时间”、“观测者”、“鸟种数量”和“报告编号”等核心信息。
4、数据存储 (Data Storage)
利用 pandas 库将所有提取的数据整合成DataFrame，并一键导出为 观鸟.xlsx 文件，便于后续分析与查阅。