人社部政策法规自动化获取工具产品系统

GetZCFG_mohrss 是一个专为中国人力资源和社会保障部网站设计的政策法规文档自动获取工具。该工具能够批量、自动化地获取网站上的各类政策法规文档，包括法律、行政法规、规章、规范性文件等，并将其保存为结构化的JSON格式和原始HTML格式，同时下载相关的附件和图片。
适用场景：
法规数据库建设：构建人社部政策法规的完整数据库
政策研究分析：为政策研究提供基础数据支持
法规更新监控：监控并及时获取最新的政策法规变化
政策信息服务：为政策信息服务系统提供数据源

导航项获取：自动获取网站所有政策法规分类导航项
URL列表爬取：针对每个导航项，获取其下所有政策法规文档的URL列表
文档内容获取：解析并获取政策法规文档的正文内容、元数据、图片和附件
批量处理管理：提供批量爬取功能，支持断点续传、进度记录、状态报告等
代理IP管理：集成代理IP使用功能，实现IP轮换，避免访问限制

模块化设计：系统由多个独立模块组成，包括导航获取、URL列表获取、文档内容获取等
结构化数据存储：将文档内容和元数据以结构化JSON格式保存，便于后续处理
智能URL处理：能够处理多种类型的导航项和URL格式，包括特殊导航项
完整文档归档：自动下载并保存文档相关的图片和附件
代理IP轮换：支持自动管理和轮换代理IP，提高爬取成功率
断点续传：支持从中断处继续执行，避免重复爬取
错误处理与重试：内置错误处理和重试机制，提高系统稳定性