疾病分类数据采集源文件源码

这段代码是一个针对医学健康信息的网络爬虫程序，主要功能是从“寻医问药网”（https://jib.xywy.com）系统性采集疾病相关数据。程序采用分层爬取策略，先获取一级科室（如内科、外科等）的名称与链接，再通过一级科室页面挖掘二级科室（具体疾病）信息，最终深入每个疾病详情页提取关键内容。

代码设计体现了结构化数据采集的思路：首先通过BeautifulSoup解析HTML页面，筛选含"科"字的链接确定一级科室；接着设置排除关键词过滤无效信息，精准定位二级疾病链接；在详情页爬取阶段，重点提取疾病简介、病因、症状、预防等核心医疗数据，并通过clean_text函数处理编码问题与特殊字符。

为保障爬虫稳定性，程序加入了随机延时（1-2秒）模拟人工浏览，避免触发网站反爬机制；同时通过多层try-except结构捕获异常，确保单个页面爬取失败不影响整体流程。采集的数据最终通过pandas整理为Excel表格，以带时间戳的文件名保存，包含一级科室、疾病名称、URL及各类医学详情等字段，方便后续数据分析与应用。

整体而言，该程序兼顾了数据采集的全面性与爬虫的稳健性，适合用于医学信息聚合、疾病知识库构建等场景，为医疗健康相关的研究或应用提供结构化数据支持。