医疗医药平台数据采集与解析产品系统

根据业务需求对好医生、RPDB、集采地图等平台进行数据采集与解析，覆盖医院、医生、药品详情、厂家批次、季度数据等多类医药数据。

医疗医药平台数据采集与解析——项目功能模块

1. 多平台数据采集模块： 基于Python、Requests、Selenium、Playwright等技术，实现国家药监局、好医生、RPDB、集采地图等医疗医药平台的数据采集，支持接口请求、分页查询及浏览器自动化操作。

2. 采集任务管理模块： 支持采集参数配置、关键词检索、批量任务执行、分页采集、任务进度记录及定时调度，实现大规模数据自动化采集。

3. 断点续采与异常处理模块： 实现断点续跑、自动去重、请求超时重试、随机请求间隔、异常日志记录及任务状态管理，提高采集任务的稳定性。

4. 数据解析与清洗模块： 支持HTML、JSON、CSV、Excel等数据格式解析，完成字段提取、数据清洗、格式转换、缺失值处理及重复数据过滤。

5. 医药数据标准化模块： 对药品名称、批准文号、生产企业、药品分类等信息进行标准化处理，实现多来源数据字段映射、格式统一及数据匹配。

6. 数据存储与导出模块： 支持MySQL数据库存储及CSV、Excel文件导出，实现数据批量写入、增量更新、结果汇总及历史数据归档。

7. 日志监控与统计模块： 记录采集任务运行状态、成功与失败数量、执行耗时、采集速度及异常信息，支持任务运行情况分析与结果统计。

8. 数据质量校验模块： 对采集结果进行完整性、一致性、唯一性校验，识别重复、缺失及异常数据，提高医药数据的准确性和可用性。

1. 完成好医生平台全国医院、科室、医生数据采集，累计采集医院 10049 家、医生 918813 名；
2. 完成 RPDB 平台全省份、全季度数据解析与下载，其中 2019-2022 年全年无季度数据累计下载 135743 条；
3. 完成集采地图微信小程序药品详情采集，累计采集 18975 条药品详情数据、260198 条厂家药品批次数据；
4. 设计断点续爬、自动去重、失败重试、日志记录和数据文件归档机制，降低长周期采集任务的重复运行成本。