面向政府监管公开信息的自动化采集场景:监管公告与注册数据分散、手工整理效率低,本工具通过官方公开 API 批量采集药品注册目录与召回公告,落地为结构化数据库与 CSV 报表,供合规审查与数据研究使用。
点击空白处退出提示
面向政府监管公开信息的自动化采集场景:监管公告与注册数据分散、手工整理效率低,本工具通过官方公开 API 批量采集药品注册目录与召回公告,落地为结构化数据库与 CSV 报表,供合规审查与数据研究使用。
1、药品注册目录采集:分页拉取 NDC 注册数据,提取通用名、商品名、生产企业、活性成分、剂型等字段;2、召回公告采集:拉取执法与召回记录,保留召回原因与风险分级;3、本地入库:SQLite 主键幂等入库,支持增量(重复跳过)与全量(内容变化才更新)双模式;4、断点续跑与限流重试:采集游标落盘、触发 429 自动等待;5、CSV 导出:utf-8-sig 编码,Excel 直接打开。
我负责全部实现:requests 封装 openFDA 客户端(重试与限速),storage 模块实现 ON CONFLICT UPSERT 与内容变化检测,main 入口支持命令行参数与断点续跑。技术栈 Python + Requests + SQLite。难点:开源 API 限流与网络抖动下的稳定采集,采用指数退避重试与游标续跑解决。



评论