药品监管公开信息采集器(Drug Regulatory Monitor)产品系统

我要开发同款
proginn00173262912026年11月11日
8阅读

技术信息

系统类型
Windows、Linux
行业分类
企业服务、脚本插件
演示地址
https://gitee.com/heyuhaocode/portfolio-crawler

作品详情

行业场景

面向政府监管公开信息的自动化采集场景:监管公告与注册数据分散、手工整理效率低,本工具通过官方公开 API 批量采集药品注册目录与召回公告,落地为结构化数据库与 CSV 报表,供合规审查与数据研究使用。

功能介绍

1、药品注册目录采集:分页拉取 NDC 注册数据,提取通用名、商品名、生产企业、活性成分、剂型等字段;2、召回公告采集:拉取执法与召回记录,保留召回原因与风险分级;3、本地入库:SQLite 主键幂等入库,支持增量(重复跳过)与全量(内容变化才更新)双模式;4、断点续跑与限流重试:采集游标落盘、触发 429 自动等待;5、CSV 导出:utf-8-sig 编码,Excel 直接打开。

项目实现

我负责全部实现:requests 封装 openFDA 客户端(重试与限速),storage 模块实现 ON CONFLICT UPSERT 与内容变化检测,main 入口支持命令行参数与断点续跑。技术栈 Python + Requests + SQLite。难点:开源 API 限流与网络抖动下的稳定采集,采用指数退避重试与游标续跑解决。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论