当下医学科研人员需要处理大量公开医疗数据集,手动整理数据耗时久、易出错;同时行业调研需要合规采集公开网页信息,本项目面向医疗数据分析、行业信息采集场景,提供自动化数据处理工具,降低人工重复工作量。
点击空白处退出提示
当下医学科研人员需要处理大量公开医疗数据集,手动整理数据耗时久、易出错;同时行业调研需要合规采集公开网页信息,本项目面向医疗数据分析、行业信息采集场景,提供自动化数据处理工具,降低人工重复工作量。
项目分为两大功能模块:一是合规爬虫模块,可抓取网页公开资讯、文献数据,支持应对动态页面、登录校验,将采集内容整理为表格存储;二是医学数据处理模块,完成数据集缺失值填充、筛选、统计分析、可视化绘图;还附带办公自动化子模块,实现Excel批量处理、文件归档,整套工具可直接交付给科研、调研人员使用。
我负责爬虫逻辑编写、医学数据清洗与建模、自动化脚本开发;技术栈选用Python、Requests、Playwright、Pandas、Scikit-learn,难点为绕过常规反爬机制、适配医学特殊数据格式,最终完成稳定可运行的整套程序。



评论