发胶龙
1小时前在线
全职 · 300/日  ·  6525/月
工作时间: 工作日09:00-18:00、周末10:00-17:00工作地点: 远程
服务企业: 0家累计提交: 0工时

APP聊一聊

个人介绍

熟练使用Python开展后端网页自动化采集开发,具备静态网页批量抓取、异步爬虫、浏览器自动化整套开发能力,可完成普通翻页、多层级主/子评论自动化抓取,能够将采集数据分别存入Excel、MongoDB数据库,可应对简单验证码场景;主要承接高校课程作业、本科毕业设计类公开网页采集项目,严格遵守网站公开协议,不做违规逆向与隐私抓取业务。

工作经历

  • 2025-12-01 -至今个人独立开发Python后端数据采集开发工程师

    独立使用Python开展后端公开网页自动化数据采集开发,依托Requests、Playwright技术实现静态网页与JS动态懒加载页面的数据抓取,运用XPath完成网页DOM节点精准解析。先后完成政务政策大数据平台、猫眼影视票房、豆瓣影片公开信息三套完整采集项目,可处理网页基础字体加密、简单图形验证码,设计随机延时、UA轮换等访问策略降低站点访问限制风险,增加异常捕获与失败重试机制保障程序稳定运行。实现多页码自动循环遍历抓取,将采集到的标题、发布时间、正文等结构化数据批量导出保存为Excel表格文件。承接高校课程设计、毕业设计类定制开发需求,交付带详细注释的完整源码,同时负责程序调试、翻页逻辑与解析模块修改维护,全程仅针对全网公开合规网页开展技术实训开发。

教育经历

  • 2025-09-01 - 南京林业大学木材科学与工程本科已认证

    南京林业大学材料科学与工程专业本科在读,系统修习大学物理、工程力学、线性代数等理工科基础课程以及本专业核心专业课,认真完成各项课业学习。在校期间考取全国计算机二级Python编程与设计证书,熟练掌握Python基础开发与数据采集相关技术。担任班级心理委员,同时加入学院学生会,

语言

中文可口语交流
英语借工具书面交流
日语借工具书面交流
0
1
2
3
4
5
0
1
2
3
4
5

技能

Python熟练
0
1
2
3
4
5
作品
豆瓣电影Top250异步爬虫系统

使用Python异步爬虫技术批量采集豆瓣电影Top250排行榜的电影名称和评分信息,覆盖全部10页共250部电影数据。项目基于asyncio协程框架与aiohttp异步HTTP库实现并发请求,通过信号量(Semaphore)控制最大并发数为3,避免对目标服务器造成过大压力。利用lxml库的XPath

0
2026-07-15 19:11
猫眼电影实时票房数据采集系统

使用Python实现猫眼电影实时票房数据的自动化采集,可采集影片名称、综合票房、票房占比、排片场次四项核心数据。项目突破了猫眼平台的字体反爬机制,通过下载动态woff字体文件,结合PIL图像渲染与ddddocrOCR识别技术,建立字体编码与真实数字的映射关系,实现加密数字的自动解密。同时逆向分析了平

0
2026-07-15 19:06
政府公开政策公告自动化采集系统

基于Python+Playwright浏览器自动化框架,实现政策大数据平台的全流程数据采集。主要功能包括:自动登录平台账号,支持手动完成滑块验证码后继续执行;②支持自定义关键词搜索(如"人工智能"),自动打开搜索面板并触发检索;③自动翻页爬取,通过XPath精确定位页面元素,逐页提取文章标题、内容摘

0
2026-07-15 18:55
数据采集

##一、基础定义数据采集(DataCollection)是从**多源数据源**抽取原始数据,完成传输、校验、预处理,统一汇入存储系统(数据库/数据湖/数据仓库)的全流程,是数据分析、AI建模、业务BI

更新于: 11小时前 浏览: 8