Python熟练
0
1
2
3
4
5
8小时前在线
数据挖掘
重庆全职 · 300/日 · 6525/月信用正常
工作时间: 工作日09:00-19:00、周末09:00-17:00工作地点:
远程
服务企业:
0家累计提交:
0工时
聊一聊
个人介绍
使用 Python + Scrapy + DrissionPage 编写多平台爬虫，日均采集 8000+ 条数据，存储于 MySQL + MongoDB通过 Fiddler 抓包分析 + JS逆向（Hook/补环境） 破解接口加密参数；动态页面使用 Selenium/Playwright 模拟浏览器渲染维护 代理IP池、随机UA、请求延时，配合 XPath + 正则 精准提取字段，封禁率控制在 5% 以内使用 线程池 / Asyncio+aiohttp 提升并发效率，采集速度提升约 2-3倍；利用 Redis 实现 URL 去重使用 Pandas + NumPy 完成数据清洗与基础统计分析，交付高质量数据；日常使用 Git 版本管理，在 Linux 环境下部署定时爬虫任务
工作经历
2026-04-03 -2026-07-06徐州金马达数据清洗
使用 Python + Pandas + NumPy 对爬虫采集的原始数据进行清洗与预处理，日均处理数据 2万+ 条 完成数据清洗全流程：去重、空值填充、异常值检测与过滤、格式标准化，确保数据质量满足分析要求 针对不同数据源，编写字段映射规则，统一 20+ 个核心字段的命名规范与数据类型，解决多源数据口径不一致问题 使用 apply / map / replace 等方法完成数据规整，配合 groupby + agg 进行数据聚合统计，输出汇总报表 监控每日数据量波动，编写 异常值自动检测脚本，数据异常时主动标记并邮件告警，保障上游数据稳定性 与爬虫组和数据分析组紧密配合，根据下游需求反向优化清洗逻辑，迭代清洗脚本共 10+ 个版本
2025-09-12 -2026-03-15南通畅圣计算机科技数据挖掘
负责公开数据的爬虫开发与维护，使用Python + Scrapy + Selenium，日均采集8000+条有效数据 应对IP封锁、验证码、动态加载等反爬机制，维护代理IP池及Cookie会话，保障爬虫长期稳定运行 使用Pandas完成数据清洗与预处理，累计产出高质量数据50万+条，支撑下游分析及推荐业务 撰写技术文档并参与爬虫代码Review，提升组内代码规范性与可维护性
教育经历
2023-09-01 - 2026-06-20徐州工业职业技术学院大数据专科
技能
作品
开发自动化工具，将哔哩轻小说内容一键转换为标准EPUB电子书，解决动态加载与反爬问题。动态渲染与延迟加载：针对JS延迟渲染，使用Selenium+显式等待，配合拟人滚动模拟，确保图文完整加载。反爬过滤：识别并过滤“无宽高”投毒文本，保证采集内容的纯净度。稳定性优化：为规避频率限制与IP封锁，设
02026-07-17 10:56
