大数据采集工程师
贵阳
中文母语水平
0
1
2
3
4
5
1小时前在线
个人介绍
我是程序员客栈的clover，一名 Python 开发工程师； 大数据采集工程师； 负责过 政务舆情实时监测系统、招商引资企业库自动化构建、行业政策大数据平台 的开发； 熟练使用 Python, Scrapy, Selenium, Pandas, Redis, MySQL； 如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2022-12-15 -2025-08-15经开区产业投资集团大数据采集工程师
舆情监控系统： 基于 Scrapy/Selenium 框架开发实时监控脚本，针对经开区相关的网络舆情进行自动化抓取与预警，维护公司形象。 数据清洗与分析： 对采集到的海量非结构化数据进行清洗（Pandas/NumPy）和结构化处理，建立招商引资企业库，实现数据从“抓取”到“入库”的全流程自动化。 反爬攻坚与维护： 针对目标网站的封禁策略，研究并应用 IP代理池、验证码识别、自定义请求头等技术手段，确保数据采集任务的稳定性，采集成功率维持在 98% 以上。
教育经历
2016-09-01 - 2022-07-01贵州大学计算机科学与技术本科
资质认证
语言
技能
Python精通
0
1
2
3
4
5
