程序员
合肥
中文母语水平
英语专业级流畅
0
1
2
3
4
5
8小时前在线
个人介绍
我是程序员客栈的cs，一名Python爬虫工程师；
我毕业于安徽农业大学林学系，曾在红细胞网络科技有限公司担任Python爬虫工程师，并在数据掘金科技有限公司担任高级爬虫开发工程师；
曾主导开发电商商品数据采集与分析系统，负责社交媒体舆情监控爬虫的架构设计与反爬对抗策略，并参与多源新闻聚合平台的数据抓取与清洗流程开发；
熟练使用 Python、Scrapy、Selenium、BeautifulSoup、MongoDB，熟悉分布式爬虫、验证码破解、数据去重与结构化处理，具备大规模数据采集与合规风控经验；
如果我能帮上您的忙，请点击“立即预约”或“发布需求”！期待用数据技术为您的项目赋能。
工作经历
2023-09-01 -至今红细胞网络科技程序员
在红细胞网络科技公司任职期间，我作为一名专注于数据采集与处理的程序员，深度参与了公司多个核心项目的研发工作。公司主要业务涵盖互联网金融数据分析、新媒体内容聚合以及电子商务竞争情报监测，旨在通过技术手段帮助客户从海量公开信息中提取有价值的商业洞察，为其决策提供数据支持。 我的核心职责聚焦于网络爬虫系统的设计、开发与优化。日常工作包括分析目标网站的数据结构与反爬策略，设计高效稳定的采集方案，并编写和维护分布式爬虫系统。我负责从数据源发现、请求模拟到数据解析与清洗的全流程，确保采集数据的准确性、时效性和完整性。在爬虫开发中，我不仅处理了各类静态页面的数据提取，还深入应对了动态渲染、接口加密、验证码识别等技术难点，通过逆向分析、协议模拟等多种手段实现了复杂场景下的数据采集。 除了技术开发，我还参与构建了公司的数据采集基础设施，包括代理IP池管理系统、请求调度引擎和异常监控体系。我注重代码的可维护性与系统性能，通过异步并发、智能限流等技术提升了爬虫效率，同时建立了完善的数据质量校验机制。在团队协作中，我积极与其他开发人员、数据分析师沟通，确保采集的数据能够流畅支撑下游的数据分析、机器学习等应用场
教育经历
2020-09-01 - 2024-12-31安徽农业大学林学本科
资质认证
语言
技能
Python熟练
0
1
2
3
4
5
作品
项目旨在构建一个完整的数据采集与分析体系，彻底打破这一数据壁垒。系统覆盖歌曲信息、艺人资料、专辑数据、用户评论、播放量、收藏数等五十多个维度的数据采集，通过智能化的数据处理流程将非结构化信息转化为标准化格式。在应用层面，我们提供多维度数据分析功能，包括趋势分析、关联挖掘、聚类识别和预测建模，并开发了
02026-01-31 23:26
下载次数：0
￥100
本项目的核心功能是构建一个自动化、智能化的信息汇聚与分析系统。首先，系统具备强大的多源采集能力，能够自动适配福建省内不同地市交易平台的页面结构，实时、增量地抓取各类交易公告、变更信息、中标结果等关键数据。抓取后的信息会经过深度清洗与解析，将非结构化的网页内容转化为标准化的结构化数据，如项目名称、预算
02026-01-31 21:26
下载次数：0
￥50
