个人介绍
我是程序员客栈的TechiBoy1933293783,一名爬虫开发工程师; 我毕业于广西理工职业学院,担任过湖南麦石信息科技有限公司的中级爬虫工程师,担任过广州越亮传奇信息科技有限公司的高级爬虫工程师; 负责过1688电商网站的数据采集,懂车帝,36K,五矿集团等项目的开发; 熟练使用Scrapy,requests,BeautifulSoup,lxml,pymongo,pysql等工具和框架; 如果我能帮上您的忙,请点击“立即预约”或“发布需求”!
工作经历
2022-04-12 -2025-09-18广州越亮传奇信息科技有限公司高级爬虫工程师
1熟悉运用Python编程语言,结合Scrapy、Requests、BeautifulSoupt等常用框架和工具,实现对动态网页、反爬机制较强网站的数据采集。 2.深入研究目标网站的结构和反爬策略,通过分析网络源代码、网络请求头、响应头等信息,制定合理的爬取策略,有效规避IP封禁、验证识别码等常见问题。 3.做电商类、工商类信息爬虫程序的开发,成功为公司整合各种社会工程资源。 4.解决各种反爬方式:诸如JS逆向,cookie反爬,token生成和各种验证识别码的破解。 5.编写Python脚本实现日常爬虫任务的高效执行。
2020-07-02 -2022-04-14湖南麦石信息科技有限公司中级爬虫工程师
本人负责设计开发高效的网络爬虫程序,选择mysql或者pymongodb作为数据库存储方案,保障数据结构化管理;参与编写技术日志,记录开发流程,遇到的问题及解决方案。 1.对亚马逊、1688等电商灯数据采集。 2.抓取并清洗数据,存储到pymongodb中。 3.负责日志系统的开发和维护。 4.将抓取到的数据展示在页面上。 5.进行api接口的开发,和前瑞进行对接。
教育经历
2009-10-09 - 2012-10-06广西理工职业技术学院酒店管理学专科






